В 1846-1848 гг. архитектор Д. Е. Ефимов построил для церемонимейстера А. Сабурова небольшой каменный дом, впоследствии расширенный Г. А. Боссе. В начале 1880-х гг. он перешёл в собственность брата Александра III, генерал-адмирала вел. кн. Алексея Александровича и был перестроен М. Е. Месмахером. При оформлении дворца были использованы живописные панно, созданные Э. К. фон Липгартом; роспись потолков осуществлена С. И. Садиковым, а изразцовые панно подписаны будущей женой Месмахера «В. Андре». В работах по отделке дворца принимали участие будущие ученик ЦУТР.