В 1795 г. в южной половине участка выстроен особняк для графини Воронцовой с восьмиколонным портиком.
В 1799 году приобретён М. А. Нарышкиной и перестроен.
Соседний, угловой участок долго оставался незастроенным. В начале XIX в. оба участка приобрел Д.Л.Нарышкин, который расширил дом: в 1821- 1822 гг. к старому дому был пристроен корпус на углу Итальянской улицы.
В 1840-х гг. дворец перешел в собственность тплемянницы Д.Л.Нарышкина — графини С.Л.Шуваловой, и в 1844 — 1846 гг. оба здания были полностью перестроены в духе архитектуры ранней эклектики по проекту Б. де Симона и Н. Е. Ефимова. В 1918 году национализирован. В 1919-1923 годах Музей быта, затем Дом печати, Дом инженерно-технических работников им. В. М. Молотова. Во время Великой Отечественной войны в здание попало несколько авиабомб. Восстановлен к 1965 году, после чего в здании разместился Дом дружбы и мира. В 2006 году сдан в аренду фонду "Связь времён". В 2008-2011 годах проведена реставрация. В ноябре 2013 г. во дворце открылся музей Фаберже.
Ростов-на-Дону Дата: 20 Lúnasa 2026 г.