Изначально дом на этом участке выстроен в 1770-х гг.
В конце XVIII века дом перешел во владение княгини Голицыной.
Княгиня Наталья Петровна Голицына, по мнению литературоведов, послужила для А. С. Пушкина прообразом старухи-графини в "Пиковой даме". В доме она жила до глубокой старости, в нем и умерла в 1837 г. в возрасте 94 лет.
После кончины княгини дом был куплен казной и через некоторое время здесь поселился военный министр А. И. Чернышев.
В 1839-1840 гг. по проекту архитектора Тона А. А. дом перестроен.
В 1852 г., в связи с 25-летним юбилеем Чернышева на посту военного министра, казенный дом был передан ему в вечное и потомственное владение.
В 1920-х годах в здании разместилась клиника (Лечебница комитета по оказанию помощи бедным евреям).
Впоследствии — поликлиника.