Построен в первой четверти XIX века. В 1820-х принадлежал Попову. Во второй половине XIX в. усадьба принадлежала помещице А.А. Горняковской. В 1872 году пристроено крыльцо кухни. В конце века принадлежала М.А. Невскому. В 1887 году произошёл пожар. При восстановлении изменён декор фасадов, сделана пристройка сзади и тамбур парадного входа сбоку.
После революции в доме размещались различные учреждения: губсовет профсоюзов, горотдел народного образования. С 1922 и до конца 1970-х здесь находились комитеты компартии и комсомола Фабричного (Ленинского) района.
В настоящее время в здании расположено Костромское отделение АО "Ростехинвентаризация" — Федеральное БТИ.