В 1613 году здесь жил Михаил Романов с матерью.
В 1858-1863 годах по инициативе Александра II архитектором Рихтером Ф.Ф. проведена реконструкция: проведена перепланировка помещений, установлены израсцовые печи, деревянная лестница заменена на каменную, тесовая кровля заменена на высокую железную, наружные стены расписаны масляными красками "в шахмат".
Памятник архитектуры федерального значения.