8 февраля 1787 года поручик Александр Алексеевич Гаряинов (Горяинов) продал своей снохе Матрёне Ивановне за символические 10 рублей «двор со строением» в недавно образованном по принятому Генеральному плану квартале № 56, при этом в документах каменный дом не упоминался. В течение следующих пяти с половиной лет на углу участка, на пересечении Любимской (Чайковского) и Большой Романовской (Некрасова) улиц был выстроен кирпичный двухэтажный дом в стиле раннего классицизма. Поставленный на перекрёстке дом получил в духе того времени скруглённый угол (в 3 оконных оси) и план, близкий к квадратному. Оба главных фасада имели по 5 оконных осей.
29 ноября 1793 года Матрёна Гаряинова продала «двор с каменным и деревянным строением» титулярному советнику Петру Ивановичу Протасьеву за 5000 рублей. В период 1804-1807 годов Протасьев организовал масштабные работы по перестройке дома. К окончанию реконструкции дом, в частности, получил оформление фасадов в духе зрелого классицизма, а над угловой частью – башенку-бельведер высотой 1,2 м.
Летом 1807 года Протасьев продал дом надворному советнику Петру Яковлевичу Писемскому, который немедленно начал расширение дома пристройкой целой секции в 4 оконных оси по Любимской улице, по габаритам и оформлению главного фасада идентичной основному дому. Работы были завершены весной 1808 года, в результате фасад дома по Любимской улице (ул. Чайковского) получил 9 оконных осей, пристроенный объём выдают чуть более широкие промежутки между окнами, чем у основного объёма дома. В тот период окончательно сформировались план и внешний облик здания. «Его фасады оформлены характерным для зрелого классицизма архитектурным декором весьма изысканного рисунка. Над окнами пониженного первого этажа размещены веерные замки с масками [в виде чередующихся горельефов львиных и женских голов], упирающиеся в межэтажную тягу. Над высокими, стройных пропорций окнами второго – чередуются лепные украшения в виде венков и прямые сандрики с кронштейнами. Под окнами с сандриками устроен декоративный балясник. Завершается здание классическим карнизом с гладким фризом» (описание Виктора Марова). При этом ряд деталей фасадов были впоследствии утрачены. Рельефно выделенный цоколь, облицованный белым камнем с подвальными окнами, поглощён в XX веке слоем поднявшейся мостовой. Пространство стены по первому этажу на уровне окон было заполнено ленточным рустом, утраченным при некачественных ремонтах 1-й половины XX века. Также в неустановленный период XIX – начала XX века был утрачен бельведер.
Писемский за весь период владения домом сдавал его внаём вместе с большей частью прилегавшей усадьбы. Арендаторами были в основном обеспеченные представители городской знати. В 1835 году Писемский продал дом надворному советнику Фёдору Афанасьевичу Андрееву. В 1848 году ярославский губернатор Алексей Петрович Бутурлин уговорил Андреева передать дом на несколько лет в аренду под размещение переводимого в Ярославль из Солигалича училища девиц духовного звания. В 1858 году по наследству домовладение перешло к сыну Андреева, штабс-капитану Николаю Фёдоровичу. В дальнейшем домом владели генерал-майор Александр Быченский, затем — его сын Сергей. В 1891 году усадьбу приобрёл полковник Николай Петрович Павлов. Дом был разделён на две квартиры. В большей, 9-комнатной, охватывавшей оба этажа, проживал сам Павлов с семьёй и прислугой, меньшая 5-комнатная квартира, размещавшаяся только на первом этаже, сдавалась внаём по отдельным комнатам.
Масштабные разрушения в городе в результате событий июля 1918 года вызвали острейший дефицит жилья. В 1919 году дом был муниципализирован и отдан под коммунальные квартиры, в дальнейшем передан ЖАКТу. В дальнейшем дом продолжался использоваться как жилой, переходя от одной жилищной организации к другой и был разделён на 17 жилых комнат. В 1950 году было произведено подробное обследование дома, по итогам которого составлен охранный паспорт. В конце 2000-х годов первый этаж был выкуплен коммерческой организацией и расселён. В дальнейшем, в процессе капитального ремонта помещений и приспособления их под новые нужды сделана частичная перепланировка помещений, утрачена часть деталей сохранившегося внутреннего декора. В 2020 году проведена подробная государственная историко-культурная экспертиза, подготовлено основание для научной реставрации здания. В настоящий момент первый этаж здания продолжают занимать коммерческие организации, второй делится на 9 жилых квартир (комнат).
Постановлением Совета министров РСФСР от 30 августа 1960 года за № 1327 дом объявлен памятником архитектуры местного значения. Рядом последующих постановлений правительства Ярославской области статус здания подтверждался. Объект культурного наследия № 762111358680004.
Ярославль Дата: 1990 г.