В начале XVIII в. на участке находился деревянный дом вице-адмирала М. П. Госслера.
В 1735-1737 гг. по проекту арх. Г. Крафта был построен каменный особняк для графа Ф. А. Апраксина.
Затем домом владел Г. Бирон — брат фаворита Анны Иоанновны.
В 1904 г. здание вместе с соседним домами (Миллионная 24, наб. Мойки 21, наб. Мойки 23) приобрел князь С. С. Абамелек-Лазарев — один из богатейших людей России, землевладелец и горнопромышленник.
В 1913-1915 гг. на месте разобранного дома 23 по проекту арх. И. А. Фомина было построено новое (ныне существующее) здание.
С 1927 года здесь располагался Дом физкультурника.
Ныне — Комитет по физической культуре и спорту г. Санкт-Петербурга.
Набережные Челны Дата: 25 чэрвеня 2015 г.