Первоначальное деревянное здание вокзала не могло справиться с потоком пассажиров и в 1879 году техническим исполнительным комитетом железных дорог Министерства путей сообщения был разработан проект нового вокзала. Проект был рассмотрен императором Александром II 5 июля 1879 года и возвращён на доработку с резолюцией: «Башни на оконечностях здания слишком высоки». 18 ноября 1879 года на пути императора из Ливадии в Москву «проект устройства означенных башен», выполненный инженером министерства путей сообщения Журавским был «Высочайше одобрен». В 1883 году вокзал на станции Грязи был построен. В ряде дореволюционных изданий он называется одним из лучших пассажирских зданий в России. В здании нового вокзала располагались просторный двусветный зал с зеркальными простенками для пассажиров первого и второго класса, отдельно зал для пассажиров третьего класса, буфет, почта, телеграф, парикмахерская, книжный и газетный шкафы, киоск для страхования от несчастных случаев на железных дорогах, киоск для продажи мелких вещей, необходимых в пути. К протяжённым фасадам вокзала по всей длине примыкал дебаркадер.
В ночное время его освещали сотни газовых рожков, для чего поблизости построили газовый завод.