Каменное здание заложено королём Яном Собесским, достроено к 1803 г.
После ликвидации коллегиума в здании устроен тюремный замок, в каковом качестве здание использовалось до 1980-х гг.
В 1990-е гг. тюрьма выведена из здания, в 2007-2008 гг. проведена масштабная реконструкция, надстроена башня с часами-курантами.
В здании разместились детская библиотека им. В. Короткевича, художественная галерея, отдел культуры горисполкома.