Построен купцом Антоном Борхардтом как 2-этажный с высоким подклетом и щипцом с мансардным этажом.
Перестроен купцом Юханом Векрутом в 1750-е гг.
Перестроен в 1840-1841 гг. архитектором К. Лесцигом для консула купца И. Спаррова.
Перестроен заказу советника Выборгского гофгерихта Нильса Перандера в 1897 г. архитектором Э. Диппелем с использованием элементов стилей неоренессанс и неоготики.
Использовался для представительских целей (проживание высокопоставленных особ), для таможни, как гостиница, в межвоенный период под штаб националистических военных формирований "шюцкор". В военные годы незначительно повреждено, было в распоряжении Министерства обороны СССР. Отреставрировано в 1980 и 2007 гг.
Объект культурного наследия народов РФ регионального значения. Рег. № 471510277940005 (ЕГРОКН).
Башня-донжон, главное сооружение замка. С закладки данного сооружения по распоряжению регента Швеции Торгильса Кнутссона дано начало замку и городу Выборг. Названа в честь норвежского короля Олафа Святого. Начата постройкой в 1290-е, перестроена в 1561-1564 гг., 1890-е гг.
Памятник архитектуры, номер объекта: 4710055004.