Замок являлся резиденцией Сааре-Ляэнемааского епископа после Хаапсалу, начиная с середины XIV в. Предположительно во 2-й половине XIII в. около существовавшей тогда пристани был заложен первоначальный замок - прямоугольный регулярный кастелл (не сохранился). В 1330-х гг. началось сооружение конвентского дома. После того как были заложены фундаменты и возведена массивная квадратная башня в северном углу дома (Стурвольт), работы приостановились или же сменились мастера. Основной период строительства падает на 1345-1365 гг. Очевидно, тогда прежняя планировка подверглась изменениям: к восточному углу здания была прибавлена стройная четырехгранная башня, так называемый Длинный Герман (есть мнение, что башня была построена как самостоятельное сооружение еще в 1260-х гг.). От собственно замка башня была изолирована шахтой. Помещения главного этажа большей частью двухнефные. В южной части на высоте двух этажей располагается капелла со стройным восьмигранным центральным столбом. Рядом с ней в юго-западном флигеле находится парадный рефекторий, где крестовые своды с нервюрами опираются на восьмигранные столбы. Вместо подпружных арок здесь сделаны трансверсальные нервюры; их профили состоят из грушевидных поясков и желобков; замковые камни плоские и дискообразные. В подобных нервюрных формах решены оконные переплеты и элементы сводов крестового хода. Это указывает на то, что в этом замке работали мастера из Центральной Европы, вероятно, из Богемии; такие же профильные формы использованы и в церкви св. Мартина в Вальяла. Над главным этажом располагались хозяйственные помещения. В верхней части внешних стен был сделан открытый боевой ход. Конвентский дом был окончен строительством в последней четверти XIV в. В 1430-х гг. вокруг замка была построена обводная стена. Она была дополнена полукруглыми башнями с бойницами для огнестрельных орудий. Концом XVI в. датируются первые земляные укрепления. Обширные укрепительные работы велись здесь в последней четверти XVII в. - вокруг замка были возведены бастионы и равелины (архитекторы П. фон Эссена и Э. Дальберга).

© В. Чантурия, Й. Минкявичюс, Ю. Васильев, К. Алттоа, Белоруссия-Литва-Латвия-Эстония, «Искусство», М., 1986 г.