Замковая гора является основой для построения городища, который возник в Х веке. Уже тогда здесь были построены первые жилища, появился терем местного князя. Также была возведена Нижняя церковь, а вокруг обустроены оборонительные сооружения и крепостные стены, протяженность которых растянулась на триста метров. Построения на замковой горе являются уникальными в своем роде, на белорусских землях такие больше не встречаются.
В годы правления князя Витовта в городище был сооружен Нижний замок, который был местом встреч иностранных королей. Более обжитый вид детинец получил во времена правления польского короля Стэфана Батория. Построенный им дворец занимал центральное место на горе.
Старый замок на Замковой горе сохранился до сих пор, практически в первозданном виде. Кроме того, здесь имеются руины других сооружений, которые существовали здесь ранее.