Башня построена была в 1494 году и первоначально являлась колокольней уже давно не существующего Выборгского кафедрального собора, разрушенного в 1710 году.
Сначала часовая башня была четвериком, стоящим на восьмерике, а сложена она была из больших валунов. На верхушке башни имелся шпиль с флюгером. Башня не использовалась как часовая до 1753 года, когда на верхушку башни установили первые городские часы, которые отбивали каждый час колоколом. Шпиль в это время был ликвидирован. К вершине башни вела лестница, а по деревянной шахте, устроенной рядом, спускались массивные гири часов.
Третий ярус башни, иначе второй восьмерик, был пристроен в эпоху господства классицизма, и спроектировал эту пристройку к башне И. Брокман. Колокольня, ставшая часовой башней, позже использовалась и как пожарная каланча.
Екатерина II сделала как-то городу дар — большой набатный колокол, находящийся на башне и в наше время. Часы, которые в наши дни отбивают время на Крепостной улице, были сделаны в 1848 году. Удивительно, что они до сих пор работают почти без дополнительной замены деталей механизма.
Сейчас особенно хорошо заметно, что часовая башня стоит не на фундаменте, а просто на валуне, у подножия её — руины Кафедрального собора. Башня требует реставрации, которая, возможно, будет проводиться одновременно с восстановлением собора.