Это каменное здание в готическом стиле было построено в XVI веке, и до нашего времни дошли самые старые его стены, несмотря на позднейшие перестройки. Когда-то это было здание, в котором размещалась монастырская школа. Перестраивали его в XVII веке, когда дворянское собрание заняло дом — в то время он стал называться Рыцарским домом, которым он перестал быть уже в начале XVIII века, после того, как Выборг захватили русские войска, и город с окрестностями был присоединён к Российской империи.
Новую жизнь здание обрело в 1799 году, когда император Павел I повелел Мальтийскому ордену создать приход святого Гиацинта в этом старинном доме, который стал с этого момента собственностью прихода. С 1802 года там стала размещаться католическая церковь Святого Гиацинта. Совсем скоро, когда в 1809 году к России присоединилась Финляндия, приход пережил годы расцвета, так как в его ведении оказались все финляндские католики. Приход потом перешёл к литовским священникам доминиканского ордена, так что службы в церкви не прекращались до 1860-го года.
Когда Финляндия проиграла в войне против СССР в 1939—1940-х годах, приход был ликвидирован. После войны здание отреставрировали, чтобы вернуть ему облик Рыцарского дома, и сейчас в нём находится картинная галерея.