Екатерина II, русская императрица, своей «Жалованной грамотой» утвердила привилегии дворянства, согласно которым в каждой губернии могло быть своё Дворянское Собрание и общее место для собраний.
Проект дома был создан архитектором И. Е. Ефимовым. Построили дом в 1826 году и в декабре в новом здании впервые прошёл бал. Высокие колонны до сих пор придают . строению внушительный и торжественный вид. На высоком цоколе из белого камня выстроена лоджия из шести колон, которая соответствует масштабам зала на втором этаже.
Предназначенные для зрителей и оркестра хоры поддерживаются двадцатью колоннами. Внутри дома было очень богатое убранство, на второй этаж вела лестница из мрамора. Дворяне занимались здесь многочисленными общественными делами: учетом обязательных и добровольных вложений, прошениями о внесении в Родословную книгу, жалованием служащим. Они заботились о страждущих и бедных людях, поддерживали дворянский приют для тех, кому некуда было идти и занимались другими благотворительными делами.
Сегодня в бывшем доме, который в лучшие свои времена служил местом дворянского собрания, располагается Дом культуры им. Свердлова.