Само здание особняка представляет собой дом типового проекта, построено оно было в 1786 году. За время своего существования здание пережило неоднократные пожары, реконструкции, перестройку и внесение различных поправок и изменений. Изначально в особняке размещалась Банковская контора, затем Променная контора, коммерческий банк и городская таможня. С 1964 года особняк принадлежал Музею изобразительных искусств. Несколько лет здесь находилась экспозиция древнерусского искусства и фонды музея. С 80-х годов началась реставрация особняка, по завершению которой в обновленных залах музея была открыта экспозиция «Портрет в старинном интерьере».
В ней можно проследить смену художественных стилей, происходящую в процессе развития интерьера конца XVIII – начала XX века. Представленные ансамбли, сочетающие в себе портретную живопись, фарфор, мебель создают атмосферу,в которой особенности представленных стилей ярко выражены. В залах особняка регулярным является проведение тематических экскурсий,приемов и презентаций, светских раутов и детских балов, исполнение камерной музыки.