Трехэтажное здание усадьбы за свою историю сменило огромное количество хозяев. Основу того дома, который мы можем увидеть сейчас создал неизвестный архитектор по приказу вельможи Александра Талызина в 1787 году. Спустя почти 20 лет дом был продан. Новые хозяева купцы Устиновы приказали сделать двухэтажные переходы между главным корпусом и флигелями. По их же распоряжению фасад дома стал выглядеть в стиле ампир. В 20-х годах XX века здание использовалось как секретариат. Спустя 10 лет грациозный дом был отдан под общежитие. Именно в этот период здание потеряло значительную часть своего уникального интерьера. Так продолжалось 30 лет. В 60-е года здание было передано научно-исследовательскому музею архитектуры. В этом статусе оно находится до сих пор.
Реставрационные работы идут вот уже несколько лет. Все силы направлены на то, чтобы воссоздать важнейшие части внутреннего убранства. Особенно это касается росписей потолков и ампирных рельефов. Внешне музей находится в хорошем состоянии. Классическое строгое здание идеально вписывается в исторический вид города. По указу президента дом Талызина включен в список культурного наследия Российской Федерации.