Памятником архитектуры федерального значения и одной из ценнейших усадебно-парковых ансамблей является усадьба Расторгуевых-Харитоновых. Здание закладывалось одновременно с Вознесенской церковью в 1794 году. Строительство усадьбы продолжалось ровно три десятилетия. Изначально проект составлял швейцарский архитектор, переехавший в Россию. В 50-е года XIX века вокруг усадьбы был разбит сад.
Долгое время усадьба принадлежала семье Расторгуевых, но в 1823 году отошла во владения зятю — П.Я. Харитонову. Новый владелец быстро расширил территорию, скупив прилегающие земли. Там он обустроил большой английский сад с разнообразными сооружениями. Сейчас этот сад является крупнейшим в Екатеринбурге. Легенды гласят, что под главным домом были обнаружены сети подвалов и подземных ходов, расходящихся во все стороны. В 1837 году Харитонова по приказу Николая I сослали в Кексгольм из-за зверского обращения с рабочими.
Расторгуевско-Харитоновская усадьба — это образец типичной городской усадьбы начала XIX века. Представительный вид с главного фасада усадьбе придаёт асимметричная композиция и расположение главного корпуса на угол. На сегодняшний момент комплекс нуждается в реконструкции и капитальном ремонте. В 2009 году был обновлён фасад здания с улицы Карла Либкнехта, однако остальная часть здания прибывает в аварийном состоянии. Станы разрушаются, краска и штукатурка отпадают. Притом возле главного корпуса уже на протяжении нескольких лет ведётся несанкционированное строительство кирпичного здания, портящее вид исторической ценности и приносящее ущерб историческим постройкам.