Южная часть дома была построена в 1780 году как двухэтажный особняк воронежского коменданта А. И. Хрущёва. Потом домом стал владеть губернатор О. И. Хорват, который вскоре продал это здание в казну. До самой революции это здание было постоянной резиденцией губернаторов города Воронеж.
В усадьбу в начале XIX века входил дом, два флигеля и большой красивый сад, в котором была беседка. В своё время в доме бывали разные знаменитые люди того времени: И. С. Никитин, А. Н. Островский, А. В. Кольцов. М. А. Веневитинов некоторое время служил там и имел собственный кабинет. В середине XIX века дом перестроили по проекту С. Л. Мысловского.
После революции в доме разместился «Дом народных организаций», позже это был Дом крестьянина и губсовпартшкола. Последний факт очень важен, так как в школе этой учился талантливый писатель А. П. Платонов. Потом в доме стала располагаться библиотека и Музей изящных искусств.
Во время Великой Отечественной войны здание было повреждено, особенно пострадала его старая часть. Дом восстановил в 1950 году архитектор Н. В. Троицкий, который внёс некоторые изменения в фасад, сделав у него античный портик и объединив два здания в одно большое. После ремонта там разместилась газета «Молодой коммунар».
Сейчас здание отдано федеральному казначейству и фондам краеведческого музея.