Этот дом был построен в XVIII веке, в 1777-1779 году, в стиле барокко по проекту архитектора Н. Н. Иевского. Дом возвели для генерал-поручика И. А. Потапова, бывшего губернатором города Воронеж в то далёкое время.
Рядом с домом имелся парк, а сам дом был настолько красив, что его зачастую называли дворцом. Имелось несколько легенд, связанных с дворцом губернатора: например, что строили его для императрицы Екатерины II или для крымского хана, которого ссылали в Воронеж. Однако эти легенды не имеют под собой реальной основы.
В 1800 году дом продали губернскому архитектору П. А. Сандбергу, но уже в 1803 году его передали Комиссариатской комиссии, и в это время здание было перестроено: у него появился балкон, кафельные печи и новая кровля. Через несколько лет в доме побывал по долгу службы поэт К. Ф. Рылеев.
В 1905 году дворец отошёл городу, а вскоре и Воронежской учёной архивной комиссии, которая в бывшем доме губернатора устроила музей. До революции в здании успели провести реставрацию, но лишь частично — началась Первая мировая война, и в доме разместились военные и санитарные учреждения. После 1917 года там находились и губархивбюро, и склад, и истпарт.
В 1920 году здание снова занял музей им. И. Н. Крамского, там работали воронежские краеведы. В 1983-1985 годах была проведена повторная реставрация, и сейчас бывший губернаторский дом охраняется государством.