Дом Земсковых был построен в русском стиле по проекту М. Е. Земскова, сына владелицы дома. Он выстроил здание в 1888-1890 годах, и уже тогда оно своим внешним обликом напоминало нарядный дом из сказок.
С 1890-го года в здании стал жить архитектор В. И. Гайн с семьёй. Гайн сам проектировал здания в русском стиле, так что он очень любил этот дом. Архитектор был достаточно знаменит; по его проектам строили многие дома в Воронеже в конце XIX — начале XX века, а также реставрировали уже имеющиеся здания. После В. И. Гайна в доме жили Вивьены — семья, фамилию которой прославил театральный деятель Л. С. Вивьен.
Во время Первой мировой войны в бывшем доме Земсковых проживала семья Дьяковых, которая разворачивала революционную деятельность и собирала у себя решительно настроенных молодых людей. Среди членов этого кружка был литовский поэт Ю. Янонис.
В 20-е годы XX века на верхнем этаже жил член Академии Наук СССР Б. А. Келлер. Его сын, В. Б. Келлер, являлся известным литературным критиком, дружившим с писателем Андреем Платоновым. После Келлера в его квартире разместился журналист Б. А. Дьяков, к которому в гости приходил учёный-энциклопедист А. Л. Чижевский. Пострадавший во время войны дом был восстановлен уже в конце сороковых годов архитектором П. А. Полищуком.
Сейчас бывший дом Земсковых выкрашен в голубой с белым, благодаря чему сильно выделяется своим ярким красивым фасадом на проспекте Революции.