В XIX веке было решено построить здание специально для того, чтобы учредить губернскую женскую гимназию. За это ратовал и поэт И. С. Никитин. Гимназия была открыта в 1861 году, и в честь императрицы Марии Фёдоровны её назвали Мариинской.
Здание гимназии было двухэтажным, с выступающими крыльями. Примерно через тридцать лет архитектор А. М. Баранов пристроил к ней третий этаж и добавил металлическую лестницу, которая и сейчас сохранилась в здании. Мариинскую женскую гимназию закончили такие личности, как ученица Ильи Репина Елена Киселёва или писательница Ольга Кретова.
После революции гимназия стала советской трудовой школой, но через несколько лет там уже стал размещаться педагогический факультет воронежского университета. До 1930 года в здании был и техникум с школой первой степени при нём. Затем для нужд Красной Армии здание перестроили по проекту Я. А. Корнфельда, и теперь бывшая гимназия стала Домом Красной Армии имени Ворошилова.
Внешне здание было сильно переделано в духе конструктивизма; утратилась лепнина и рустовка на фасаде. К тому же были сделаны пристройки к зданию. После войны здание снова кардинально сменило свой облик, но суть его осталась прежней, и сейчас это всё ещё Дом офицеров. В нём когда-то проходили концерты Дмитрия Шостаковича, о чём говорит памятная доска на здании.