Этот дом построили в середине XIX века, в 1843-1844 годах. Автором проекта был архитектор С. И. Соколов. Сергей Николаевич Шванвич, имя которого до сих пор носит гостиница, был отставным лейб-гвардии полковником. Он сдавал квартиры в здании, устроив в нём гостиницу, которая долгое время считалась самой лучшей во всём городе.
В 1850-х гостиница перешла к купцу И. А. Придорогину, который не только был общественным деятелем, но и разбирался в литературе и очень уважал В. Г. Белинского. Придорогин дружил с поэтом И. С. Никитиным, который бывал в его доме-гостинице и даже хотел снимать там помещение для книжной лавки. После того, как И. А. Придорогин скончался, гостиница перешла к коллежскому асессору М. П. Покатило.
Во время его пребывания содержателем гостиницы в ней останавливался в 1860 году известный драматург Н. А. Островский со своим другом, актёром А. Е. Мартыновым, игравшим в спектакле по пьесе Островского «Гроза» роль Тихона. Потом здание стало гостиницей исключительно купеческого клуба, и в ней в 1870 году останавливался филолог Я. К. Грот, приехавший в Воронеж за редкой книгой. Потом гостиницу переделали, и она стала отелем «Берлин», просуществовавшим до 1917 года.
После войны здание было необходимо реставрировать, чем и занялся архитектор Г. В. Здебчинский. Реставрация показала здание, выстроенное в стиле классицизм, в его первозданной красе.