Здание, построенное в начале 1770-х годов, сначала принадлежало купцу-фабриканту С. А. Севостьянову. Это здание тогда возвышалось над остальными — ещё бы, ведь оно единственное во всём Воронеже имело три этажа! Но здание удивляло не только этим: оно считалось очень крупным для такого провинциального города, как Воронеж, и походило больше на дворец.
В середине XIX века дом выкупила городская дума, и там разместились магистрат и мещанская управа. В 1894 году часть здания была переоборудована под Воронежский губернский музей, чему помог философ-космист Н. Ф. Фёдоров, который искренне любил своё новое детище и считал музей одним из лучших в российской провинции.
В 1919 и 1942 годах в доме были пожары, но в 1957 году его восстановили и сделали жилым. О музее на некоторое время все позабыли. Но наконец в 1960 году здание взяли под охрану государства как памятник архитектуры, в начале 1980-х провели в нём реставрацию и сделали литературным музеем. Это единственное кирпичное здание XVIII века в Воронеже, дошедшее до наших дней, и сейчас оно поддерживается в хорошем состоянии. В нём по-прежнему располагается музей.
Каждый желающий может увидеть выставки, посвященные А. В. Кольцову, И. А. Бунину, А. П. Платонову.