Музей располагается в здании начала XVIII века. Когда-то в нём размещалась суконная фабрика, владельцем которой был П. Н. Гарденин.
После того, как он умер, дети его не сумели сохранить здание в собственности, и дом был выкуплен военным ведомством. Тогда же его немного перестроили, добавив портик с античными колоннами и барельеф на фронтоне. Дом стали называть «арсеналом». После революции там размещался Наркомат обороны, а потом продовольственный склад.
Идея разместить в здании музей пришла властям города в 1979 году, и дом передали областному краеведческому музею. Туда перевезли экспозицию, посвящённую Великой Отечественной войне, так как барельеф здания представлял собой изображение предметов, относящихся к войне.
В 1980 открыли первую выставку на втором этаже, а позднее расширили её в два раза, разместив экспонаты и на первом. Экспонаты вставки могут быть интересны всем — в залах музея имеются фотографии, письма и документы времён войн, настоящие оружия Великой Отечественной, агитационные плакаты и огромные лапти немецких солдат, мёрзнущих в морозные русские зимы.
Часть выставки посвящена работе отряда «Поиск», который занимается нахождением военного оружия времён Великой Отечественной войны и останков солдат.