Церковь Рождества Пресвятой Богородицы располагается на территории парка им. А.К. Толстого. Построена она была по велению местного купца А. Бабаева и на его собственные средства на месте деревянного кладбищенского храма. Строительство было начато в честь императора Александра I, который гостил у Бабаева в 1823 году. Строительство церкви проводилось с 1827 по 1831 год.
Рядом с храмом стояла старая колокольня, и в 1840 году по проекту архитектора Богданова храм объединили с колокольней и пристроили двухэтажную трапезную. В 1926 году городские власти приняли решение отдать храм под морг за неимением других подходящих построек и из-за тяжелой жилищной ситуации.
В 1933 году было снесено кладбище, на котором располагался храм и на его месте началось формирование городского парка. Здание храма начало использоваться как спортзал стадиона «Динамо», располагавшегося рядом.