Как и большинство старинных церквей, Христо-Рождественская церковь была сначала деревянной. Каменной она стала в 1773 году, хотя колокольню возвели уже позднее. Церковь строил архитектор, который возвёл и дворец братьев Баташевых — М. П. Кисельников.
Состоит здание из двух частей — летней и зимней, зимняя церковь более продолговатая. В целом церковь возведена в стиле классицизм, о чём свидетельствуют её пропорциональность и строгие формы, но имеются элементы стиля барокко, который отразился, например, в разных формах проёмов окон.
Колокольня состоит из четырёх ярусов, которые образуют красивый тонкий силуэт на фоне неба. На втором ярусе имеется смотровая площадка с красивым чугунным литьём по периметру, напоминающем о знаменитом металлургическом заводе Выксы.
До середины XIX века в церковь могли ходить только братья Баташевы и их близкие, но позже церковь стала доступной для всех. В 1937 году Христо-Рождественскую церковь, как и многие другие церкви по всей России до неё, закрыли, колокола были сняты, утварь и иконостас разобрали и вытащили при закрытии церкви.
Во время Великой Отечественной войны там была столовая и кухня для курсантов.
Реставрация началась в 1987 году, и сейчас церковь полностью восстановлена.