В 1880-е годы на берегу реки Ягорба была возведена первая в городе каменная часовня, названная в честь иконы Божией Матери «Живоносный источник». До этого на этом месте находилась небольшая деревянная восьмигранная часовня с тем же названием, она была построена в XVIII веке.
Часовня была возведена на средства Воскресенского собора и пожертвования прихожан. Она отвечала русским традициям и была крестообразной. Часовня немного отличалась от других, так как была сориентирована на стороны света, что несвойственно часовенной архитектуре, это сделало ее храмом-часовней. Иконостаса в ней нет, а интерьер внутри здания очень скромен.
Усилиями первого главы города И.А. Милютина вокруг часовни был разбит Источницкий сад.
В 1924 году в часовне в честь иконы Божией Матери «Живоносный источник» был сделан ремонт, после которого она была закрыта.
В советское время здесь размещалась электростанция, а после сушильная камера лесопилки.
Источник, рядом с которым расположена часовня был забит камнями и глиной. В 2001 году было проведено восстановление часовни. Помимо этого был восстановлен киворий над источником.