Первоначально Собор был построен в середине XVIII века в честь иконы Богоматери Владимирской, уцелевшей при пожаре 1692 года. Первоначальный храм не сохранился – он стал ветшать, и в 1845-1853 годах на этом месте был построен новый. Собор возводили по проекту архитектора Константина Андреевича Тона, автора первого Храма Христа Спасителя и Большого Кремлевского дворца в Москве. Как и другие его работы, храм в Задонске выглядит очень нарядным и праздничным. Собор украшают золотые купола, помпезная лепнина.