По одним данным, церковь Петра и Павла на Городянке была возведена в 1146 году, по другой версии исследователей — в 1170-х годах. Одноглавый четырехстолпный храм построен из тонкого кирпича, называемого плинфа. Однако, храм выглядит мощным из-за пропорций и широкого высокого барабана. На стенах церкви было обнаружено граффити, датируемые XII веком.
В XVII веке Смоленск был захвачен поляками. Церковь Петра и Павла была переделана в костел, а рядом со зданием был выстроен дворец архиепископа, здесь находилась его резиденция. После освобождения Смоленска дворец стал частью новой церкви Варвары.
Во время нападения наполеоновских войск храм сильно пострадал от огня, от которого оплавились даже колокола. Уцелевшее имущество спас священник Зубовский, который все вернул в храм после ремонта. Позже была проведена реставрацию, в ходе которой заменили главу храма, а основание барабана сохранило первоначальный облик.
После революции в храме разместился музей, но службы не прекращались, они велись в церкви Варвары. В 1924 году начались исследования по научной реставрации храма, однако в 1936 году церковь полностью закрыли, а служителей репрессировали. Здесь расположился архив. В начале 60-х годов под руководством известного архитектора и реставратора Петра Барановского церковь отреставрировали, возвратив ей облик XII века, также была отделена Варваринская церковь. Сегодня храм Петра и Павла выглядит практически так же, как и более 900 лет назад.