Церковь Михаила Архангела была построена в западной части Смоленска князем Давидом Ростисловавичем в конце XII века. Она является одним из самых известных памятников древнерусского зодчества.
В летописи говорится о ее богатом внутреннем убранстве. До закрытия церкви в первой половине ХХ века, здесь хранилась белокаменная гробница князя Давида.
Изначально, при церкви имелся монастырь. В 1611 году, с захватом поляками Смоленска, приход был обращен в католический. Церковь вернули православным только лишь в начале XVIII века.
В 30-е годы XVIII века был пристроен теплый придел, а уже к концу XIX века здесь находилось четыре престола: в честь Архангела Михаила, Алексия, в память Александра I и мучеников Бориса и Глеба. К мечту убиения последнего ежегодно в 24 июля совершался Крестный ход.
В 1775-1785 годы территория храма была застроена колокольней, оградой и одноэтажным домом, где обучались бедные и беспризорные мальчики.
В 1963 году храм реставрировался, были удалены детали, сооруженные в XIX веке. А в начале 1980-х годов были возвращены архитектурные формы XII века и отреставрированы детали XVIII века.
С 1990 года началась реставрация интерьера, в результате которой планируется вернуть ему первоначальный облик. Богослужения были возобновлены в 1991 году.