Вознесенский монастырь был возведен в 1515 году по указу царя Василия III. Первоначально все здания монастыря были деревянные, лишь к концу XVII века были построены каменные постройки.
Во времена польского владычества здесь размещался иезуитский монастырь. В 1667 году, в уже освобожденный город, прибыл полковник К. П. Нарышкин, который приходился отцом Натальи Кирилловны, будущей царицы и матери Петра Первого.
Считается, будто Петр I оказывал монастырю особое покровительство. Его указом был построен каменный монастырь.
Вознесенский собор возводился в 1693-1700 годах по проекту зодчего О. Старцева, а руководил строительством зодчий Данила Калинин. Резной барочный иконостас, находившийся в соборе, сделан Юрием Беком. Екатерининская церковь, примыкающая к собору строилась в 1787 году.
Во время нашествия Наполеона монастырь был сожжен. В 1830 году была проведена реконструкция. Также в это время по проекту архитектора Альшевского возвели Ахтырскую церковь в классическом стиле.
С приходом к власти Советов монастырь был закрыт. Сейчас Вознесенской церкви функционирует выставочный зал, в котором проходит экспозиционные выставки художников Смоленской области и Беларуси. Монастырь в настоящее время возрожден и восстановлен.