Крепостная горка — это историческое ядро города Ставрополя. В ансамбле памятника находится сохранившийся подлинный фрагмент крепостной стены. Главной достопримечательностью Крепостной горки является каскадная лестница, которая ведет от пр. К. Маркса к самой вершине парка.
По легенде, это место являлось местом рождения города. Именно поэтому Крепостная горка считается историческим центром. На этой горе встречаются элементы казачьей культуры и красные звезды; православный храм и языческий памятник. При поддержке местного мецената недалеко был установлен новый музыкально-световой фонтан, который каждый вечер дает свои представления. На Крепостную гору необходимо подниматься, но это будет совсем несложно, поскольку перепад высот является незначительным. Территория, на которой расположен памятник, очень благоустроена. Местные власти постоянно ее облагораживают и нанимают новых дворников и рабочих, которые асфальтируют дорожки и укладывают новую плитку на лестницы. На территории также установлено приемлемое освещение и урны. В советские времена Крепостная горка носила название Комсомольской. Это место также называют Барятинским парком. Такое людное и красивое место не может обойтись без памятника, посвященного Великой Отечественной войне.
Помимо всего, на горке установлен главный символ города Ставрополя — гигантская фигура буденновца с винтовкой в руках. Памятник посвящен событиям освобождения города от белогвардейцев. Местные жители дали ласковое прозвище памятнику - «Алёша». Памятник пользуется популярностью у молодежи, поскольку на этом месте назначаются дружеские и романтические встречи. Также, здесь часто проводят экскурсии для школьников и гостей города. С обзорной площадки Крепостной горы открывается прекрасный вид на Северо-Западный район города.