В 1010 году близ Ростова Великого в целях обеспечения безопасности города ростовский князь Ярослав Мудрый заложил город-крепость. Князь нарёк город «во своё имя». Географически Ярославский Кремль расположен в стратегически выгодном месте, напоминающим треугольник, на «острие» которого реки Волга и Которосль образуют стрелку. Их высокие берега и глубокий Медведицкий овраг являются надёжной защитой. Ещё одним названием Кремля является Рубленый город. Назвали его так, потому что укрепления его были срублены из дерева. В старину Кремль называли Малым городом. Рубленый город имел значение административно-церковного центра Ярославля до XIX века.
Кремлёвские стены охраняли городской собор, архиерейские палаты и воеводский дом. В 1658 году великий ярославский пожар уничтожил все здания Кремля. После этого началось строительство каменных укреплений. Со стороны Которосли была пристроена каменная башня, названная Зелейной, и предназначалась для хранения пороха. Со стороны Волги поставили Подволжскую башню, позднее она была перестроена в арсенал, и сохранилась до наших дней.
Исторически на территории Ярославского кремля располагалось шесть храмов:
- Успенский собор был построен в 1215 году из кирпича, включал белокаменные детали. Собор представлял собой как духовный так и архитектурный центр Ярославля на протяжении многих столетий. В 1937 году Успенский собор был снесён и на его месте в 2004 году строится новый, отличный от прежнего.
- Ильинско-Тихоновская церковь — по преданию срубленная самим ростовским князем Ярославом Мудрым, представляла собой одноглавый храм. В камне была перестроена в конце XVII века. В 30-е годы XIX столетия была заменена двухэтажным «комодом» в стиле позднего классицизма. В советское время башни сломали, здание отдали под музей Ленина, затем приспособили под реставрационные мастерские.
- Церковь Николы Рубленый город представляет собой храм трапезного типа. Внешний облик храма отражал финансовые трудности прихожан, вкладывающих деньги в строительство. Сейчас в здании размещён реставрационный отдел художественного музея.
- Леонтьевская церковь изначально строилась как домовая церковь архиерея и соединялась с Митрополичьими палатами. Церковь освящена в честь первого ростовского святого и основателя Ростово — Ярославской епархии — Леонтия Ростовского.
- Церковь Шуйской Богоматери — в камне была отстроена в 1690 году, увенчана пятью шлемовидными главами. До наших дней церковь не сохранилась.
- Церковь Толгской Богоматери — в 1686 году освящена в честь небесной покровительницы Ярославля — иконы Толгской Богоматери. Как приходская церковь просуществовала до 1802 года, затем была снесена.