Строительство Кремля в городе Ростов Великий продолжалось на протяжении трёх десятков лет. На этом месте до 1670 года располагался архиерейский дом. Он был гораздо скромнее, чем настоящий, но многие его постройки вошли в состав Кремля. Его начал строить митрополит Ион Сысоевич, а заканчивал его приемник Иоасаф.
Комплекс вышел просто потрясающий. Его опоясывают двое Святых ворто, к котором примыкают надвратные храмы. Кроме того конечно же центральный храм, каменные палаты, жилые помещения, трапезная, звонница и множество хозяйственных помещений. А в центре двора небольшой пруд.
Историки сходятся во мнении, что архитектором комплекса являлся Пётр Досаев. Он был выходец из Восточных земель, и к тому же, искусный мастер, потому как митрополит просто не мог доверить простому человеку строительство Кремля. Притом в комплексе в некоторых украшениях легко угадываются восточные мотивы.
Архиерейский двор не долго выполнял свои функции, так как уже в 1778 году кафедру митрополитов перенесли в Ярославль, а столь пышный комплекс опустел. Со временем здания стали стариться и приходить в негодность. В начале XIX века Синод даже предлагал разобрать постройки на кирпичи, из которых бы построили новую тёплую церковь. Но жители города вовремя подали прошение о восстановлении храмов. Кроме того в это время в Ростов Великий доставили мощи Дмитрия Ростовского и сюда стали съезжаться богомольцы.
Со временем Кремль стал музеем. А с 1918 года Государственным музеем древностей.
Комплекс настолько огромен, что для того, чтобы обойти все здания и войти в каждую комнату, необходимо потрать на это несколько дней.