Музей имеет недолгую, но насыщенную историю. Дом, в котором расположен музей, был построен в 1893 году на средства купца В.Я. Кузнецова, почетного гражданина города.
Музей в этом доме был расположен в 1985 году. До этого времени в здании находился Дом матери и ребенка, детская клиническая больница и хирургическое отделение клинической больницы. С 1998 года началось планирование мероприятий, посвященных 1000-летию Ярославля. И у мэра города возникла мысль о необходимости иметь свой городской музей с исторической экспозицией, которая будет показывать десять веков из истории Ярославля.
В здании была проведена реставрация. Далее началась более сложная работа по поиску средств, проведению исследований, поиску генерального подрядчика и формировании фонда. Все эти мероприятия финансировались из городского бюджета и спонсорских средств.
Для посетителей музей открылся в День города, в мае 1999 года. В 2013 году Музей истории города Ярославля будет праздновать свое четырнадцатилетие. Не может не радовать тот факт, что музей востребован до сих пор.
Сегодня в стенах музея расположены две основные выставки — это «Десять веков истории Ярославля» и «Из истории ярославской медицины».