Музей, который сейчас носит имя И. Н. Крамского, был открыт в 1933 году, но тогда он назывался Музеем изобразительных искусств. Он объединил в себе фонды Музея древностей и изящных искусств и Губернского музея. В 1947 году музей стал располагаться в здании XVIII века, выстроенном в стиле барокко. Оно было возведено в 1777-1779 году по проекту архитектора Н. Н. Иевского и с тех пор почти не изменилось, но в 1984 году для выставочного зала к дому пристроили небольшое помещение.
Сейчас в основном фонде музея более двадцати тысяч экспонатов, среди которых предметы быта и культуры древних египтян и древних греков. Это старейшие экспонаты музея, которыми он по праву гордится. Также в музее представлена большая коллекция картин русских художников XVIII-XIX веков. Среди них есть и известные всему миру фамилии: К. П. Брюллов, А. К. Саврасов, В. А. Тропинин, Н. Н. Ге и другие. Также имеется и небольшая коллекция картин западноевропейских мастеров.
Все выставки разделены по тематике — отдельные залы имеют художники-передвижники, маринисты, художники начала XX века. Музей открыт и ожидает посетителей, любящих искусство и желающих приобщиться к нему.