Экспозиция Художественного музея начала формироваться ещё в конце XIX века. Это был художественный раздел историко-археологического музея архивной комиссии. После Великой Октябрьской революции коллекция пополнилась собраниями дворян, купцов и помещиков города, среди которых значился Н.Я. Шатров, В.Н. Поливанов и др.
Музей стал полностью самостоятельным в 1920 году и ему было отведено место в доме, некогда принадлежавшем помещице Перси-Френч. А через 12 лет его перевели на второй этаж дома-памятника Гончарову, в нижней части которого уже располагался краеведческий музей. В эти годы музей активно пополнялся всевозможными экспонатами, которые поступали из музеев и фондов столицы. К настоящему времени в фонде музея более 11,6 тысяч экспонатов. Среди них скульптуры, графика, рисунки, и конечно, полотна. Притом это работы мастеров не только России, но и Голландии, Испании и Франции.
Музей гордиться тем фактом, что в его активе есть произведения Ф. Рокотова, К. Брюллова, А. Иванова, Д. Левинского и В. Боровиковского.
Отдельное место в коллекции занимают усадебные портреты, которые созданы художниками-крепостными. А так же в Художественном музее есть фарфор из России, Франции, Германии, мебель и многое другое, что несомненно заинтересует любителей прекрасного.