Инициатором создания музея выступил профессор Московского университета и историк Цветаев И. В. И также он стал первым директором, который оставался на этой должности примерно 2 года. Изначально музей создавался как хранилище копий и слепков произведения искусств всего мира и его основой был Кабинет изящных искусств. Официальным днем начала строительства является 1898 год. Спонсором практически всего проекта был меценат Нечаев-Мальцов Ю. С. Если судить по его предыдущим работам, то из 19 проектов рассмотренных, принято было 15, а награждено 7. Руководителем стройки был архитектор Клейн Р. И., помощниками стали Шухов В. Г. И Рерберг И. И.
Все здание было закончено в 1904 году, затем начали избирательно выбирать экспонаты, выставляя на просмотр копии и слепки, в основном с большинства экземпляров копии делались впервые. Вскоре открытие состоялось и название музея связалось с именем Александра III. В 1932 музей переименовали в сегодняшнее название и уже сочеталось с Пушкиным А. С.
Сегодня коллекция содержит 560 тысяч произведений искусств: скульптуры, живопись, памятники нумизматики и археологии, художественная фотография, графика, произведения прикладного искусства.