История особняка состоит из двух этапов. Первый этап начался с его создания в 20-х годах XIX века, а с 90-х годов у музея появляется хозяин в лице Ильи Семеновича Остроухова, талантливого художника и известного мецената и коллекционера. И именно с того времени начинается творческая жизнь особняка: начали проводиться выставки полотен русских и западных художников и выставки собрания икон.
Со сменой политического строя в стране в 1918 году музей национализировали. Но это никак не повлияло на Илью Семеновича, он не отошел от дел Дома музея и позже стал пожизненным хранителем «Музея иконописи и живописи Остроухова», получившим статус филиал Третьяковской галереи. Свой пост Илья Семенович до конца своей жизни. С его уходом музей закрыли и вся коллекция была передана в Третьяковскую галерею.
Статус музея особняку вернулся в 1979 году, когда он был передан Государственному Литературному музею — это было начало второго этапа в истории музея. В музее прошли реставрационные работы, благодаря которым были воссозданы планировка и декор здания. С 1983 года музей начинает принимать посетителей.
Сегодняшняя жизнь музея не менее активна, чем при Остроухове. В музее проводятся литературно — исторические экспозиции, персональные выставки художников, выставки семейных и частных собраний.