Музей находится в бывшем дворце графов Шереметевых. Особняк был построен ещё в 1750 году. Усадьба принадлежала Шерементевым до 1917 года. После революции дворец стал функционировать, как музей дворянского быта. Эксплуатировался он до 1931 года. В коллекции музея вошло частное собрание Шереметевых, которое формировалось в течение 200 лет. Собрание включает в себя картинную галерею, предметы декоративно-прикладного искусства, собрание скульптуры, оружия, библиотеку, собрание церковной утвари, икон. Особняк в 1984 году был переквалифицирован под потребности научно-исследовательского учреждения. Коллекции были отданы музеям Москвы и Ленинграда, дизайн был утрачен. Спустя 5 лет, дворец был передан музею музыкального и театрального искусства, чтобы в здании разместить государственную коллекцию музыкальных инструментов. Здесь стали проводиться реставрационные работы по возобновлению интерьера 19 века. Весь фонд музея представлен в трёх направлениях: история рода Шереметевых и дворянский быт 18-20 в.; экспозиции музыкальных инструментов; выставка частных коллекций. Коллекция музыкальных инструментов представляет свыше трёх тысяч экспонатов. Среди которых можно лицезреть русские колокола, инструменты античности, старинные арфы, виолы. Помимо временных выставок, здесь находятся и постоянные экспозиции. А также дворец стал местом, где проводятся концерты.