Строительство дома Пашкова было окончательно завершено в 1786 году архитектором Василием Баженовым. Этот факт периодически оспаривается, так как нет подтверждающих документов, однако, стиль мастера заметен сразу. Строился он как жилой дом для капитан-поручика Петра Пашкова. Красивый особняк недолго принадлежал одной семье. Всего спустя несколько десятилетий, в начале XIX века потомки Пашкова продали дом под нужды Московского университета. К концу столетия здание уже стало одним из корпусов Румянцевского музея. В 1921 году дом перешел во владение открывшейся тогда библиотеки имени В.И. Ленина. В настоящее время здесь хранится огромная коллекция книг по истории музыки, ноты, а также редкие рукописи.
Здание выполнено в стиле классицизма. Главный парадный фасад открывается со стороны Моховой улицы. Величественное белое здание, с высоким цокольным этажом великолепно в своей грациозности. Дом строился по классическому принципу того времени. Главный трёхэтажный корпус с надстройкой в виде круглой башенки гармонично соединяется с боковыми одноэтажными галереями. Единый декор здания, скульптуры и лепнина создают общий гармоничный вид. Задний фасад здания, выходящий во двор, имеет гораздо менее торжественный вид, в стиле уютной усадьбы.