Этот дом был построен в 1852 г. Автором проекта был архитектор Р.О. Карвовский. Здание выполнено в стиле позднего классицизма.
В 1862 г. дом был приобретен вышедшим в отставку чиновником П. Д. Дягилевым (1808-1883), который был дедом С. П. Дягилева. Именно в этом доме с 1880 по 1890 гг. жил вместе ос своими родителями Сергей Павлович Дягилев (1872-1929) — знаменитый театральный и художественный деятель. Именно атмосфера этого дома во многом сформировала его личность. Здесь собиралась вся городская интеллигенция.
Дягилев известен прежде всего как организатор «Русских сезонов», благодаря которым весь мир познакомился с русской музыкой, оперой и, в большей степени, с балетом. Он также является одним из основателей художественного объединения «Мир искусства».
Сам особняк еще в 1891 г. был выкуплен городской Думой. А в 1894 г. здесь была открыта гимназия. С 1914 г. здание использовалось для военных нужд.
Во время гражданской войны здание переходило от красных к белым. Здесь располагался штаб Колчака. С 1923 г. и по настоящий момент в здании располагается школа.
С 1992 г. гимназия носит имя С.П. Дягилева. В здании также располагается музей, посвященный великому русскому деятелю искусства.