Этот монументальный трехэтажный особняк построил в XVIII в. архитектор И.Д. Ясныгин. Заказчиком был купец И.Г. Билибин - дедушка знаменитого живописца начала XX в. Ивана Яковлевича Билибина. В 1848 г. особняк был продан за долги. А в 1859 г. особняк привлек внимание всего города. Там поселился и прожил в течение 9 лет пленный имам Шамиль. Он был предводителем кавказских горцев в борьбе за независимость, являлся руководителем Дагестана и Чечни. В1859 г. он сдался в плен русским войскам. Местом жительства ему определили Калугу. 26 августа 1866 г. в зале калужского Дворянского собрания Шамиль вместе с сыновьями принес присягу на верноподданство российскому императору. 30 августа 1869 года Шамиль получил титул потомственного дворянина. Но климат Калуги не самым лучшим образом складывался на здоровье горца. Поэтому 25 ноября 1868 г. ему разрешено было переехать в Киев.
Оттуда он отправился в паломничество в Мекку. Именно там он окончил жизнь 4 февраля 1871 г. А дом в котором он жил, жители Калуги навсегда связали с именем плененного имама Шамиля. Сегодня Дом Билибина является частью Краеведческого музея Калуги.