В августе 1901 г. комитет памятников Севастопольской обороны доверил Ф. А. Рубо нарисовать полотно. Был объявлен конкурс для создания проекта здания, где будет размещаться картина панорамы, приняли проект О.И. Энберга. В 1904г. живописное полотно размером 115х14 м было повешено и смонтирован детальный план. В мае 1905 г. Панорама открыла свои двери к юбилею обороны города. Внутри круглого здания находится огромная картина, посередине - смотровая площадка, при восхождении на нее посетители визуально оказываются на вершине Малахова кургана 6 июня 1855 года.
На центральной части здания выбито число 349 - количество дней защиты города. В июне 1942 г. панорама закрывается после налета немецких самолетов, при прямом попадании возникает пожар в здании. Полотно частично удается спасти, разрезая его на куски и вынося на последний корабль, уплывающий из Севастополя. Было вывезено, сохранено и доставлено в Москву 60% полотна.
Специальная комиссия в 1946г. пришла к выводу, что картину невозможно восстановить, принимается решение писать новый холст по сохраненным фрагментам. Здание пришлось восстанавливать, и 16 октября 1954 г. к юбилею Севастопольской обороны двери вновь открыты.