Военно-исторический музей Черноморского флота был создан в сентябре 1869 года. Первоначально учреждение располагалось по улице Екатерининской, в доме одного из руководителей обороны Севастополя — генерала Э.И. Тотлебена.
Однако уже в декабре того же года музею было передано огромное по площади имение в деревне Эмир. Позднее при музее были возведены приют для людей с ограниченными физическими возможностями, ремесленное училище и школа, рассчитанная на 40 учеников.
В 1895 году было построено новое здание, возведенное по проекту академика А.М. Кочетова. Здание было выполнено в классическом стиле и украшено чугунными и бронзовыми фрагментами. На фасаде был изображен «севастопольский знак», на котором расположены крест и число 349, обозначающее количество дней обороны города. Боковые фасады здания обрамлены частями кораблей, пушек и бронзовых знамен.
В экспозицию музея входят большое количество материалов, среди которых преобладающую массу составляют личные вещи руководителей обороны города: В.А. Корнилова, П.С. Нахимова и др. В 1913 году фонд музея насчитывал порядка 30 тысяч экспонатов и продолжал пополняться.
В военный период, когда здание разрушили, экспозиция была перенесена в здание картинной галереи и возобновило выставочную деятельность 15 августа 1948 года.