Библиотека была основана в 1822 г. на деньги и по предложению офицеров флота. Это одна из первых военных библиотек России. Она находится в здании, которое выстроено в послевоенное время. В эти годы библиотека укомплектовывалась лучшими изданиями, выходившими из типографий. В морской библиотеке большой книжный фонд - 250 тыс. экз. журналов, книг, брошюр. Уникальный фонд военно-морской литературы - нескольких веков здесь находятся раритеты отечественного и мирового уровня. Строительство Морской библиотеки началось в 1837 г. закончилось в 1844 г., но здание через несколько месяцев сгорело.
Офицерский состав решил собрать деньги на реставрацию. Средства были быстро собраны и через полтора года, в 1846 г. началось восстановление здания. Библиотека открылась к 1849 г. на том же месте. Здание отличалось от первоначального, теперь уже было не два этажа, а три. Проект А.П. Брюллова на тот момент был самым красивым в городе.
Здание Морской библиотеки перестраивалось и восстанавливалось три раза по причине разрушений во время боевых действий. Для сохранения библиотечного фонда во время войны книги вывозили в Николаев, а наиболее ценные экземпляры - на Кавказ.