Соловецкий камень был установлен в память о жертвах политических репрессий в СССР. Место его установки было выбрано не случайно. На Лубянской площади находились здания НКВД и КГБ, где решалась судьба заключенных. До того как в здании обосновались органы государственной безопасности там располагалось страховое общество «Россия».
Установить подобный памятник стало возможно только в Перестройку. В 1990 году общественные активисты привезли в Москву глыбу, которая прежде находилась на Большом Соловецком острове, где также был Соловецкий Лагерь Особого Назначения, возникший на месте монастыря. Камень перевозили на пароходе до «большой земли» и по железной дороге до столицы. Основными инициаторами события стали члены общества «Мемориал», которое было создано академиком Сахаровым.
Сперва глыба находилась прямо напротив памятника Дзержинскому, однако спустя год во время августовского путча 1991 года тот был перенесен. День открытия памятника (30 октября) стал официальным Днем памяти политических репрессий.
Рядом с Камнем кроме здания ФСБ находятся такие достопримечательности как Политехнический музей, центральный «Детский мир» и один из старейших московских книжных магазинов «Библио-Глобус».