В период 1697-1701 годов в Грюнхофе было построено каменное здание в стиле барокко. Построено оно было по повелению Фридриха Вильгельма I под руководством Христиана Эльтестера, архитектора из Потсдама. В 1814 году замок был пожертвован королем Фридрихом Вильгельмом III графу Денневицкому Фридриху Вильгельму фон Бюлову за заслуги перед отечеством. Граф умер в феврале 1816 года и похоронен рядом с замком в восьмиугольном склепе — мавзолее в Грюнхофе. В 1851-1854 годах дворец претерпел некоторые изменения. По южной стороне появилась пристройка с лестницей в башне и верхним этажом, благодаря чему здание немного было расширено.
Архитектором проекта Мора был использован стиль неоренессанса. В советский период усадьба выполняла роль административного здания, медпункта, профилактория и клуба. В 1980 году верхние этажи были жилыми и в здании находился магазин. Усадьба Грюнхоф согласно Постановлению №132 Правительства Калининградской области с 23 марта 2007 является объектом культурного наследия муниципального значения.