Дворец «Ясная поляна» небольшой по своим размерам. В нем всего лишь 2 башни, общей площадью 144 кв. метра и 20 аршин высотой. Башни заканчиваются зубцами и украшены стрельчатыми окнами, как и фасад всего дворца. Над архитектурой дворца работал Вильям Гунт, по заказу князя Голицына. Голицын имел большое влияние на Александра I. Вокруг дворца в честь царя раскинулся парк, названный Александрией. Парк занимает территорию в 18 га.
После Крымской войны замком владела графиня Панина. В гости к ней приезжал после своей тяжелой болезни Л.Н.Толстой. И долгое время дворец носил название «дворец графини Паниной». «Ясной поляной» усадьбу стали называть в честь Л.Н.Толстого только в наше время. Внутри дворца сохранилась комната-музей, посвященная великому писателю.
В настоящее время здание дворца используется как санаторий «Ясная поляна».