Один из образчиков архитектуры времени царствования Екатерины II. Путевой дворец предназначался для лиц, принадлежащих к высшему сословию, которые во время путешествий желали передохнуть от долгой дороги.
Проект дворца принадлежит, как считается, архитектору В. И. Баженову — доказать это сложно, так как почти не сохранились первоначальные чертежи, а дворец к тому же после наводнения в 1807 году перестраивали. Строили Путевой дворец, ориентируясь на формы царского дворца в Смоленске. Документы указывают, что здание было выстроено для удобства путешествия императрицы Екатерины.
В XIX веке дворец был уже в плачевном состоянии, его собирались серьёзно реставрировать для ожидавшегося вскоре генерал-губернатора, но возникла чрезвычайная ситуация — дворец понадобился военным поселениям — и восстановление здания не было завершено. Спустя десятилетие работы всё-таки начались, и руководил ими архитектор В. П. Стасов, добавивший дворцу чугунную ограду.
В 1917 году во дворце располагался Совет рабочих, солдатских и крестьянских депутатов, а позднее — Дом Красной армии и дом культуры. Сейчас дворец используется как центр культуры и досуга.
К дворцу относятся также флигеля, и в целом вид постройки сильно напоминает усадьбу XVIII века. Рядом с дворцом расположен парк.