Изначально это был деревянный замок, владел которым городской староста М.Ф.Чарторыйский. В 1775 году Екатерина II дарит Гомельское староство графу П.А.Румянцеву, который и принимает решение возвести на месте старого замка дворец.
Уже через два года под руководством архитектора Я.Н.Алексеева начинается его строительство. К 1794 году завершается возведение главного корпуса. Четырех- и шестиколонные портики, украшающие фасад здания и пилястры между оконными проемами придавали дворцу величественность. На первом этаже находились парадные комнаты. На втором располагались жилые помещения. Для прислуги был выделен цокольный этаж. Там же находились и все подсобные помещения.
В 1834 году унаследовавший дворец сын графа продает имение в казну. Дворец выкупает русский полководец И.Ф Паскевич. Он производит некоторую реконструкцию здания.
До революции дворец остается во владении семьи Паскевичей, перейдя сначала к сыну фельдмаршала, а затем к невестке. После революции усадьба была конфискована. В 1919 году здесь открывается краеведческий музей, который и сегодня продолжает свое существование.
В 1995 году в результате реставрационных работ было восстановлено внутреннее убранство комнат, а так же скульптуры, украшающие фронтон дворца. Богатая коллекция, принадлежавшая некогда семье Паскевичей и увезенная из страны, сегодня восстанавливается и постоянно пополняется. В нее входят различные предметы старины, произведения живописи и скульптуры, оружие, старинные издания книг и многое другое, что повествует о жизни бывших владельцев дворца.