W II połowie XVII wieku pałac mający kształt zamku przeszedł w ręce marszałka wielkiego koronnego Józefa Karola Lubomirskiego i wtedy również dokonano rozbudowy obiektu, wg projektu słynnego architekta Tylmana z Gameren.
W XVIII stuleciu Lubartów wraz z zamkiem zniszczonym w czasie wojny północnej stał się własnością marszałka wielkiego litewskiego Pawła Sanguszki. Ten postanowił odbudować obiekt wg projektu włoskiego architekta baroku - Pawła Antoniego Fontany. W tym samym czasie Fontana na zlecenie Sanguszki budował też w Lubartowie pobliski kościół św. Anny i klasztor Kapucynów. Fontana sprawdził się znakomicie, bowiem efekt przebudowy pałacu zachwycił wielu. Powstał wtedy elegancki, barokowy pałac.W XX wieku pałac spłonął, ale miasto podjęło się jego odbudowy i dziś pałac znów zachwyca. Mieści Starostwo Powiatowe, dlatego nie jest udostępniony do zwiedzania, ale można podziwiać jego wnętrza w godzinach otwarcia Urzędu. Pałac otacza piękny, zadbany park z fontanną.