Starý zámek Po zániku hradu Chlumce (ve 12. nebo 13. století) se ves dostala do držení různých šlechtických rodů. V r. 1486 zde sídlili Kelblové z Geysinku, kteří zde v l. 1592-96 postavili renesanční tvrz (mohlo jít i o přestavbu staršího sídla). Po bitvě na Bílé hoře byl statek konfiskován a v r. 1623 prodán Petru Jindřichu ze Strahlendorfu. V té době se uvádí statek Chlumec se tvrzí, vsí, dvorem, dvěma mlýny, vinicemi a lesy. V r. 1652 získali Chlumec Kolovratové Krakovští a po r. 1707 přešel do rukou Kolovratů Libštejnských. Stará tvrz byla přestavována pro potřeby vrchnosti a změnila se v barokní zámek. Jako šlechtické sídlo přestal zámek sloužit kolem r. 1780, když v Chlumci vznikl nový zámek. Starý zámek byl přestavěn na hospodářskou a kancelářskou budovu, z niž se v druhé polovině minulého století zachovaly jen zbytky v budovách státního statku.
Nový zámek Kolem r. 1780 dala hraběnka Kolovratová-Thunová v Chlumci postavit nový, pozdně barokní dvoukřídlý zámek, který při úpravách v r. 
1836 dostal mansardovou střechu. 29. srpna 1813 zde měl hlavní stan francouzský maršál Vandamme, velící francouzské armádě, která měla vpádem do Čech zabránit nástupu rakousko-rusko-pruské armády proti Napoleonovým silám v Německu. Chlumec se stal v této době centrem panství, které v letech 1830-1945 patřilo rodu hrabat z Westfallen-Fürstenberg. Po druhé světové válce až do svého zániku se stala budova součástí státního statku a sloužila do 50. let jeho hospodářským potřebám.