Podle historických pramenů byly Nalžovice založeny vladykou Nelžejem. Osada se původně jmenovala Nelžejovici a zdejší vladykové si postavili u svého statku tvrz. Prvním z vladyků, kterého připomínají dějiny, byl Vilém (r. 1364). Panství v průběhu dějin často měnilo majitele. Po roce 1741 získal tvrz Jan Václav Alsterl z Astfeldu, který zde nechal vystavět barokní zámek. Dnešní podoba je z let 1750 až 1760 a poslední opravy proběhly v 80. letech minulého století. V současné době je zámek využíván jako Ústav sociální péče pro mentálně postižené dívky. Zámek byl v restituci navrácen posledním majitelům, tj. rodině Schwarzenbergů, nyní je majetkem Středočeského kraje.
Nejvýznamnější památkou Chlumu je farní kostel sv. Václava. Původně gotická stavba ze 14. století byla barokně upravena v roce 1790. Zajímavé je křídlové schodiště se sochami sv. Gotharda a sv. Felixe, náhrobník s barokní vázou, socha sv. Antonína Paduánského a cínová křtitelnice, která stojí na třech nohách v podobě vousatých mužů, držících v rukou vousy a dole zakončených zvířecími tlapami s drápy. Kostel má mohutnou věž s dvěma poschodími a cibulovitou střechou.
Z historie nedávno minulé je třeba se zmínit o době nacistické okupace, kdy obyvatelé Sedlčanska byli vystěhováni a celá krajina byla přeměněna na výcvikový prostor vojsk SS. V nalžovickém zámku bylo sídlo nejvyššího soudu pro příslušníky SS z celé Evropy. K smrti odsouzení byli stříleni u zdi zámeckého parku.