Les restes de l'antic castell de Castellgalí es troben dalt d'un turó que domina el poble i sobre la riba dreta del Llobregat. Actualment són visibles algunes parets fruit de les excavacions del 1970 de les quals no es conserva material arqueològic i que resten en bona part tapades per vegetació.Aquests murs podrien estar ja fets al segle XI . A prop hi ha les restes de l'antiga capella castellera de Santa Maria.
L'any 1983 Joan Galobart va trobar restes de ceràmica datable entre els segles III-I aC, corresponent a finals de l'època ibèrica.
Aquest castell tenia sota la seva jurisdicció un terme que deu correspondre a l'actual municipi; ja que fins i tot la zona entre els rius Llobregat i Cardener ja en depenia. El cim que ocupà el castell ja havia estat ocupat anteriorment ja que es van trobar fragments de ceràmica ibèrica .
És documentat ja el 867, on apareix citat el Castelo de Galindo ("castell de Galí") que demostra l'origen del topònim. El castell apareix documentat des de 924. A través d'aquest document es pot confirmar que el castell que porta el topònim de Castellgalí fou en un principi el "Castell d'en Galí", fent referència al primer senyor del castell, anomenat Galí o "Galindo". Durant dos segles no en tenim cap notícia.
El 1178 es documenta la venda del castell per part de Sibil·la, que l'havia heretat de la seva mare Arsenda, al comte-rei Alfons I. El rei concedí el castell a una família que es cognominà Castellgalí; aquesta, per tenir-ne el feu havia de fer servei d'armes, que presten el 1284 i el 1285. Durant el segle XIV els Castellgalí continuaren prestant acte d'homenatge als reis del Casal Català-Aragonés.
La Pesta Negra estroncà la línia directa dels Castellgalí. Pere III ho aprofità per vendre el 1350 al seu conseller Bernat de Torres alguns drets reials. Els hereus, no conformes amb la venda, deixaren el castell en estat d'abandó. El 1413 el noble Lluís de Rajadell n'adquirí la senyoria; el 1563 o el 1673 fou venut als Amigant, que en tingueren possessió fins a la desaparició dels senyorius jurisdiccionals.
Va ser cedit de forma momentània al monestir de Montserrat durant la guerra contra el rei Joan II. Els seus últims senyors feudals van ser els Despujol, marquesos de Palmerola. Es creu que va quedar destruït entre 1462 i 1472. L'antic hostal fou transformat el 1683 en residència senyorial. També havia existit una petita capella romànica que pertanyia al castell, la capella de Santa Maria, de la que encara en queden alguns vestigis al costat de les poques restes del castell.