La primera referència documental la tenim compresa entre els
anys 1068 i 1095.
L’any 1165, n’eren senyors d’aquest castell en
Galceran i Berenguera de Pinós, es creu que en aquesta època
n’eren els castlans la família Saldes.
Entre 1306 i 1316, aquest castell junt amb el de Bagà, Gavarrós i
Gósol varen estar ocupats per les forces del rei Jaume II que
estaven en guerra amb Pere I Galceran de Pinós.
El castell de Saldes feia molta enveja als moros, que
el van voltar per tot arreu i es van posar al
cap de fer-se'l seu, costés el que costés. El setge
va durar mesos i anys, i va arribar un moment que els qui
defensaven el castell no van disposar de la força suficient per a
defensar-lo i va decidir abandonar-lo.
Conserva encara una part de les muralles exteriors,
l'esglesia de Santa María i el pati. Tambè hi destaca una gran sala
del segle XIII, coverta amb volta apuntada i amb porta d'arc de mig
punt.
L'hermita de Santa Maria del castell és una petita església de la
qual es tenen notícies des del seglñe XIII quant era l'església del
castell.
Consta d'una petita nau rematada per un absis ovalat i coberta amb
volta apuntada.
Va ser un dels principals llocs de la baronía de Pinós (segle XII)
i del duc d'Alba durant el segle XVI).