La falaise rocheuse située derrière le Château est munie de grottes qui servirent incontestablement d'habitat troglodytique, puis un village fortifié ou castrum se développa sur l'étroit parvis situé contre la falaise, devant les grottes, et surplombant un ravin. Une courtine, s'étendant de la falaise au ravin, protégeait le site vers l'Est, du côté de l'accès principal vers le Causse. A l'ouest le site comportait un puits une chapelle & d'autres fortifications.
Le Donjon ou tour à cinq "cayres" fut édifié au XIIe siècle, près de la courtine, pour renforcer la défense à l'Est, il devait être démantelé à la Révolution. Le XIIIe siècle vit la construction d'une tour rectangulaire proche du puits
dont le rôle était de défendre le castrum vers le bas.
A la fin du XIVe siècle, un seigneur Pierre de La Roque fit construire la tour batterie comportant l'entrée actuelle du Château, transportant ainsi l'accès principal du site du secteur Est au secteur Ouest. La hauteur initiale de la tour, conçue pour l'artillerie de l'époque, devait être de l'ordre d'une trentaine de mètres.
C'est à partir de 1467 que fut construit par des La Roque le grand Corps de Logis central, actuellement la partie
munie de toitures du Château dont la hauteur dépasse trente mètres. La cour basse, édifiée à la même époque, permettait de réunir les parties XIVe, XIIIe et XVe siècles du Château et autorisait, à partir du portail de la tour du XIVe siècle, l'accès à l'écurie aménagée dans la partie basse du Corps de logis central, l'ensemble XIIIe et XIVe a été transformé en terrasse, à peu près dans sa configuration actuelle, sous Louis XIV par un Seigneur Dujols, après démantèlement des parties supérieures restantes des deux tours XIIIe et XIVe siècles, mais il comporte des pièces toujours enfouies, d'importantes fouilles ont été commencées.
Le château eut à subir des dommages importants pendant la révolution à partir de 1793 la décoration
intérieure fut partiellement dégradée et la partie supérieure du donjon détruite. Entre 1834 & 1840 Charles Dufau vendit les biens de la Seigneurie à plusieurs acquéreurs, lotissant le château & les terres. C'est en 1924 que Jean Autesserre, natif de Figeac, put refaire l'unité du monument, en achetant à la commune la partie supérieure du château qui servait de Mairie, d'école pour les garçons et pour les filles & de logement pour les instituteurs, ainsi que la partie basse du château que possédait la famille Faret. Les travaux de restauration devaient commencer peu après.
Source