La Tour des Gardes, abrita la prison depuis l'épiscopat de l'évêque Guillaume de Cardaillac (1328-1348).
Cette tour de plan rectangulaire inscrite sur l'inventaire des Monuments Historiques depuis 1926, est percée de quelques baies et meurtrières. La porte d'accès de style gothique, s'ouvre sur un grand arc brisé, environné par trois têtes humaines sculptées. Elle enjambe un passage couvert qui laisse encore apparaître la pluie de la herse et les gongs des vantaux de la porte, aujourd'hui disparue. La tour abrite une statuette de la Vierge à l'Enfant du XVIème siècle, dont l'originale est conservée dans la salle d'exposition de l'abbaye…