La tour du Brandon est l'unique vestige d'une ancienne forteresse.
L'origine de cette tour est très mal connue.Elle est implantée sur un site habité par l'homme depuis bien longtemps. On a trouvé à proximité des silex du Paléolithique.
D'origine médiévale, construite au xiie siècle, la tour du Brandon occupait le centre d’une enceinte fortifiée de 5 000 m2 environ. La muraille a disparu (sauf quelques segments inclus dans les murs d’habitations modernes) ainsi que l’unique porte, flanquée de deux tourelles, qui s’ouvrait à l’ouest ; Les douves qui la protégeaient ont été comblées, mais leur emplacement est encore discernable ; un réseau de galeries aujourd'hui murées s’étendait sous la forteresse. On ignore à quelle époque tous les bâtiments, hormis la tour, ont été démolis, mais la muraille existait encore en 1583.