Déjà occupé au IIIème siècle par une villa romaine, le site de la Troussaye possède un lourd passé. La tradition raconte que c'est à proximité de l'actuel château que se rencontrèrent, le 13 août 587, les émissaires chargés d'annoncer la mort de Sainte Radegonde et de Saint Junien. Une croix puis une chapelle et, en 1150, un prieuré de l'ordre de Grandmont furent érigés à l'endroit supposé de la rencontre. Le prieuré fut vendu en 1793 et annexé à une métairie voisine. C'est à l'emplacement de cette ancienne métairie qu'est construit l'actuel château auquel M.Henri de Montjou adjoint l'aile gauche en 1891. Depuis 2002 le château de la Troussaye a été entièrement restauré, pour le plus grand plaisir des Iteuillais et des promeneurs.