L'ancien fief d'Avançon relevait à l'origine de la châtellerie de Saint-Maixent. Cette seigneurie a appartenu successivement aux familles de Nuchèze, de Laval, de La Jaille, de Saint-Georges, d'Albin de Valzergues et de Rechignevoisin.
En 1698, le domaine d'Avançon appartenait à un sieur de Castellane demeurant à Poitiers.
Le marquis Marie de Castellane qui en était le propriétaire, émigra en 1791 et mourut à Londres en 1799. La seigneurie d'Avançon fut vendue comme bien national. Il fut revendu très rapidement à Charles de Raity. Celui-ci céda la propriété à Marie-Zénobie Leclerc de Vezins, fille d'émigré, qui avait été emprisonnée pendant plus de deux ans. Elle épousa, en 1801, Louis Aymer de La Chevalerie, dont les enfants vendirent le château au milieu du XIX° siècle à la famille de Taunay.
Le château est privé, la cache ne se situe pas sur un terrain du château, mais en face de l'allée d'accès.