La terre est citée pour la première fois au début du XIIIe siècle, l'édifice appartenait à Nicolas du Désert. Au décès de Guillaume du Désert, petit-fils de Nicolas, la propriété passe à Jean Didon et Guillaume Goupil. Puis par mariage, il appartient à Martin Talluet vers 1450. En 1561, une période faste commence pour la demeure acquise par Charles le Vayer, sieur de la Timonière, ii fait édifier le portail d’honneur qui joue sur l’alternance des pierres sombres de roussard et du calcaire clair de Bernay. C'est Pierre le Vayer qui réalise l'aile actuelle, les quatre lucarnes du deuxième étage de la partie centrale de l'édifice et les lanternons sur les deux tours de la cour d’honneur. En 1691, la propriété passe dans la famille de Seguin, il est ensuite vendu en 1716 à François de Maurepas qui le revend vers 1735 à Bon de Jupilles, la décoration du salon date de cette époque avec les cheminées. Puis la Sauvagère est léguée en 1968, à l’Hôpital de Sablé. En 2006, le château a été vendu aux enchères publiques par l’Hôpital à M. J-F Coué.
Le portail d'entrée nord du parc est inscrit au titre des monuments historiques le 17 février 1928.