Les archives nous rapportent qu’en 1219 existait déjà une seigneurie de Boisset qui appartenait à Pierre de Bermond II d’Anduze.
En 1243, le roi Saint-Louis, pour une raison qu’on ignore, en fait don au Sénéchal de Beaucaire et cette terre, avec d’autres, est incorporée dans les domaines de la Comté d’Alès qui, en 1345, sont vendus au Comte de Beaufort, frère du pape Clément VI. Le domaine reste dans cette famille durant deux siècles puis, en 1542, est confié au Sieur Claude Delaporte, marchand d’Anduze, qui demeure le vassal du Comte de Beaufort et devra, ainsi que ses successeurs, payer chaque année à la Saint-André, une somme de 10 sols tenue à la main, et, deux genoux à terre, sans porter épée, en faire hommage aux Comtes d’Alès. Cette cérémonie a effectivement perduré puisque en 1634, le fils d’Auban et Catherine Delaporte, noble Jean de Petit, Seigneur de Boisset, rend hommage à la Comtesse d’Alès, Charlotte de Montmorency.
En 1736, ses descendants cèdent la Seigneurie de Boisset à Louis Flavard, avocat au parlement et habitant Anduze, qui laisse son bien à sa veuve, Marie de Boisset pendant la révolution. Il meurt le 17 vendémiaire au XII (9 octobre 1805). Ses fils Pierre-Paul Ijean et César Ijean se partagent la succession le 24 octobre 1814. En 1822, Pierre-Paul vend sa propriété à Michel Montaud, maire de Boisset. A sa mort, en 1848, M. Montaud laissait deux enfants. Marie-louise Tirza, mariée le 29 janvier 1826 à Jean-Pierre Eugène Rieu de Montvaillant et Désiré Montaud.
Un arrangement de famille attribuait la propriété à Mme de Montvaillant. Le nom de Montvaillant apparaît déjà à Florac en 1579, alors vivait en ce lieu Jean de Castel, sieur de Montvaillant, il existe toujours un château de Montvaillant à la Salle Prunet, hameau voisin de Florac. C’est un « Rieu », avocat à l’époque de Louis XV qui a acheté le titre à un de ses descendants. La famille Rieu de Montvaillant était connue à Anduze et Mialet. La porte du château porte encore de nos jours ses armoiries « Des gueules ¹ à trois lances d’or en pal ² sommées de trois besants ³ de même ».
J. P. Rieu de Montvaillant était magistrat, conseiller à la Cour de Nîmes, et en même temps un artiste, épris de peinture où il excellait. Son fils, avocat au barreau de Paris, fut maire de Boisset et Gaujac. Ancien condisciple de Mistral, il était connu par son œuvre poétique. Il décède à 79 ans en 1906 et son fils Alfred hérite du château qu’il vend, pour payer ses dettes en 1932 à un pasteur retraité, Monsieur Brunel, qui, à son tour le cède en novembre 1940 à Monsieur Elie Cohen.
Le château, devenu Maison d’Enfants, servit pendant la guerre de lieu de passage et de refuge à de nombreux enfants juifs puis, une association d’Avignon en fit une colonie de vacances.
En 1948, la confédération du Gard des Anciens Combattants et victimes de la guerre achète la propriété et en fait une maison de repos ouverte en 1952. Elle est rachetée en 1997 par les Œuvres et Institutions des Diaconesses de Reuilly (O.I.D.R.) qui y installe une Maison Spécialisée dans l’accueil des personnes atteintes de la maladie d’Alzheimer.
Concrètement, en ce qui concerne les bâtiments, une échauguette visible à l’angle ouest nous rappelle que cette demeure a une très ancienne histoire.