Le site est la propriété de la seigneurie du Lain (Lein ou Lin) à la fin du XVIe siècle, propriété successive des familles Le Lain, Lantivy, Guyardet (vers 1600), Monistrol (au XVIIIe siècle).
Associée au château, une chapelle privée est bénie le 25 septembre 1773 .
En 1871 il est acheté par Théophile Viollet, inspecteur des Ponts et Chaussées travaillant à la construction de la ligne de chemin de fer . En 1875 , ce nouveau propriétaire aménage le parc paysager et doit être le promoteur du nouveau château qui remplace l'ancien manoir à la fin du XIXe siècle.
L'ajout d'une ferme, construite pour la famille Guyomar, a lieu en 1920.
Le château est sinistré par un incendie en 1992 . Ses ruines et son parc sont l'objet d'un concours pour la création d'un parc péri-urbain en 1999, et en 2004 la commune de Gestel finance la consolidation de la façade.