Elle appartient à l'origine à la famille de Novéry.
Au XIIIe siècle le comte de Genève s'en empare.
Le 30 novembre 1288, Amédée II de Genève dans une promesse d'échange consentie au damoiseau Gauthier de Confignon mentionne Novéry. Il concède au sire de Confignon une partie des revenus issus de la confiscation de la maison-forte d'Amaury de Novéry. L'échange sera réalisé le 11 février 1289.
En 1352, la seigneurie est entre les mains de la famille de Monthoux et passe par mariage à la famille Vautier.
En 1415, elle passe à la famille des Vidomne de Chaumont suite au mariage de Pierre Vautier de Novéry avec Françoise Vidomne de Chaumont.
Au XVIIIe siècle, par mariage, elle est entre les mains du marquis Henri-Joseph Milliet de Challes. À sa mort en 1777, elle passe à sa sœur Catherine-Françoise Milliet de Challes, veuve du marquis Marc-Antoine Costa de Beauregard.
En 1875, la maison forte est achetée par la famille Jacquet, au XXe siècle, par Messieurs Hausermann et Lowe et en 1977 par Monsieur Magnin.
Vous ne le verrez que de loin