C’est Louis Potier, Comte de Tresmes, sur des plans de François Mansart, qui entreprend la construction d’un château au XVIème siècle, au lieu dit "la Butte des bruyère", sur les ruines d'un château primitif. Il reste en possession de cette famille jusqu’en 1794, date de l’exécution du dernier duc de Gesvres. En 1790, les habitants de Gesvres demandent et obtiennent leur rattachement à la commune de Crouy. Le château de Gesvres est détruit en 1810, il n’en reste qu’un pavillon d’entrée, les douves avec leurs ponts et le portail d'entrée avec sa grille. Le site est classé monument historique, arrêté du 24 septembre 1975.