Le château de Genlis se situe au cœur de la ville. Sa construction se fait en deux étapes.
Tout d'abord, en 1680, Nicolas Valon, acquéreur de la seigneurie de Janly entreprend la construction du château, mais il ne fait que le premier étage. La famille Fyot, successeur des Valon à Genlis, le termine vers 1742.
Vers 1830, le Maire de Genlis laissa ce château à l'abandon. Il y avait alors un magnifique jardin à la française et un petit parc. Le château possédait encore sa clôture et sa grande grille noire.
Après l'obtention définitive du château à la commune de Genlis, le maire décida de retirer les clôtures, la grande grille et le jardin.
Au XXIe siècle, vers 2005 le maire décida d'implanter un centre médico-psychologique dans le bâtiment est du château, alors que le bâtiment ouest comporte une association sportive.