Colbert y installe en 1679 son intendant Pierre de Clairambault, qui devient attaché aux bibliothèques de Louis XIV, puis généalogiste des Ordres du Roi. Il contribue à l’instruction du Grand Dauphin et de son fils et entreprend des fouilles dans l’église Saint-Germain l’Auxerrois où il découvre onze sarcophages mérovingiens. A la mort du marquis de Seignelay, fils et héritier de Colbert, en 1690, le duc du Maine, fils de Louis XIV et de la marquise de Montespan, devenu possesseur des lieux, en fait don à Nicolas de Malézieu. Par la suite, plusieurs propriétaires s’y succèdent jusqu’à son occupation par les Allemands au cours de la seconde Guerre Mondiale. A ce jour, le pavillon Colbert, est une propriété de la commune.