Nicolas Colbert a séjourné dans ce château où il décèdera en 1696.
En 1764 l'évêque Champion de Circé fait démollir une aile, reconstruire le portail d'entrée et bâtir l'actuel pavillon central. Il épargne toutefois les bâtiments datant du XVe siècle au bénéfice du fermier des terres de Varzy.
A la révolution, le château entre sur la liste des biens nationaux. Il sera entre autres acquis par Edmée Rollin qui créé une manufacture de faïences en 1794. L'entreprise fermera ses portes en 1803. Pas de crayon dans la cache Prévoir pince à épiler Respectez les lieux et soyez discrets
Après plusieurs acquisitions, le château a bien triste aspect et devient l'antre de négociants de vins.
En 1929, le château, après avoir été "retapé", devient une colonie de vacances.
En 1946 débute la restauration du château sous la direction de Jean Avarre, architecte local.
La commune de Varzy en devient l'actuel propriétaire en 2008
.