Dès 1891, Gaston LE BRETON, directeur du Musée des Antiquités et des Musées départementaux, fait appel à Lucien LEFORT, architecte du Département pour la construction de son château dans lequel il souhaite exposer « ses chères collections ».
Terminé en 1898, le château est le lieu où Gaston LE BRETON aime recevoir et chasser. Ainsi, on peur y croiser des hommes politiques, la bourgeoisie rouennaise ainsi que de nombreux artistes comme par exemple Camille SAINT SAENS.
Les Allemands occupent ce lieu de 1941 à 1944 avant que l’état major américain ne s’y installe jusqu‘en 1946 (cf. cache Twenty Grand)
Ce château est aujourd’hui un musée d’art contemporain ouvert au public (gratuit)