Depuis le XIe siècle, Raismes possède un château, reconstruit plusieurs fois, jouant un rôle défensif contre les pillards, les Flamands et les Français jusqu’à la fin du XVIIe siècle.
En 1076, la comtesse Richilde attacha l’office héréditaire de grand veneur de Hainaut à l’ancienne seigneurie noble d’Ostrevant.
Une maison fortifiée datant du XIe siècle existait alors ; sa chapelle qui servait en même temps de paroisse fut donnée en 1156 aux religieux de l’abbaye de Vicoigne. Baudouin l’Edifieur, en 1160, fit construire une tour à côté de ce "château" pour faire obstacle aux incursions des Flamands en Hainaut et contenir les larrons de la forêt de Vicoigne.
Assiégée par les troupes françaises en juin 1656, elle fut détruite au début du XVIIIe siècle.
La seigneurie était passée entre les mains de diverses familles parmi lesquelles figurent René d’Anjou et le chancelier Rollin ; en 1673, elle revint à la famille Cernay.
Celle-ci, dès la fin du XVIIe siècle, entreprit de moderniser la vieille bâtisse ; les jardins furent aménagés au siècle suivant par François-Marie le Danois, marquis de Cernay (1710-1784) qui fit d’autre part rebâtir l’église paroissiale en 1752 ; à gauche du choeur, une tribune seigneuriale où il fut inhumé avait été ménagée.
Après la victoire de Denain (1712), le château fut le théâtre d’un fastueux banquet dont le souvenir fut éternisé par la frappe d’une médaille et par un tableau que plusieurs auteurs ont attribué à Louis Watteau : dans cette hypothèse, il faudrait admettre que l’artiste a peint son œuvre a posteriori puisqu’il n’était pas encore né au moment de l’événement (il a vécu entre 1731 et 1798).
Il est certain cependant qu’il a réalisé pour cette famille de nombreuses œuvres, encore visibles au siècle suivant, notamment des portraits et un tableau à douze compositions sur un thème de bataille.
Vendu en 1795, l’ensemble du domaine fut détruit, à l’exception de ce portique monumental, dit du Rendez-Vous de chasse à cause de ses motifs sculptés, érodés, comprenant des chiens et des trophées. Il se compose d’un arc central à claveaux à crossettes souligné par deux pilastres doriques et sommé d’un fronton triangulaire amorti de chaque côté par deux volutes à contre-courbe écrasée ; la décoration est assez riche, mais taillée dans une pierre calcaire qui a mal résisté au temps : quatre chiens en arrêt parmi des feuillages constituent le bas-relief central inscrit dans le fronton et des panneaux latéraux sont ornées de trophées. La désignation de ce portique comme "rendez-vous de chasse" rappelle la charge ancestrale de grand veneur du Hainaut possédée par les seigneurs du lieu. Il doit dater de la première moitié du XVIIIe siècle, et être contemporain de l’aménagement des jardins. Au début du XVIIIe siècle, le prince Joseph-Clément de Bavière, archevêque-électeur de Cologne, réfugié à Valenciennes, possède une résidence à Raismes. A l’annonce de la victoire de Denain en 1712, lui permettant de regagner ses états, il fait élever un monument à la gloire de Notre-Dame de Bonne-Espérance. Au XIXe siècle, la sculpture, intitulée l’Espérance, réalisée en 1712 par le Valenciennois Gillis, est installée en face de ce portique. L’œuvre, respectée à l’époque révolutionnaire, a disparu, victime du vandalisme contemporain.
