En réalité, elle n'est chapelle Saint-Ghislain que depuis le début du XXe siècle.

Une église Saint-Remy, de style gothique, fut bâtie vers 1600 à Dampremy. Devenue trop petite à la fin du XIXe siècle en raison de l'industrialisation de la région, on construisit une grande église sur la place et l'église originelle fut démolie. On maintint cependant le choeur. Les colonnes qui entourent la chapelle sont les colonnes de l'ancienne église qui furent récupérées et dont on a fait un ensemble.

La nouvelle église de la place étant devenue l'église Saint-Remy, on rebaptisa donc l'ancienne en chapelle Saint-Ghislain car il existait à l'entrée du cimetière actuel une petite chapelle dédiée à saint Ghislain qui fut détruite lors de l'agrandissement du cimetière.

Elle sera restaurée à deux reprises en 1915 et 1992.
En 1929 on acheva la décoration intérieure de la nouvelle église.
Les vitraux du coeur furent exécutés par les peintres verriers Massy et Lechanteur de Tournay.
Le choeur de la chapelle sera classé en 1950.