On trouve le lieu de Fontaine Notre Dame mentionné au long des xie au xive siècles sous les noms de Fontanis, Fontanæ, Fontanæ Beatæ Mariæ, Fontaines-Notre-Dame ou Fontaine-Sainte-Marie. Des fontaines se trouvaient sur le territoire de ce village, acquis par l'évêque de Cambrai Rothard vers 980 au profit de l'église Notre-Dame de Cambrai7.
Durant la Révolution, la commune porta le nom de Fontaine-la-Montagne8.
Il existe une commune homonyme de Fontaine-Notre-Dame, 396 habitants située à une quarantaine de kilomètres à l'est de Saint-Quentin, dans l'Aisne.