L'inizio del culto verso l'immagine della Madonna dell’Olmo risale a 1640 circa, quando un'effigie della Vergine con il Bambino, dipinta su una lastra d'ardesia era collocata su muro a secco lungo la via: qui i viandanti sostavano per la preghiera.
In origine, e poi per molto tempo, la Madonna venerata in quest'effigie, non è conosciuta come "Madonna dell'Olmo", bensì con il titolo di "Madonna del Monte", perché il luogo ove è posta si trova sul Monte Santa Croce, o anche "Madonna della Costa", da allora nome della località. Il titolo deriva, secondo le testimonianze, da una grossa pianta d'olmo, che si trovava nel piazzale.