Si dice che fino agli anni '90 questa cappella fosse molto frequentata, con file chilometriche di automobili lungo le strade circostanti. Le persone vi si recavano per una pratica particolare: pregare per far passare uno spavento.
Secondo la tradizione, dopo aver pregato, i fedeli lanciavano una pietra contro la cappella e si voltavano, senza mai guardarla indietro. Questo gesto simbolico era ritenuto essenziale affinché lo spavento svanisse, quasi come se lasciarlo alle spalle fosse parte del rito di purificazione.
Un tempo, all’interno della cappella erano presenti doni e oggetti in oro offerti dai fedeli, come segno di devozione. Tuttavia, un giorno tutto scomparve e si decise di installare delle sbarre di ferro per proteggere il luogo. Da quel momento, però, nessuno portò più nulla e la tradizione iniziò lentamente a svanire, fino a essere dimenticata anche dagli stessi abitanti.
L'edificio è stato costruito nel XIII secolo, in onore della nutrice di San Vito, Santa Crescenzia. Leggenda vuole che la donna sia rimasta pietrificata - trasgredendo l'ordine di non voltarsi durante un evento franoso - nello stesso punto in cui in seguito è sorta la cappella.
La struttura è arabeggiante, ma si possono notare influenze di altri stili, in particolare gotico e normanno.
Inizialmente è stata utilizzata come luogo di pellegrinaggio. Attorno al XV secolo, invece, diventa una vera e propria fortezza.