Según la leyenda, durante la reconquista, estando las tropas apostadas sitiando Sevilla, la escasez de agua potable hizo al Rey Fernando III implorar a la Virgen y al grito de "váleme señora" (de ahí el nombre Valme) clavó su espada en el suelo, manando agua al instante. La realidad es que en la zona, (Fuente Rey, barrio de Dos Hermanas) existe un manantial que forma una laguna.
«¡Váleme, Señora, que si te dignas hacerlo, en este lugar te labraré una capilla, en la que a tus pies depositaré como ofrenda, el pendón que a los enemigos de España y de nuestra Santa Fe conquiste!»
Dieciséis meses después, el rey San Fernando entraría victorioso en Sevilla y, como fruto de su compromiso, en el Cerro del Cuarto construiría una ermita de estilo mudéjar en la que colocaría la imagen de una Virgen que en recuerdo a su plegaria denominaría de Valme.
En el año 1800, como consecuencia de la epidemia de fiebre amarilla, la imagen de la Virgen fue trasladada en rogativas hasta Dos Hermanas, comenzando entonces un período de fuerte declive para la ermita, que acabó quedando prácticamente arruinada.
Fue la novelista Cecilia Böhl de Faber (Fernán Caballero) quien rescató del olvido las ruinas de la Ermita de Valme, a través de su novela La familia de Alvareda, que conocieron los duques de Montpensier –Antonio de Orleans (hijo del rey de Francia) y Luisa Fernanda de Borbón (infanta de España)–, mostrando estos su interés por restaurar el culto a la Virgen de Valme en su primitivo templo. Así, el 30 de mayo de 1859, los duques decidieron llevar a cabo la reedificación de la capilla, como acción de gracias por el nacimiento de su primer hijo varón, llamado Fernando en recuerdo del Santo Rey.
Como consecuencia de los sucesos revolucionarios de 1868, y ante el riesgo de que la ermita pudiera ser destruida, los vecinos de Dos Hermanas decidieron trasladar nuevamente a la Virgen hasta la parroquia del pueblo, permaneciendo desde entonces (1869) en la capilla sacramental.
La Romería de Valme, que se celebra cada año desde 1894, en la localidad de Dos Hermanas (Sevilla), el tercer domingo de octubre.
La romería consiste en trasladar desde la iglesia de Santa María Magdalena de Dos Hermanas a la ermita del Cortijo del Cuarto, en la barriada sevillana de Bellavista (hasta 1937 pertenecía a Dos Hermanas) a la imagen de "Nuestra Señora de Valme". Esta romería fue declarada Fiesta de Interés Turístico por Resolución de 15 de junio de 1976.