Ambrosio Morales (humanista,historiador, sacerdote y catedrático de la universidad de Alcalá en el siglo XVI), en su libro "Viaje Santo", nos indica que "A media legua de Santillana, en una peña que se entra en la mar, está una iglesia dentro de una cueva teniendo la advocación de Santa Justa y Rufina, que están allí sus benditos cuerpos, y por esto tienen aquella ermita en gran veneración"

    Tal fue la importancia de la ermita que en las ordenanzas del concejo de Puente Avíos de 1578 se establecía la obligatoriedad de acudir a la romería de Santa Justa bajo multa de 100 maravedies. 
    Donaciones de particulares dotaron a la ermita de un cierto patrimonio que proporcionaba rentas. En 1753 era una casa y un molino situados a unos 200 pasos del santuario, una pensión perpetua dispuesta a favor de la ermita concedida por Miguel González Calderón, además de varios prados en la mies de Helguera (carro y medio), en la mies de Corino, sitio de Cueto (4 carros), en Trespeña (3 carros), en los Prados (2 carros) y en la misma mies y sitio de los Coteríos (1 carro) que en ese año de 1753 los llevaba a renta un vecino de Tagle llamado Joseph Sánchez de Bustamante, por los que pagaba 14 reales de vellón al año (A.H.P.Cantabria. Col. Ensenada. Leg. 919).