La ermita de San Pedro de Elorriaga, situada en el barrio de Elorriaga de Lemoa fue reedificada a principios del siglo XX utilizando los muros y suelo de una ermita anterior.
Entre sus muros se encontraban empotradas nueve estelas de época prerromana y romana, siendo así el mayor conjunto epifegráfico de Bizkaia.
Actualmente, junto a la ermita se exponen las réplicas de las estelas que fueron retiradas y puestas a resguardo debido a su mal estado de conservación.