El Kolitza es monte Bocinero junto con Oiz, Sollube, Gorbea y Ganekogorta. Esto significa que en él se llamaba con cuernos huecos (bocinas), y se prendían hogueras, con objeto de llamar a los representantes encartados a las juntas generales del señorío en Gernika.
La ermita de San Roque está situada en la cima del monte a 880 metros de altitud. Aunque en origen estaba consagrada a San Sebastián y San Fabián, tras las epidemias de peste en el siglo XVI se introdujo la devoción a San Roque. Este santo fue un noble francés que donó sus bienes a los necesitados y dedicó su vida a atender a los apestados, muriendo más tarde él, también víctima de la peste.
Aunque la ermita de Kolitza se ha interpretado habitualmente como templo románico, y no sin razón, una lectura más atenta de sus arcaicas portadas, lleva a los expertos a situarla en el primer gótico de Vizcaya. Desde que fue erigida, probablemente en pleno siglo XIV, ha sufrido diversas modificaciones y reconstrucciones.
En el verano de 1937, durante la guerra civil, la ermita de San Roque fue escenario de la conocida como batalla de Kolitza. Esta batalla constituyó uno de los últimos intentos (fallidos) del ejército republicano de reconquistar Vizcaya que pretendía ocupar la ermita con fin de amenazar Balmaseda. En el transcurso del ataque el templo fue destruido siendo reconstruido unos años después, en 1949.