La Muralla
Pocos son los restos que quedan de la antigua muralla, que cercaba la villa desde las faldas de la sierra de Pancorbo; arrancando desde el Castillo de Santa Marta hasta la margen izquierda del río Oroncillo y cerrando en el afloramiento rocoso de San Nicolás. No está clara la fecha de construcción de la misma, situándola algunos autores en el siglo XIII y otros en el XV.
Existían, a finales del siglo XVI, dos puertas principales. Una de ellas, situada junto a la iglesia de San Nicolás, (probablemente entre esta y el que antes se llamaba puente de la Carnicería), y, la otra, en la entrada del barrio de la Herrería, que era por la que se accedía al pueblo viniendo desde Burgos.
La Judería
La Judería de esta villa se situaba en lo alto del pueblo, encima del espacio conocido como La Cabrada. Además, existió una aldea llamada Villanueva de Ponticurbo y, más tarde, Villanueva de Judíos, cuyo topónimo aún se conserva, a unos dos kilómetros por la carretera de Logroño.
La judería pervive hasta 1492, cuando es abandonada como consecuencia de la expulsión de los judíos, quedando así totalmente abandonada y perdida en la memoria.
Actualmente, la Universidad del País Vasco está llevando a cabo excavaciones arqueológicas.