La tour aux Pigeons et la tour de la Poterne, toutes deux du xive siècle, sont les vestiges du château de Void aujourd'hui disparu, qui en comportait trois autres : la tour des Loups, la tour de la Lanterne, et la tour Bontemps. Ce château de forme quadrangulaire avait des murailles longues de 75 m à 80 m, hautes de 15 m et épaisses de 2,5 m. On entrait dans le château par la tour de la Poterne, aussi appelée tour de l'Audience car selon la tradition on y rendait la justice. Les façades et toiture de la Poterne sont inscrites depuis le 18 juin 1938 à l'inventaire des monuments historiques. Les murailles furent démolies au début du xixe siècle.