La tour des pêcheurs est un vestige de l'enceinte de la villle de 1230.
La tour est, avec la tour des Chevaliers, un des vestiges de la deuxième enceinte de la ville.
Jusqu’à la Révolution, la Moder est navigable, et des bateaux de pêche à fond plat entrent et sortent de la ville. Pour contrôler cette activité et assurer la perception de l’octroi, l’arche enjambant la rivière est complétée par une herse, abaissée le soir et remontée le matin. C’est l’existence de cette herse qui explique la dénomination du moulin de la Herse, Rechenmühle, construit derrière la tour au XVIIIe siècle et démoli au XXe siècle.
La tour a subi de nombreux remaniements : le premier niveau est en partie du XIIIe siècle, avec l’intérieur voûté en cul de four, et les niveaux supérieurs, avec trois canonnières côté campagne, sont du XVIe siècle.