Siden omkring år 1200,
da Nyborg slot blev bygget, har området været befæstet.
Fæstningen blev regelmæssigt udbygget og forstærket. I 1658
blev fæstningen indtaget af svenskerne, der vandaliserede
slottet, så det var uegnet til kongebolig. Forsvarsværket
blev renoveret og man bibeholdte fæstningen der tidligere var
blevet udbygget blandt andet med landporten omkring år 1600.
I 1869 blev Nyborg fæstning nedlagt, men byen forblev
garnisonsby med artilleri og infanteri. I 1660 fik militæret
overladt Nyborg slot, som derefter blev degraderet og brugt
som tøjhus, det vil sige til oplagring af uniformer, våben og
krudt.
Kasernen skulle efter sigende
have været i en bygning der ligger på torvet (Torvet 4-6). Det var
ikke en kasserne som vi forstår det i dag. Soldaterne var
indkvarteret privat rundt omkring i byen, hvorved mange husejere
fik en velkommen ekstraindtægt fra militæret. Der nu er
parkeringsplads på torvet er den gamle paradeplads. Hvorimod der
hvor cachen ligger er den gamle eksercerplads, hvor soldaterne har
været samlet til morgen- og aftenappel, og i øvrigt ofte når der
har været samling. Byen vedblev med at være garnisonsby indtil
1913, hvor garnisonen blev overført til bl.a. Vordingborg. I stedet
fik byen statsfængslet som kompensation.