De stad is net als Tongeren ontstaan uit een Romeinse vestiging. Tussen 180 en 250 na Chr. werd het castellum gebouwd en de burgerlijke nederzetting verbouwd tot militaire versterking. Dit gebeurde op een landtong die uitstak in het moerassige kustgebied. Het castellum was deel van een reeks forten langs de Noordzee en de kusten van Engeland, namelijk de Litus Saxonicum. Deze kustverdediging werd voornamelijk opgetrokken als bescherming tegen de piraterij van de Chauken en Friezen. In het begin van de 5de eeuw verloor het castellum zijn militaire betekenis, toen het garnizoen werd teruggetrokken naar Italië om daar de Germaanse invallen (trachten) tot staan te brengen. De vesting raakte in verval in de volgende eeuwen. Het is niet duidelijk of het fort eventueel een rol zou hebben gespeeld tegen de plunderingen van de Vikingen. Wat wel vaststaat is dat het Romeinse castellum diende als steengroeve voor de streek. Zo liet graaf Boudewijn V van Vlaanderen de stenen overbrengen naar Brugge. Daar zouden ze dienen voor de bouw van de Burg. Met de stenen uit het castellum werd ook de Sint-Pieterskerk (1056-1070) gebouwd.
De vierkante structuur van dit fort tekent zich nog duidelijk af in de dorpskern, twee elkaar kruisende straten binnen een vierkante vorm. Ook in de middeleeuwen was het een bloeiende stad, zeker op het gebied van de lakenindustrie. In 1128 werd een walgracht gegraven, de Stedebeek. Deze omsloot het vroegere castellum (15 hectare groot).
In 1084 stichtte de heilige Arnoldus te Oudenburg de Benedictijner Sint-Pietersabdij. Hij was op vredesmissie in Vlaanderen en kwam in Oudenburg terecht. Er was ook een belangrijke brouwerij aanwezig in het complex; de heilige Arnoldus is dan ook de patroonheilige van de bierbrouwers. Behalve een middeleeuwse duiventoren is echter niets bewaard gebleven van de oorspronkelijke bebouwing. Op de locatie is nu onder andere het Romeins Archeologisch Museum (RAM) gevestigd.
Oudenburg lag langs de oude landweg Oudenburg-Brugge-Aardenburg. Het had een strategische positie aan de oever van de Ieperlee, een riviertje en kreek die Brugge met Nieuwpoort en Ieper verbond en waarvan stukken gebruikt werden om het kanaal Plassendale-Nieuwpoort en het kanaal Brugge-Oostende en de sluis van Plassendale (1623) aan te leggen.