En lotsled passerade genom Oxelösundet redan på medeltiden och från 1530-talet fanns lotsar här i trakten. Vid slutet av 1700- och början av 1800-talet placerades en del av stationen vid sundet där små lotsstugor uppfördes och på 1840-talet fanns här även en handelsbod. Denna bebyggelse är dock idag helt riven.
Under 1600-talet uppfördes en försvarsskans på berget vid sundet. Där fanns även en krog och en begravningsplats. Skansen är nu borta liksom kyrkogården, endast en gravsten finns kvar i trädgården till den nu rivna Villa Skansborg. Den nuvarande krogbyggnaden, en rödfärgad parstuga, är troligen uppförd under slutet av 1700-talet. Under slutet av 1800-talet sedan järnvägen anlagts fungerade krogen en tid som gästgiveri och skjutsstation. Den är numera hembygdsgård och restaurang/café och utgör den enda bevarade byggnaden från tiden före 1850. Den näst äldsta byggnaden här är Vita havet som uppfördes i mitten av 1860-talet som bostad för två lotsfamiljer.
Sedan järnvägen kommit till Oxelösund började även sommarvillor att uppföras i området.
Nyköpings magasinsplats lät under 1920-talet avstycka tomter här som såldes till andra yrkeskategorier som järnverks- och glasbruksarbetare och fiskare. 1950 bodde omkring 130 personer i Gamla Oxelösund. Senare avsattes dock området som industrimark, många hus revs, och befolkningen minskade.