De stad Terneuzen heette in de twaalfde eeuw Ter Nose en komt in 1325 voor het eerst in de archieven voor. Ook andere vormen komen voor zoals in 1350 Ter Nessen. Het woord nesse (= nisse) betekent landtong. Terneuzen lag aan een vaart die in directe verbinding stond met de stad Gent. In 1460 wordt de haven van Terneuzen voor het eerst vermeld.
Rond 1375 bestond er een kapelletje voor zeevarenden, wat vermoedelijk behoorde tot de vergane parochie Vremdyc of Willemskerke, op voorgenoemde landtong. Terneuzen is waarschijnlijk ontstaan, langs de Soute Vaert (of Zoutvliet, Oostvaart dan wel Oude Vaart), die de verbinding vormde tussen de 'Blyde' (ook wel genoemd 'Bleie' of 'Blide') en de Honte, wat een oude naam voor de Westerschelde is. Deze vaart was mogelijk net iets ten zuidoosten van het huidige stadscentrum gelegen. De huidige stadswijk Oude Vaart getuigt hiervan. Terneuzen is al vanaf haar oorsprong nauw verwant met de scheepvaart, mede door de gekanaliseerde waterloop van Gent-Overslag en Axel naar de Honte via de eerder genoemde Soute Vaert of Oude Vaart.
De Oude Vaart raakte echter buiten gebruik door een overstroming in 1376, waardoor de Braakman ontstond, een zeearm die ver landinwaarts reikte. Hierdoor is een natuurlijke vaarweg naar Gent ontstaan. De Braakman is in de loop der tijd, door verzanding en indamming veranderd in een grote kreek. Het sluitstuk van dit indammingsproces was de Braakmandam in 1952, hetwelke de landverbinding tussen Oost- en West-Zeeuws-Vlaanderen aanzienlijk verbeterde én overstroming van het achterliggende gebied voorkwam in de Watersnoodramp van februari 1953, maar wat tegelijkertijd het mosseldorp Philippine definitief afsloot van een verbinding met zee.
Terneuzen ligt in het overwegend protestantse Land van Axel. De onderliggende kaart laat goed zien dat dit een eiland was en dat het hele gebied er heel anders uitzag in vergelijking met de huidige situatie. Axel was toentertijd belangrijker en groter dan Terneuzen (Ter Neuze op kaart), let op de naamgeving Land van Axel.
Het Land van Axel (1747)
In de oude haven, die lag op de plek van de huidige Markt werden goederen overgeslagen om per trekschuit richting Gent te worden vervoerd. In 1575 bouwden de Spanjaarden er een fort, genoemd naar Francesco de Aldano, de toenmalige gouverneur. Onder leiding van Filips van Hohenlohe-Neuenstein veroverden de Staatsen dit fort in 1583. Aldus was Axel in Spaanse en Terneuzen in Staatse handen - reden voor Prins Willem van Oranje om Terneuzen op 23 april 1584 stadsrechten te verlenen, dat wil zeggen Terneuzen kreeg een eigen rechtspraak en een weekmarkt. De vesting werd vergroot en versterkt om de Westerschelde te kunnen blokkeren. Deze vesting stond wel bekend als Neuzen. Axel werd in 1586 door de Staatsen veroverd. Toen Hulst in 1596 door de Spaansgezinden werd heroverd, kreeg de vesting Terneuzen nog meer betekenis en werd deze verder uitgebouwd. Na de Vrede van Münster (1648) werden de versterkingen overbodig.
Op 23 oktober 1794 trokken de Fransen Terneuzen binnen en werd Zeeuws-Vlaanderen ingelijfd bij het Franse Rijk, met de Schelde als grensrivier tussen Frankrijk en de Bataafse Republiek. De bezetting van Terneuzen eindigde op 2 februari 1814.
Op initiatief van koning Willem I werd gedurende de jaren 1825-1827 het Kanaal Gent-Terneuzen aangelegd. Hierbij kwam de Terneuzense binnenstad ingeklemd te liggen tussen twee kanaalarmen, de meest oostelijke staat bekend als Zijkanaal A. De hoge verwachtingen van een economische opbloei van Terneuzen door de aanleg van het kanaal kwamen niet direct uit. Daarin kwam verbetering toen omstreeks 1870 spoorlijnen van Terneuzen naar Mechelen en Gent werden aangelegd. Terneuzen werd een belangrijke overslag- en opslaghaven van massagoederen. Overigens vond in 1830 de Belgische revolutie plaats, waarbij België onafhankelijk werd, maar waardoor de handel enige jaren stil kwam te liggen. Bovendien werd Terneuzen in 1833-1838 van nieuwe vestingwerken voorzien, zie Vesting Terneuzen voor de geschiedenis daarvan. In 1908 werd de vestingstatus opgeheven, omdat het kanaal van 1901-1909 was verbreed. Er werd een nieuwe sluis aangelegd en op de in 1912 geheel gedempte Oude Haven werd de Markt en het Schoolplein aangelegd. In 1915 werden de vestingwerken afgegraven en in 1920 werd de Scheldekade aangelegd. Langs het kanaal werden de Noorderkanaalhaven (1916), de Zuiderkanaalhaven(1922) en de Zevenaarhaven (1937) gegraven. In 1899 werd nog een poging gedaan om een staalfabriek te vestigen, doch dit bedrijf ging failliet in 1903.
De Tweede Wereldoorlog begon in Terneuzen op 20 mei 1940 met het bevel van de Belgische militaire commandant aan de bevolking de stad te verlaten in verband met een dreigend bombardement. De Duitsers trokken de stad op 24 mei binnen. De oorlog eindigde in Terneuzen begin september 1944 met de vlucht van Duitse troepen over de Schelde. De Polen trokken de stad op 20 september binnen.
Op 1 februari 1953 veroorzaakte een combinatie van zeer hoge vloed en een noordwesterstorm de Watersnoodramp. In Terneuzen stroomde het water over het dijkje van het vissershaventje en de hoogte bij het voormalige postkantoor, nu de parkeergarage aan de Nieuwstraat, zodat in het lage deel van de binnenstad het water 1 meter hoog kwam te staan.
In de jaren 60 werd een grotere zeesluis aangebracht, wat de bereikbaarheid over water verbeterde. Terneuzen werd nu vestigingsplaats van het grote internationale chemiebedrijf Dow Chemical (1962) en van Philips (1961). Zo werd Terneuzen het economische hart van Zeeuws-Vlaanderen. Tot aan de Otheensche Kreek, en later zelfs aan de overzijde van deze kreek, verrezen woonwijken. In 2003 werd de Westerscheldetunnel geopend, waarvan de toegang zich ten westen van het kanaal bevindt.