U pisanim dokumentima Veli Lošinj se prvi puta spominje 1398. godine, pod imenom Velo Selo. Iste se godine spominje i Mali Lošinj, kao Malo Selo. Mali Lošinj je nastao kasnije i bio manji. Razvojem brodogradnje u Malom Lošinju i grad se brže razvijao i postao veći. U svojim ranim danima to je naselje pastira i ratara, pa su i stare kuće bile postavljene prema položaju poljoprivrednog zemljišta, dakle raštrkane, a ne u uličnoj liniji. Veli Lošinj se, kao i mnoga slična mjesta, kasnije okreće moru, ribarstvu i pomorstvu, pa je danas crkva Sv. Nikole ostala na samom rubu naselja. Od 17. stoljeća grad se razvija oko središnjeg trga u velološinjskom zaljevu, a u uvali Rovenska nastaje ribarsko naselje s malim, zgusnutim kamenim kućama. U 15. stoljeću izgrađena je kružna kula, zbog obrane grada, ali i kao zbjeg za njegove stanovnike u slučaju napada. Kula je relativno niska i debelih zidova, kako bi izdržala topovsku paljbu. Gornji su dijelovi zidina istureni, zbog lakšeg gađanja napadača. Kula je 1774. godine obnovljena, no ubrzo nakon toga ona gubi svoj obrambeni značaj, te slijede godine propadanja. Godine 1911. tek je djelomično i nepotpuno obnovljena, no to nije bilo dovoljno da zaustavi propadanje. Temeljitu restauraciju doživjela je tek na prijelazu iz 20. u 21. stoljeće. Danas je u njoj muzejsko-galerijski prostor s brojnim vrijednim zbirkama, a tu je i replika tzv. Lošinjskog Apoksiomena, vrijednog antičkog brončanog kipa izvađenog iz podmorja nedaleko Velog Lošinja 1999. godine. Original će svoj dom pronaći u Malom Lošinju. Godine 1510. gradi se trobrodna crkva Gospe od Anđela (crkva Sv. Marije), sa zvonikom. Crkva je 1732. godine obnovljena, proširena i barokizirana. Dograđeno je centralno svetište s kupolom i apsidom, a i zvonik je poprimio današnji, barokni izgled. U crkvi se čuva vrijedna zbirka slika venecijanskih majstora, od kojih se jedna pripisuje Tizianu. Župna crkva Sv. Antuna Opata Pustinjaka sagrađena je na mjestu crkvice iz 15. stoljeća. U 17. stoljeću ta je stara crkva srušena, a sagrađena nova, trobrodna bazilika. Godine 1774. ta se crkva temeljito rekonstruira i pregrađuje, pa se zapravo može govoriti o trećoj crkvi na istom mjestu, raskošnoj crkvi koju karakterizira kombinacija baroknih i klasicističkih elemenata. U crkvi Sv. Antuna Opata Pustinjaka čuva se zbirka slika talijanskih majstora, najbogatija na kvarnerskim otocima. U Velom Lošinju i okolici još je nekoliko crkvica i kapela. Crkva Sv. Petra izgrađena je 1666. godine, a dograđena 1729. godine. Na brdu Kalvarija je crkvica Sv. Ivana Krstitelja iz 1755. godine, a u njenoj blizini ostaci kamene kućice u kojoj je, u prvoj polovici 19. stoljeća, pustinjački živio jedan svećenik nakon povratka s hodočašća u Svetu zemlju. Kapela Navještenja Marijina izgrađena je u 18. stoljeću, a svoj današnji lijep izgled dobila je nakon rekonstrukcije 1897. godine. Nalazi se na rtu, te je pomorcima služila kao orijentir za navigaciju. Crkva Sv. Josipa i samostan uz nju izgrađeni su 1855. godine na mjestu ranije kapele. U kratkom razdoblju do 1920. godine u samostanu su boravili benediktinci, poslije njih isusovci i na kraju franjevci glagoljaši. Sada je tamo župni dvor. Na novom velološinjskom groblju, uz more, nalazi se kapela Sv. Križa izgrađena u 19. stoljeću. U Velom Lošinju shvatili su da je brodogradnja dovela do munjevitog razvoja susjednog Malog Lošinja, no do te spoznaje došli su prekasno. Godine 1856. sagrađen je lukobran i brodogradilište u uvali Rovenska, no to je već vrijeme kada parobrod ozbiljno potiskuje jedrenjake. Iako godine koje su dolazile nisu bile jednostavne niti za malološinjsku brodogradnju, ona se donekle uspjela prilagoditi i održati. Velološinjsko brodogradilište nije. Zatvoreno je 1877. godine i u svojih 20-tak godina postojanja izgradilo je tek nekoliko velikih jedrenjaka. Od izuzetnog značaja za Veli Lošinj bila je 1885. godina. Tada ugledni austrijski liječnik dr. Conrad Clar dovodi na otok Lošinj svog bolesnog sina, čije se zdravstveno stanje ubrzo poboljšava. Dr Clar proučava utjecaj lošinjske klime na zdravlje i o tome izvještava, zainteresiravši i mnoge druge ugledne liječnike, između ostalih sveučilišnog profesora, otorinolaringologa Leopolda Schrötera. Na temelju njihovih izvješća austrougarska vlada proglašava 1892. godine Mali i Veli Lošinj državnim klimatskim lječilištima. Bila je to velika preporuka ne samo medicinskoj javnosti, već i aristokraciji, čiji je dolazak zasigurno potaknuo još jedan događaj koji se zbio 1885. godine. Tada je Veli Lošinj posjetio habsburški nadvojvoda Karl Stephan u potrazi za mjestom gdje će podići svoj ljetnikovac. Odabrao je Veli Lošinj. Kupuje kuću u gradskoj luci, a zatim gradi i raskošnu vilu u park šumi Pod Javori, u kojoj je danas smješteno klimatsko lječilište. Krajem 19. i početkom 20. stoljeća u Velom Lošinju se grade brojne vile, pansioni, lječilišta i hoteli, koji i danas daju osobit pečat izgledu ovog gradića. Zanimljivo da je u to doba Veli Lošinj bio više posjećen zimi, u proljeće i na jesen, nego tijekom ljeta. Dolazili su oni s alergijama i problemima dišnih putova, koji su si to mogli priuštiti, ali i svi oni koji su željeli biti u trendu, jer je Veli Lošinj postao mjesto gdje «treba biti viđen». Za vrijeme talijanske vladavine Mali i Veli Lošinj proglašeni su «ljetovalištima za zdrave goste», te prevladava ljetni turizam. U moru oko otoka Cresa i Lošinja živi velika skupina dupina, čiji se broj procjenjuje na 120 jedinki, a koji pripadaju vrsti dobrih dupina. Ovi prekrasni, inteligentni sisavci polako nestaju iz svjetskih mora, ponajprije čovjekovom krivicom. Izgledi su im na lošinjskom području nešto bolji, zahvaljujući velikim naporima Instituta Plavi svijet, koji se o njima brine. Institut je u Velom Lošinju 2003. godine otvorio Lošinjski edukacijski centar o moru, koji svakako vrijedi posjetiti. Osim stalnih izložbi ovdje se održavaju radionice i edukacijski programi na kojima će svatko imati prilike nešto naučiti, a za djecu tu je Morska igraonica.