Fra gammelt av var dette en tradisjonsrik fiskehavn med fiskemottak, foredling og fabrikker. Idag er det ingenting igjen av dette, og de industrielle bygningene er revet og nye ferieleiligheter er oppført.
Lillehavn var opprinnelig havn for folk på Fjellskår. Det er en liten havn, som var utsatt i dårlig vær, inntil fiskerihavna ble utbygget med molo. Før den tid måtte mindre båter trekkes på land under uvær, og større skøyter måtte søke tilflukt i Ramslandsvågen.
Stedet er også blitt kalt ''Norges sydligste fiskevær'', fordi mange makrell-dorgere lenger østfra lå her tidlig i sesongen. Både Fiskernes Salgslag (Skagerrakfisk) og Norges Makrellag hadde mottaksanlegg i Lillehavn, og det var både røykeri og produksjon av klippfisk.
Like i nærheten av Lillehavn ligger også Norges sydligste campingplass.
Cachen er en liten lock-and-lock, med logg og blyant.