Gustavsviks herrgård hette ursprungligen Vik. Första gången Vik i Varnum med säkerhet nämns är i ett brev skrivet på pergament är den 24 februari 1425.
Gården Vik delades upp i mitten av 1500-talet i Västervik och Östervik.
År 1736 såldes gården till släkten Linroth, vilka skulle göra gården ståndsmässig enligt tidens krav. Det var Sara Maria Stedt, änka efter Axel Linroth, som lade grunden för dagens Gustafsvik. Georg Adlersparre kom 1809, av en oförutsedd händelse att övernatta på Gustafsvik, där han träffade dottern Louise Linroth och blev förälskad. Här blev han fördröjd i några dagar men gav sig sedan av med sin trupp för att avsätta Gustav IV Adolf i Stockholm. Den 10 september 1809 hölls bröllop på Gustafsvik och senare övergick gården i Adlersparres ägo. Sonen Rudolf gjorde området runt herrgården till park med ett dammsystem med öar, svanar, fisk, parkbänkar, lusthus och långa grusbelagda promenadsträckor. Det var även han som byggde Österviks kapell och Gustafsviks kyrkogård. Utgifterna gick överstyr och 1885 gick paret Adlersparre i konkurs. Herrgården utbjöds till auktion och samlingarna skingrades. Herrgården inspekterades noggrant vid konkursen och därigenom har man mycket information från denna tid.