I 1859 var H.C. Andersen på sommerophold på Nørre Vosborg, hvor han fik tid til at digte, lave papirklip og fantasere om stedets mange spøgelser.
Fra H.C. Andersens dagbog kan man bl.a. læse :
Dagbogen 10. juli 1859
Søndag 10. Sendt Brev til Jette Collin og Etatsraad Drevsen. Jeg skulde her i Haven vælge mig en Plads og valgte den under et Hyldetræ lige i Hjørnet nord vest, dertil skrev jeg et Vers som skal sættes op der paa en Tavle.
Her under det blomstrende Hyldetræ
Vi sidde mod Vinden deiligt i Læ
Og see over Buske og Træers Top
Smukt Nørre Vosborg løfte sig op
Med Taarn og med Gavl, som i gamle Dage,
Og gjennem vor Tanke Minderne drage
Om Bugge og Podebusk - til Peder Tang,
Sært Tankerne svulme og blive til Sang.