Göran Selénin kirjoittaman Porvoon pitäjän historian mukaan
Hermanninsaari kuului Haikon kartanon maihin 1400-luvulla ja
omistaja olisi ollut Viipurin dominikaaniluostari. Selénin mukaan
Hermanninsaarella oli saattanut sijaita luostari ja alueella on
keskiaikaisia rakennusjäänteitä. Museoviraston kartoituksissa ei
näitä ole merkitty. Selénin mukaan Haikon kartanolla on vietetty
vilkasta seuraelämää 1800-luvun lopulla. Myös Hermanninsaarella
vierailtiin ja siellä on asunut venäläisiä kesävieraita ja
pakolaisia. Albert Edelfelt on maalannut Hermanninsaarella mm.
kuuluisan teoksen rannalla vietetystä hartaustilaisuudesta.
Vuoden 1778 kuninkaankartassa Hermanninsaari on piirretty
saareksi ja sinne on merkitty yksi rakennus, mutta maastosta ei ole
karttalehdelle piirretty mitään tietoja. Vuoden 1844 kartassa saari
on merkitty kannaksella kiinni mantereeseen ja sinne johtaa
Grundsundin yli ajotie ja silta samalla paikalla kuin nykyinen
Albert Edelfeltin rantatie.
Enligt Göran Seléns bok Borgå socken genom tiderna hörde Hermansö
till Haiko gårds ägor på 1400-talet och ägdes av Viborgs
dominikankloster. Enlig Selén är det möjligt att det funnits ett
kloster på Hermansö och att det finns lämningar efter medeltida
byggnader. I Museiverkets kartläggning finns dessa inte. Enligt
Selén var sällskapslivet på Haiko gård livligt i slutet av
1800-talet. Det gjordes besök även till Hermansö, där det har bott
ryska sommargäster och flyktingar. Albert Edelfelt har målat på
Hermansö bl.a. det kända verket över andakten på stranden.
Enligt konungens kartverk från år 1778 är Hermansö en ö på
vilken det finns ritad en byggnad men inga uppgifter om terrängen.
På kartan från år 1844 har man ritat ön fast i fastlandet med ett
näs, och till ön leder en körväg över Grundsund och en bro på det
ställe Albert Edelfelts strandväg nu finns.