Le mur d'enceinte y compris la porte avec pigeonnier date du (XVIe siècle) atteste de l'appartenance du maître des lieux à la noblesse.
Habitat des seigneurs de Kergoz, ce manoir a appartenu à la famille de Derval dont le dernier représentant (Hyacinthe) s'est distingué à la bataille de Quiberon ; ses ossements se trouvent à la chartreuse d'Auray.
Ses remparts, ses tours d'angle à meurtrières et son colombier, qui de loin à l'apparence d'un donjon étaient propres à décourager des pillards venus de la mer.
Il pouvait d'ailleurs offrir, en cas d'alerte, un asile temporaire aux villageois.
La commune est maintenant propriétaire du manoir qui a servi de centre aéré pour les enfants puis de club du troisième âge, elle loue ses salles aux particuliers.
Sources: Wikipedia https://fr.wikipedia.org/wiki/Manoir_de_Kergoz