C'est sur les bases d'un premier manoir érigé sur les terres de Penvern au XVe siècle que l'actuel château a été reconstruit en 1771 par le Comte François du Perenno de Penvern et son fils aîné Paul Romain Guy du Perenno. C'est du moins ce que la note consignée par Louis Le Nestour, vicaire de Persquen, indique dans le registre des baptêmes de la paroisse pour l'année 1771 : « Le 21 février a été rebâti le château de Penvern, tel qu'on le voit aujourd'hui, par le comte François du Pérenno de Penvern, âgé d'environ soixante-quinze ans et Monsieur son fils aîné Paul-Romain-Guy du Pérenno, âgé d'environ quarante-cinq ans ».
Le logis semble avoir été conçu par les ingénieurs militaires de Lorient, comme le suggère la sévérité de la façade sud-est. On retrouve cette architecture au château de Launay, à Ploërdut à quelques dizaines de kilomètres au Nord.
Une grande cour d'honneur rectangulaire, délimitée par des murets à piliers à l'ouest et au sud, prend place dans l'espace précédant le logis. Une chapelle et un pavillon (abritant le menuisier d'après la propriétaire) en occupent les coins au sud et à l'est. A l'époque un grand bâtiment servant de grange et d'écuries se trouvait entre le château et le pavillon situé à droite sur la carte postale. Il a été entièrement démonté et revendu par un propriétaire précédent.
Des jardins en terrasses, quelques allées, un étang et un lavoir complètent l'environnement immédiat du château. Un pigeonnier à lui aussi disparu au gré des propriétaires.
Les façades et toitures du corps de logis, de la chapelle et du pavillon de garde ainsi que les murets à piliers de la cour d'honneur, les jardins à terrasses et le parc sont inscrits au titre des monuments historiques par arrêté du 22 octobre 2009.
Le château de Penvern se visite lors de journées spéciales - journée du patrimoine, rendez-vous aux jardins, ... la cache n'est donc pas située sur la partie privée du domaine.
Prenez soins de vous garer sans gêner le passage éventuel d'un autre véhicule.