Le château de Panloy est situé à Port-d'Envaux en Charente-Maritime. Le château appartient à la même famille depuis sa construction, il n'a jamais été vendu, de ce fait son intérieur et mobilier sont authentiques. Il est toujours habité par la même famille et par les descendants de la Maison de Grailly.
Guillaume de Ransanne(s) est connu comme le premier seigneur de Panloy et des traces écrites indiquent que par la suite, ce titre revint aux Moreau, qui devinrent seigneurs de Panloy du début du xve siècle à 1680. Saisie et vendue, la seigneurie change plusieurs fois de propriétaire, et le 8 juillet 1760 elle constitue la dot apportée par Marie Sarry, dame de la baronnie de la Chaume de Nancras et de Champagne, de la Tour et de Panloy, à Jacques Michel, baron de Saint-Dizant.
Il restaure la demeure en ne gardant qu'un seul pavillon d'entrée, datant de l'ancien château qui avait été construit durant la Renaissance. Leur fille Anne-Marie épouse en 1785 le marquis de Grailly, dont les descendants sont toujours propriétaires du château. Durant la Révolution, la marquise, utilise comme d'autres aristocrates dont les biens, voire la vie, étaient menacés, la loi révolutionnaire du divorce, ce qui lui permet de conserver le domaine; quand son mari est amnistié durant le Consulat, il revient en 1802 et ils se remarient en 1806; depuis, le château reste dans la même famille avec le mobilier d'époque Louis XV.