Tussen 1370 en 1398 liet ridder Willem van Egmond aan de Dorpsstraat een versterkte woning bouwen, die hij Palenstein noemde. De honderden palen waarop de woontoren was gebouwd, zijn tijdens opgravingen in de jaren tachtig teruggevonden, evenals vele gebruiksvoorwerpen uit de 14e tot 18e eeuw.Het complex omvatte een boerenbedrijf, een omgrachte woontoren en een boomgaard. Het terrein strekte zich uit over de huidige huisnrs. 86 t/m 116. Rond 1488 speelde het kasteel een rol in de Hoekse en Kabeljauwse twisten, toen er soldaten waren gelegerd om Rotterdam te bevrijden. Daarna vervielen de gebouwen. Ambachtsheer Jacob van Wijngaarden liet in 1645 een nieuw huis bouwen op het terrein, waarna dit diende als administratief centrum van het dorp. Met de aankoop van de ambachtsheerlijkheid Zegwaart door de familie Osy steeg Palenstein weer in aanzien. Cornelis Osy liet de oude gebouwen slopen en bouwde hier in 1791 een groot buitenhuis. In de gevel plaatste hij een steen met de naam van het huis. De familie vestigde zich echter na de Franse tijd in België en wederom stond het huis leeg. Het huis werd in 1888 gesloopt maar het gedeelte met de gevelsteen bleef dienst doen als margarinefabriek voor Brinkers. In 1971 verhuisde de fabriek en de gevelsteen kwam uiteindelijk in 2008 terug naar de Dorpsstraat. Hij is geplaatst op de grens van het oude kasteelterrein en de voormalige boomgaard (het plein bij Dorpsstraat 112).
Pas op voor dreuzels!