Vrouwenpolder is, in vergelijking met andere Walcherse dorpen, betrekkelijk laat ontstaan: de kapel, gewijd aan Maria (Onze Lieve Vrouwe, aan wie het dorp zijn naam ontleent) werd gebouwd in de 14e eeuw, in gebied dat een eeuw daarvoor ingepolderd was. In 1588 werd Fort Den Haak gebouwd om de ingang van het Veerse Gat te dekken. In 1809 verwoestten de Engelsen, die in dat jaar via de Nederlandse kust Napoleons rijk probeerden binnen te vallen, het fort, waarvan nu niet meer over is dan een lege vlakte achter de duinenrij. Vrouwenpolder vormde van 1816 tot 1966 een zelfstandige gemeente, waartoe Breezand, Gapinge (1857), Schellach en Zanddijk Buiten behoorden. Na die tijd behoorde het dorp tot de gemeente Veere.