Al op een topografische kaart van 1850 is boerderij Zwanenburg te zien als markant onderdeel van het gehucht Rijnsburg, dat toen (in 1803) was samengevoegd met de gemeente Serooskerke.
Bereits 1850 ist der Bauernhof Zwanenburg auf einer topografischen Karte als markanter Teil des Weilers Rijnsburg zu sehen, der damals (1803) mit der Gemeinde Serooskerke kombiniert worden war.

Maar de historie gaat verder terug. Zwanenburg is een een plek waar al eeuwenlang mensen wonen en werken! Door het vinden van aardewerk is bekend dat hier al mensen woonden vanaf 200 jaar vóór Christus. Er is ook aardewerk gevonden uit de Romeinse tijd. De boerderij is waarschijnlijk ontstaan uit de resten van een oude mottenburcht. Dit was een versterkte heuvel van een lokale landeigenaar en moet naast de boerderij hebben gestaan. De oude landschuur is nog steeds het oudste deel hiervan. Helaas is het exacte bouwjaar van de schuur niet bekend, maar deze dateert waarschijnlijk uit de 16e of 17e eeuw.
In de 17e eeuw werd de boerderij omgebouwd tot landgoed voor een rijke familie uit Middelburg. Er stonden hier in die tijd veel landgoederen. Ze werden door de rijken gebruikt om te ontspannen in de rust en stilte van deze prachtige omgeving.
De boerderij werd destijds omringd door 25 hectare bos en park met lanen en vijvers. Ook werd er in die tijd een prachtig landhuis gebouwd. Aan het einde van de 18e eeuw verdween de welvaart op Walcheren en werd Zwanenburg weer een boerderij met akkerbouw (graanteelt), koeien en varkens. De grote schuur werd in de zomer gebruikt voor de opslag van het gedorste graan.
Verder was er plaats voor koeien en zo'n 7 tot 8 werkpaarden die al het werk op het land deden.
Inmiddels is eind jaren 80 van de 20e eeuw een nieuwe melkveehouderij tegenover de oude boerderij gebouwd, waarbij de grond rondom de boerderij gebruikt wordt om gras en maïs te verbouwen als voer voor de koeien.
Die Geschichte reicht jedoch noch weiter zurück. Zwanenburg ist ein Ort, an dem Menschen seit Jahrhunderten leben und arbeiten! Keramikfunde belegen, dass hier bereits 200 v. Chr. Menschen lebten. Auch Keramik aus der Römerzeit wurde gefunden. Der Hof entstand wahrscheinlich aus den Überresten einer alten Mottenburg. Dabei handelte es sich um einen befestigten Hügel eines örtlichen Gutsbesitzers, der sich wahrscheinlich neben dem Hof befand. Die alte Scheune ist noch heute der älteste Teil. Leider ist das genaue Baujahr der Scheune unbekannt, aber sie stammt wahrscheinlich aus dem 16. oder 17. Jahrhundert.
Im 17. Jahrhundert wurde der Hof in ein Landgut für eine wohlhabende Familie aus Middelburg umgewandelt. Damals gab es hier viele Landgüter. Diese nutzten die Wohlhabenden, um in der Ruhe dieser wunderschönen Umgebung zu entspannen.
Der Hof war von 25 Hektar Wald und Parklandschaft mit Alleen und Teichen umgeben. In dieser Zeit wurde auch ein wunderschönes Landhaus errichtet. Ende des 18. Jahrhunderts ging der Wohlstand auf Walcheren zurück, und Zwanenburg wurde wieder zu einem Bauernhof mit Ackerbau (Getreideanbau), Kühen und Schweinen. Die große Scheune diente im Sommer zur Lagerung des gedroschenen Getreides.
Es gab auch Platz für Kühe und etwa sieben bis acht Arbeitspferde, die die gesamte Arbeit auf dem Land verrichteten.
Inzwischen wurde Ende der 1980er Jahre gegenüber dem alten Bauernhaus ein neuer Milchviehbetrieb errichtet. Das umliegende Land wurde zum Anbau von Gras und Mais als Kuhfutter genutzt.