Die Erstnennung der nahen Bezirkshauptstadt Waidhofen an der Thaya findet sich in einer Urkunde aus dem Jahre 1171. Darin wird ein "Ortolfus de Waidehouen" als Ministeriale der Grafen von Pernegg genannt. Der Name Vestenpoppen ist aus zwei Teilen zusammengesetzt: "Vesten" bezieht sich auf eine Burg, "Poppen" ist auf den ahd. Personennamen Poppo zurückzuführen.
Im Jahre 1303 verkaufte Cholhard von den Dietreichs Gülten und einen Hof zu Poppen dem Heinrich Perharzdorfer. Um 1430 veräußerte Stephan der Eyczinger von Wisenrewtt (am Loschberg) und Martin der Eyczinger von Höflein das Haus zu Poppen mit Zubehör „Kaspar dem Tannberg“. Am 14. Oktober 1431 erlitten die Hussiten bei Waidhofen/Thaya eine schwere Niederlage. Im Zuge dieser Kampfhandlungen musste der Burgstall Vestenpoppen zerstört worden sein, denn um 1455 gab König Ladislaus die öde (zerstörte) Feste Poppen dem Erhard Zach zu Lehen. Am Abhang des Hügels, auf dem sich einst die Feste befunden hatte, wurde ein Schafhof errichtet, weshalb der Hügel die Bezeichnung Schafberg erhielt (siehe Gemeindechronik Waidhofen/Thaya-Land).
Trotz der Zerstörung seiner wehrhaften Befestigungsanlage am Burghügel bekamen die 8 Urlehensbesitzer und das Gut Vestenpoppen 1569 sogar das seltene Privileg eines eigenständigen Landesgerichtes. (siehe Historisches Ortslexikon mit Statistischer Dokumentation des ehemaligen Gerichtsbezirkes Waidhofen an der Thaya). Im Jahre 1779 verkaufte Graf Johann Julius Veterani auf Hirschbach „Das Landgericht von Poppen“ dem Grafen Nikolaus von Falkenhayn, der es zum Gute Schrems zog. Nun wurde den Bewohnern von Vestenpoppen auch noch dieses „Recht des Freien Aigens“ genommen. Wohin wird das noch alles führen? Kann es noch schlechter werden?