Es wird vermutet, dass die Burg Andorf auf den Ruinen eines Römerkastells errichtet wurde. 1140 wird erstmals Dietricus de Ammendorf als Zeuge in einer Urkunde des Klosters Vornbach genannt. Eine Urkunde des Klosters Reichersberg nennt ebenfalls um 1140 Isinrich de Annendorf, dessen Sohn Odalrich und wieder dessen Sohn Wolfram; weiters kommen hier die Namen von Alewig, Hartwig, Ditmar, Rudiger und Walther von Ammedorf vor. Um 1200 scheint Walchun de Andorf in einer Urkunde des Klosters St. Nicola auf und um 1203 ein Ulricus de Ammendorf. Im 14. Jahrhundert, eventuell aber bereits im 12. Jahrhundert durch Isinrich, gelangt Andorf in den Besitz des Domkapitels von Passau. 1768 kommt Andorf an Freiherrn Ferdinand Rudolf von Pflacher.
Die Burg war durch bogenförmige Wälle und Gräben gesichert. Man konnte von hier das Pramtal, das Mehsenbachtal und auch teilweise die Bergkette des Sauwaldes überblicken. Drei Gräben umgaben die Burg, wobei der äußerste bereits um 1850 zu einem Acker eingeebnet wurde. Von dem Burgstall soll ein unterirdischer Gang in südlicher Richtung gegen Andorf hin verlaufen, eventuell ist dies aber ein Erdstall, dessen Funktion nicht klar ist.[1] Zu der Burg gehörte ein um 1358 erbauter Meierhof, das heutige Haus Opitz. Hier starb 1860 Anton Freiherr von Herbstheim. Vom Burgstall sind noch der halbkreisförmige Umfassungsgraben und der Turmhügel erkennbar. Einige Bereiche der ehemaligen Burg dürften aber schon in die darunter fließende Pram gestürzt sein.