Pierwsza, drewniana strażnica krzyżacka stanęła około 1335 r. u wypływu Węgorapy z jeziora Mamry, najprawdopodobniej w miejscu pruskiego grodziska Angetete, wspomnianego przez Piotra z Dusburga. Drewniany zameczek, wystawiony przez wielkiego mistrza Dietrycha von Altenburga, był kilkukrotnie zdobywany i niszczony przez wrogów, m.in. w 1356 r. przez Litwinów pod wodzą księcia Kiejstuta.
Kiejstut (Wielki Książę Litewski 1381-1382)
Około 1398 r. lokalizację zmieniono, budując murowany zamek na wyspie w rozwidleniu Węgorapy, około 2 km na północny wschód. Nowy zamek, wystawiony przez wielkiego marszałka i komtura królewieckiego Wernera von Tettingena, był siedzibą krzyżackiego prokuratora.
Werner von Tettingen
Budowla dostosowana została do kształtu wyspy, stąd nieregularny obrys na planie wydłużonego trapezu. Otoczona była murem z trzema okrągłymi basztami oraz fosą, w części stanowiącą naturalne odnogi Węgorapy. Dostęp do zamku umożliwiały dwa mosty zwodzone. Najstarszymi, zachowanymi do dzisiaj, fragmentami zamku są fundamenty piwniczne w skrzydle północno-wschodnim, ułożone z granitowych głazów i kamieni narzutowych oraz część murów obwodowych od strony północno-zachodniej, ze ściętym narożem, podpartym szkarpą.
Zamek w Węgorzewie - Panorama miasta z 1684 roku według Christopha Johanna Hartknocha
Na najstarszym wizerunku, miedziorycie z publikacji „Altes und Neues Preussen”, autorstwa toruńskiego historyka Christopha Hartknocha (1644 – 1687), zamek węgorzewski prezentuje się niezwykle okazale – z wysokimi murami obronnymi i narożnymi basztami, ale w rzeczywistości pełnił bardziej rolę administracyjną i gospodarczą, niż obronną. W 1508 r. jego załogę stanowiło zaledwie dwóch braci zakonnych oraz sześciu służebnych. Ze spisów inwentarzowych z przełomu XV i XVI stulecia wynika, że oprócz trzykondygnacyjnego, podpiwniczonego domu zakonnego z refektarzem i izbą prokuratorską, w obrębie murów zamkowych znajdowała się też kaplica pod wezwaniem św. Katarzyny oraz skrzydło gospodarcze, mieszczące: kuchnię, spiżarnię, piekarnię, browar w piwnicach, zbrojownia i komora prochowa. Przy zamku działał również młyn wodny, a na podzamczu zlokalizowany był folwark.
Hans Heinrich von Katte
W latach 1718 – 1741 rozpoczęła się generalna przebudowa zamku, zainicjowana przez starostę węgorzewskiego i jednocześnie dowódcę tutejszego garnizonu – Hansa Heinricha von Katte. Zasypano wówczas jedną z odnóg Węgorapy i wyburzono młyn zamkowy, zaś sam zamek przebudowano w stylu barokowym. W części gospodarczej zbudowano magazyn solny, zwany także starym browarem. Dzisiaj w tym miejscu znajduje się budynek szkolny. W pierwszej połowie XX w. na byłej wyspie znajdowały się także boiska sportowe oraz willa przedsiębiorcy budowlanego Thielego. Na jej dachu umieszczono metalową chorągiewkę w kształcie komety. Była to pamiątka roku 1910, kiedy na mazurskim nocnym niebie pojawiła się kometa Halleya.
