Na południe od fary, na prawym brzegu Łyny, od końca XV wieku znajdowały się ogrody biskupie. Wznoszono tam także pawilony ogrodowe i pałacyki pełniące funkcje rezydencji letnich. Budowle te zostały zniszczone w czasie wojen szwedzkich w latach 1654 - 1660 i w 1705 roku. Odbudową ogrodów zajął się biskup Teodor Potocki(1711 - 1723) a do wielkiej świetności doprowadził je biskup Ignacy Krasicki.
Około 1770 roku rozbudował on również skromny pawilon ogrodowy zbudowany przez biskupa Potockiego, nadając całości formę klasycystyczną. Powstała w ten sposób prostokątna w planie budowla składająca się z pięciu proporcjonalnie i harmonijnie przylegających do siebie części. Środkowa część oranżerii, po obydwu stronach posiada ryzality zwieńczone trójkątnymi naszczółkami, niegdyś zdobionymi herbem Krasickiego. Dobudowane przez niego skrajne pomieszczenia są nieco wyższe i zaakcentowane czterema półkolumnami porządku toskańskiego. W XIX i XX wieku wnętrza przebudowano. Bez większych zmian zachowała się jedynie sala centralna ośmioboczna, przykryta pozornie spłaszczoną kopułą, ozdobioną gzymsem obiegającym całą salę. Wewnątrz znajduje się odsłonięty w 1969 roku fragment malowidła ściennego z czasów Krasickiego, przedstawiający alegorię pór roku. Oranżeria jest wyjątkową budowlą na terenie Warmii, powstałą pod wpływem polskiej myśli architektonicznej doby króla Stanisława Augusta Poniatowskiego.