Zamek, położony na wysokim wzgórzu (463 m n.p.m.) na prawym brzegu Popradu, na północ od wsi Sucha Struga (obecnie w jej granicach administracyjnych), został zbudowany prawdopodobnie na przełomie XIII i XIV wieku; niektórzy XIX-wieczni autorzy sugerowali, że początki najstarszej części budowli, czyli kamiennej wieży, mogą sięgać XII wieku; obecnie datuje się ją na XIII wiek.
W dokumentach źródłowych nie ma informacji, kto zbudował zamek. Pierwsza wzmianka pochodzi z przywileju Władysława Łokietka z 17 kwietnia 1312 roku, który pozwolił zakonowi klarysek ze Starego Sącza na pobieranie cła "pod zamkiem Ritter" (łac. prope castrum Ritter). Wzmianka o zamku w Rytrze pojawia się również w dyplomie Władysława Łokietka z 1331 roku, który nadał mieszczanom sądeckim las (łac. silvam) "obok zamku Rither" (łac. ultra Rither castrum sitam). W XV wieku zamek w Rytrze stanowił rezydencję starostów sądeckich i został przebudowany.
Zamek już od XIII wieku należał z pewnością do domeny królewskiej. Pozostawał w rękach tenutariuszy: Jakusza z Boturzyna herbu Czewoja, rodu Toporczyków herbu Topór, którzy przyjęli nazwisko Ryterskich; w XVI wieku administratorem został Piotr Kmita. Wkrótce potem zamek popadł w ruinę, o czym świadczy relacja Marcina Bielskiego oraz lustracje z lat 1616-1617. Według lokalnych podań uległ zniszczeniu w 1657 roku w czasie najazdu Jerzego Rakoczego
Ciekawostki:
- w 1369 roku przebywał tu król Kazimierz Wielki, który był w drodze na Węgry;
- w 1385 roku zamek odwiedziła Jadwiga z Władysławem Jagiełłą;
- w 1412 roku gościł tu Władysław Jagiełło;
- w 1471 roku przejazdem był tu Kazimierz Jagiellończyk;
W 2018 roku zakończył się generalny remont ruin zamku i obecnie możemy podziwać go w pełnej okazałości.
Skrytka to mały pojemnik z kilkoma fantami, proszę o maskowanie i dyskretne podejmowanie.