Ten - wpisany obecnie do Rejestru Zabytków - budynek został ufundowany w 1741 r. przez hetmana koronnego Jana Klemensa Branickiego jako katolicka kaplica przydrożna. Budowę świątyni w stylu barokowym ukończono w 1758 r. – znajdowała się ona wówczas na wzgórzu poza miastem. Prawdopodobnie około 1806 r. powstał przy niej katolicki cmentarz, z którego później wydzielono część unicką i prawosławną. Około 1860 r. świątynia została „przejęta” i wyświęcona w obrządku prawosławnym. Wymogi sanitarne przesądziły o zamknięciu cmentarza w 1882 r. W okresie międzywojennym funkcjonowała tu wyłącznie kaplica, później – po II Wojnie Światowej cmentarz ostatecznie zlikwidowano, a szczątki zmarłych i większą część nagrobków przewieziono na cmentarz w dzielnicy Wygoda.
Pod koniec lat 50-tych XX w. Kościół rzymskokatolicki i Cerkiew prawosławna procesowały się o prawo własności świątyni i cmentarza. Spór został ostatecznie rozstrzygnięty poprzez przejęcie spornych gruntów przez Skarb Państwa w celu utworzenia w tym miejscu parku miejskiego i budowy amfiteatru. Dzieci z lokalnych szkół w „czynie społecznym” porządkowały cmentarne pozostałości - niektóre wspominają to do dziś... W 1991 przekazano część wzgórza wraz z kaplicą Polskiemu Autokefalicznemu Kościołowi Prawosławnemu (werdykt zatwierdzono w 2006).
Swego czasu „Magdalenka” – ze względu na strategiczną lokalizację, dogodną infrastrukturę i liczne walory obserwacyjno-obronne - umożliwiała tłumom niepełnoletnich amatorów „łomżingu” rekreacyjne spożywanie alkoholowych trunków bez zbędnych stresów spowodowanych niespodziewanymi atakami funkcjonariuszy Policji lub Straży Miejskiej. Budowa Opery i Filharmonii Podlaskiej w miejscu zrujnowanego już amfiteatru (zakończona w 2012 r.) u podnóża pagórka wpłynęła na zmianę dotychczasowej funkcjonalności obiektu na bardziej Geocachingowy. A zatem… odbiorniki GPS w dłoń!