Święta Góra jest wzniesieniem morenowym o wysokości 155,2 m n.p.m.
Prawdopodobnie, za czasów pogańskich, była to święta góra Pomorzan, jedna z trzech (Polanowska, Chełmska koło Koszalina oraz Rowokół w Słowińskim Parku Narodowym).
W XII wieku za sprawą św. Ottona z Bambergu (którego pomnik znajduje się w Polanowie) na górze powstała drewniana kaplica pod wezwaniem Maryi oraz postawiono krzyż, który był znakiem kultu chrześcijańskiego. Od XIII wieku, rozwijała się tu tradycja pielgrzymowania dla Pomorzan i ludów z sąsiednich dzielnic. Jedna z hipotez mówi, że kaplicą mogli się opiekować cystersi z Bukowa Morskiego. Następnie w XIV wieku na jej miejscu mogła zostać wzniesiona kolejna świątynia, tym razem murowana. Jej resztki są widoczne przed kaplicą jako ziemny wał z figurą pielgrzyma. . Inna legenda mówi, że wewnątrz bogato wyposażonej świątyni znajdował się wizerunek Maryi oraz 12 figur apostołów wykonanych ze złota. Na podstawie dokumentu z 1435 r. przyjmuje się, że pielgrzymowanie na Świętą Górę w wieku XIV było stosunkowo nieliczne i rozwinęło się dopiero w XV wieku. Niektórzy pielgrzymi idący przez Świętą Górę wędrowali szlakiem św. Jakuba aż do Santiago de Compostella w Hiszpanii. Następnie przystąpiono do rozbiórki kościoła, jednak stopniowo, ponieważ jeszcze w źródle z 1672 r. pisano o ruinach dawnego kościoła. Po 1544 cystersi opuścili to miejsce, zabierając ze sobą figurę Maryi, prawdopodobnie do Pelplina. W wyniku tego tradycja pielgrzymkowa praktycznie wygasła. W wyniku tego tradycja pielgrzymkowa praktycznie wygasła. Pamięć o sanktuarium jednak trwała jeszcze długo, do 1945, o osobie która dużo mówiła, niemieccy mieszkańcy Polanowa, mówili, że gęba się jej nie zamyka, jak drzwi kościoła na Świętej Górze.
Od 2002 miejsce to jest pustelnią ojców franciszkanów z prowincji św. Maksymiliana Marii Kolbego w Gdańsku, z klasztoru w Darłowie. Pustelnia zaprojektowana została w stylu pomorskim – oparta na wzornictwie budownictwa kaszubskiego, z silnymi wpływami budownictwa cerkiewnego. Odbywają się tutaj nabożeństwa ekumeniczne, z udziałem rzymskich katolików, grekokatolików, prawosławnych, metodystów, polskich katolików i innych protestantów.. Na jej dachach znajdują się krzyże – m.in. Krzyż Świętego Ducha. Pomysłodawcą, mieszkańcem i gospodarzem Pustelni był o. Janusz Jędryszek OFM Conv. Obecnie w kaplicy przy pustelni czczona jest Iwerska Ikona Matki Bożej (Bramy Niebiańskiej), poświęconej przez prawosławnego biskupa wrocławsko-szczecińskiego. znajdują się tu także inne ikony: św. Franciszka, św. Jakuba, pogromcy Maurów i św. Ottona, wszystkich w jakiś sposób związanych ze Św. Górą. W miejscu centralnym kaplicy znajduje się ikona Krzyża z San Damiano oraz ikona Św. Trójcy według Rublowa.
Aby znaleźć skrzynkę musisz uklęknąć i wyciągnąć rękę. Uważaj na pielgrzymów, jeden z nich jest blisko, ale na szczęście sam kesz schował się w ciemnym i suchym miejscu. Zabierz ze sobą coś do pisania.