Pavlinski samostan sv. Petra na Zlatu osnovao je otac Grdoš (Domus s. Petri de monte Zlath, Monasterium s. Petri de Szlatkagora i dr.) 1303./1304. godine. Zlatski je samostan prvi puta stradao u dinastičkim borbama unutar Ugarsko-Hrvatskog Kraljevstva oko 1396. godine. Ponovo je stradao 1445. (Ili 1448. godine) kada su ga opustošile osmanlijske postrojbe, a redovnici su se sklonili u sigurniji pavlinski samostan Blažene Djevice Marije u Kamenskom. Već je 1451. godine papa Nikola V. na molbu zlatskih i kamenskih redovnika dopustio trajno i zakonsko pripajanje zlatskih posjeda onima samostana u Kamenskom. Iako su se pavlini vratili u samostan na Zlatu 1491. (ili 1496.) godine, već su ga 1545. (tj. 1548.) godine zauvijek napustili radi sve osjetnije opasnosti od napada osmanlijskih postrojbi. Nedugo potom su postrojbe Malkoč-bega opustošile širi prostor Petrove gore.
Neveliki samostan (oko 420 m²) izgrađen je solidno, ali pomalo neuredno, od kamena lokalnog porijekla (biokalkarenit i litični arenit). S južne je strane bio određen jednobrodnom crkvom pravokutne lađe te nešto užeg i kraćeg, polukružno zaključenog svetišta. Ulaz u crkvu, kontraforima ojačanog zapadnog i istočnog pročelja, nalazio se na zapadnom dijelu južnog pročelja. Za razliku od drugih pavlinskih samostana kasnosrednjovjekovnog slavonskog prostora, ovaj je zlatski imao samo jedno krilo koje je bilo izravno povezano s crkvom. U južnom dijelu tog krila bila je smještena kapitularna dvorana / refektorij. Kuhinja je pak bila smještena u njegovom sjevernom dijelu. Te su dvije prostorije bile povezane hodnikom, koji je služio i kao komunikacija s dvorištem te vanjskim prostorom. Sjeverno od crkve nalazilo se pravokutno, nenatkriveno dvorište za koje se može pretpostaviti da je imalo i gospodarsku ulogu.
Napušteni pavlinski posjed (koji se od tog vremena naziva Petrovac) dobio je vojnu namjenu oko 1558. godine. U skladu s odredbama Sabora u Steničnjaku obavezu održavanja vojne posade s tri stražara preuzeli su knezovi Tržački. Utvrda na Petrovoj gori spominje se u Izvještaju vrhovnog kapetana Hrvatske i Slavonske krajine Ivana Lenkovića iz 1563. godine. Brigu o obrani Petrovca do 1579. godine vodili su vlastelini Steničnjaka, a od 1580. je obranu vojnog objekta preuzela vojna uprava Hrvatske krajine.
Širi prostor Petrove gore, zajedno s napuštenim pavlinskim samostanom prenamijenjenim u vojni objekt, potpao je 1584. godine pod kontrolu osmanlijskih postrojbi. Nakon pomicanja vojne granice na rijeku Unu na ostacima lađe crkve napuštenog samostana izgrađena je sredinom 17. stoljeća stalna vojna utvrda (čardak), koja je ostala u funkciji najkasnije do mira u Svištovu 1791. godine.
Nakon mira u Svištovu započelo je naseljavanje stanovništva iz pograničnih krajeva na širi prostor Petrove gore. U tom je periodu na ostacima svetišta crkve napuštenog samostana izgrađen pravoslavni hram silaska Svetog Duha.