Vesnice Horní Heřmanice se připomíná poprvé roku 1266 Patřily do majetku vratislavského biskupství. Od nejranějších dob zde fungoval i zvláštní statek – šoltýství (fojtství). Byla to obdoba naší rychtářské služby. Rozdíl však byl v tom, že ve slezských vévodstvích se stali šoltýsové zvláštní skupinou nízké šlechty, a tím i majiteli spravovaného majetku. Prvním doloženým majitelem heřmanického šoltýství byl roku 1402 jistý Mikuláš. Počátkem 15. století se statek rozdělil na dvě části – tzv. Horní a Dolní dvůr. Tyto dvory často měnily majitele, až v roce 1591 byly opět spojeny jistým Juliem Mettelem. Sídlem šoltýství se stal Horní dvůr. O velikosti panské obytné budovy vypovídá zpráva v závěti Terezie Knabeové v roce 1718.
Je uvedeno, že v přízemí Horního dvora jsou dvě komory a tři světnice, v patře sál a jídelna. Po několika majetkových změnách získal šoltýství v roce 1819 Jan Görblich. Kolem roku 1835 přebudoval starší obytnou budovu v klasickém stylu na jednopatrovou, krytou mansardovou střechou. Vstupní průčelí bylo zvýrazněno trojúhelníkovým štítem. Okolí budovy pak bylo upraveno v parkovém stylu. Od této úpravy se již hovořilo o zámecké budově. Zámek patřil rodu do roku 1945. V roce 1944 se na zámku natáčel film Prstýnek s Otomarem Korbelářem. Po válce byl jako německý majetek zkonfiskován a přešel do státního vlastnictví. Sloužil potřebám zemědělských organizací, ale nebyl udržován. V osmdesátých letech 20. století byl z iniciativy Státního statku Jeseník zbořen. Dnes je dochován jen zámecký rybník, stromy lemující obvod stavby a parku. Nedaleko severně od zámku byla ještě po demolici zámku zachována polozbořená stodola, která patřila do hospodářské části dvora.
Rozdělení Heřmanic
Největším zásahem v dějinách bylo poválečné dělení v roce 1742. Tehdy byly Heřmanice s Horním dvorem rozděleny do habsburského Slezska a severní část s Dolním dvorem a kostelem do Pruska (dnes polská Jasienica Górna). Obec s Horním dvorem se též začala nazývat Horní Heřmanice. Po zavedení obecního zřízení roku 1850 byly Českému Slezsku zbylé Horní Heřmanice nejprve osadou Bílé Vody, od roku 1869 až dosud však jsou osadou resp. částí obce Bernartice.