Když měl skalské panství v držení pan Albrecht Křinecký z Ronova, věrný evangelík, tu často hostil ubohé exulanty, kteří prchali do vyhnanství. Mnohdy přišli v noci a když byli pohoštěni a posíleni útěchou, odesli do hlubokých lesů. Také slavný J. A. Komenský zavítal na hrad Skály při svém odchodu z vlasti. V divokých rozvalinách skalského hradu se scházeli okolní tajní evangelíci a zde, mezì opuštěnými skalami, na pustém nádvoří vykonávali bohoslužby. Jejich nábožné písně zněly v hlubokém lese u starého hradu.
Ještě za svého života přijal pan Křinecký na svůj skalský zámeček mladého doktora Voborského, který se tu vlastně skrýval. Jeho pravé jméno bylo Kochan. Byl synem Valentina Kochana z Prachové, jenž byl popraven na Staroměstském náměstí mezi 27 českými pány. Mladý Voborský svým lékařským uměním prodlužoval život nemocnému dobrodinci panu Křineckému, ale dlouho ho při životě neudržel.
Po smrti pana Křineckého vedla jeho panství vdova, paní Beata Křinecká žena velmi dobrotivá. Paní Křinecká statečně snášela příkoří, která musela zakoušet jako všichni nekatolíci, ale nepřestoupila k římské církvi a raději volila vyhnanství. Skalské panství vedl zatím věrný přítel doktor Voborský Jeho manželkou se stala sestra evangelického kněze Ulického. Kněz Matouš Ulický se zúčastnil s Voborským selského povstání. Ulický byl tehdy zajat a v Čáslavi dne 11. září 1627 popraven.
Jeho smrt působila na nemocnou sestru Evu, Voborského manželku, velmi krutě, takže se těžce roznemohla a brzy nato zemřela. Malý synek Valentin ztratil matku dříve, než to mohl rozumem chápat, a nešťastný otec na něj přenesÌ všechnu svou lásku a péči.
Roku 1639 vtrhlo do Čech švédské vojsko a s ním se vracelo mnoho našich vystěhovalců. Domnívali se totiž, že Švédové přinášejí všem nekatolíkům svobodu. S nimi se z vyhnanství vrátila i paní Beata a opět se ujala svého panství na Skalách.
Zanedlouho potom opustil Voborský zámeček Skály, aby našel zapomnění v cizině. Svého syna Valentina vzal s sebou. Šli hustými lesy, nejkratší cestou k Broumovu, aby se co nejdříve dostali na hranice. Na cestě však byli přepadeni několika vojáky, kteří Voborského těžce zranili a o všechno obrali. I malého Valentina odvlekli kus cesty, ale zanechali ho v hustém lese.
Voborský se s námahou dovlekl zpátky na Skály a tam těžce onemocněl. Ležel dlouho, než se zotavil, a jen se trochu uzdravil, odešel znova, aby hledal svého syna, ktery zmizel beze stopy. Vyptával se všude, kde by mohli něco vědět o jeho synovi, mnohdy se zdálo, že už našel nějakou stopu ale všechno bylo marné. O osudech svého syna se nic nedověděl. Starostmi uštván, vrátil se zpátky na Skály. Pak odešel s paní Křineckou do ciziny, protože byla donucena panství prodat. Voborský se stal vychovatelem jejích synů.
Skalské panství koupil pan Krakovský z Kolovrat a po krátké době se dostalo do rukou hradeckého biskupa M. F. Sobka z Bilenberka, který určil výnos z panství k vydržování tří hradeckých kanovníků. To už dávno vrchnost bydlela v zámečku pod Skalami.
V té době starý hrad zpustl a zarostl lesem. Starodávné jméno Skály upadlo v zapomnění a ujalo se nové jméno Bišofštejn. Okolí se poněmčilo a zámeček, ve kterém kdysi vládla krásná paní Beata, ztichl a pustl. Jen občas přijel nékterý z hradeckých kanovníků na Skály, ale dlouho tu nikdo z nich nepobyl.
Správu panství vedli dva bratři z Police. Jeden z nich byl sládkem v zámeckém pivovaře a druhý byl správcem. Třetí z bratrů byl v Polici řemeslnikem. Ten byl doposud svobodný a o jedněch Vánocích se vypravil na Skaly, aby u obou bratrů strávil svátky. Tehdy pozdě večer uviděli bratři ve starém hradě malé světélko. Všichni tři užasli. V opuštěném skalním hradě, kam noha už dávno nevkročila, najednou zářilo světlo.
To správci nedalo pokoj a doprovázen pacholkem vydal se vzhůru na hrad, aby vypátral, kdo se tam skrývá. Oba poznali, že světlo svítí na vysoké skalní věži. Byla tam světnička, kde měl Voborský kdysi svoji hvězdárnu. Správce s pacholkem navázali dva žebříky, postavili je k vysoké skalní věži a správce se potichu vydal vzhůru až k okénku malého stavení, které se zvedalo na vrcholku skalní věže.
Když pohlédI do osvětleného okna, užasl znova. Za dlouhým stolem stál podivný stařec. Jeho obličej byl smrtelně bledý, měl dlouhé bílé vousy a vlasy, které mu padaly na ramena. Byl to podivný zjev a na správce padla hrůza. Ani nedýchal a hleděl na záhadného starce, který měl před sebou několik knih, do jedné nahlížel a něco z ní opisoval do menší, ležicí na stole. Správce chvíli pozoroval počínání neznámého starce, který byl tak zabrán do práce, že ani hlavu nezvedl. Vtom se ozval zdola hlas zvonu zvoucího na jitřní. Rázem se v okně setmělo a všechno zmizelo. Rozrušený správce se vrátil do teplé světnice, ale nezmiňoval se o ničem před svým mladším bratrem. Věděl, že to není velký hrdina, a proto mu nechtěl pobyt na Skalách pokazit. Bratři se dohodli, že o věci budou mlčet, i pacholkovi nařídili, aby mlčel, ale co to bylo platné Tajemné světlo zazářilo i další noc a pak už to bylo pokaždé.
Vždycky po půlnoci problesklo mezi stromy a zářilo až do rána. Čeleď ze zámku, když se dověděla, že v hradě straší, prchala ze zámeckých služeb a vypravovala po okolí neuvěřitelné historky o skalském hradě. Konečně se správce odhodlal a napsal své hradecké vrchnosti a pravdivě vylíčil vše, co zažil. Uvedl také, že čeleď se tu bojí bydlet a prchá pryč a poprosil o radu, co má dělat.
Místo odpovědi přijel jeden z hradeckých kanovníků a vyptal se znova na všechny podrobnosti. Pak požádal správce, aby ho doprovodil v noci do hradu.
Zatímco čekal, až se setmí, dlouho se modlil oblečen v kněžském rouchu. Byl připraven na boj se zlým duchem. Když pak světlo zazářilo, vydal se spolu se správcem nahoru do starých zřícenin. Po rozvrzaných schodech se dostal ke dveňím vytesaným ve skále. Za nimi byly točité schody až na nejvyšší vrchol hradní skály, kde byla umístěna bývalá pracovna Voborského. Než do ní kanovník vešel, požehnal se křížem. Dlouho trvalo, než se kněz vrátil. Správce ho dole u zříceného sklepa očekával a už si nevěděI rady. Stále přecházel a díval se vzhůru, byl netrpělivý zda se mladý kanovník brzo vrátí, ale ten nepřicházel. Když se konečně po hodině vrátil, našel správce vyděšeného k smrti, ale sám byl bledý jako stěna a ani slůvka neřekl. Pospíchal, aby už byl v teplé světnici.
Bratři byli zvědaví, co kanovník vypátral, ale ten se o ničem nezmínil ani slovem. Správce si netroufal se zeptat a kněz mlčel a druhý den hned odjel. Skalští nedočkavě očekávali, zda se večer znova objeví tajemné světlo. Dlouho hleděli do noci, ale na hradě byla tma. Ani na druhý den se světlo neobjevilo, a pak už nezářilo nikdy.
Zatím uběhla zima a nastávalo jaro. Na jaře nastala správci práce venku na poli. Při těch starostech zapomněl na starý hrad i na mladého kanovníka. Na Velikonoce dostal skalský zámek návštěvu. Přijel mladý kanovník, který tu byl v zimě zažehnat strašidlo, a slíbil správci, že se několik dnů zdrži. Jednoho dne vyzval správce, aby ho doprovodil na pusté rozvaliny starého hradu a tam se rozhovořil.
Vyprávěl užaslému správci, že onen bílý stařec byl doktor Voborský, který před tím sídlil dlouhá léta na Skalách s paní Beatou Křineckou, a on, kanovník, je jeho syn Valentin. Tak se tehdy shledal otec se ztraceným synem. Ale jaké to bylo smutné setkání! Otec, ktery po celý svůj život hořel pro evangelickou víru, se shledává se synem, který je kanovníkem římské církve!
Voborský se sice těšil z nalezeného syna, kterého miloval nade vše, ale srdce mu krvácelo při pomyšlení, že jeho vlastní syn je v táboře nepřátel. Se slzami v očích naslouchal otec Voborský dlouhému vypravování syna-kanovníka o jeho utrpení za ta dlouhá léta odloučení, a když pak poznal, že jeho syn si zachoval lásku ke své otčině, že se nestal katolickým knězem bez duševních zápasů, objal ho a odpustil mu. Odešel znovu do ciziny, už usmířen, a tajemné světlo na starém pustém hradě zhaslo navždy.
Poslyšme, co o svých osudech vyprávěl kanovník svému otci:
Malý Valentin byl po otcově zranění kus cesty odvlečen do lesa, a to v náručí osmahlého Chorvata, který ho pak v lese zanechal. Kde ho nechal, malý chlapec nevěděl. Šel tedy pěšinou nazdařbůh, hledal, kde by se ukryl. Ale místo, aby šel zpátky ke Skalám, vzdaloval se od nich, až vyděšený a hladový přišel k silnici. Zastavil se a ohlížel se na všechny strany, protože nevěděl, kudy by se měl dát. Pak se dal po silnici vedoucí k Broumovu. Dohonil ho vůz, tažený čtyřmi koňmi a doprovázený několika jezdci. Chlapec byl přiveden k vozu a vyslýchán, kdo je a kam jde. Vyděšený hoch s pláčem vyprávěl, co se jemu i jeho otci přihodilo, a prosil, aby ho k otci dovezli. Ve voze seděl jakýsi císařský komisař se svojí paní a ti vzali hocha s sebou a slibovali mu, že ho dovezou na skalský zámek.
V Broumově však bylo mnoho císařského vojska a komisař tu měl práci. Valentin prchl v nestřežené chvíli do města. Tam se ho ujali konečné dva kněží, a ti ho zavezli pak až do Jindřichova Hradce a odtud kamsi do Rakous.
Tam se ale hoch rozstonal touhou po otci. Když se uzdravil, zůstal tam několik let, takže česky skoro zapomněl. Do Prahy přišel již jako kněz a později se stal kanovníkem v Hradci Králové. Až podivuhodná náhoda ho svedla po letech odloučení dohromady s nešťastným otcem.
Kanovník smutně opouštěl starou zříceninu a brzy ze Skal odejel. Jako jedinou upomínku si odnášel malou knížečku, kterou mu otec daroval. Na Skály se už víckrát nevrátil. Skalský zámek stojí dodnes, jako stával, jen okolí se poněmčilo. Vysoký les zakryl zbytky hradu a nádvoří zarostlo travou a keři. Občas sem zajde ojedinělý návštěvník, prohlédne starý, kdysi nedobytný hrad, vyleze i na vysokou hradní věž, pokochá se pohledem na romantické okolí a tiše odejde.
Když dole přestavovali dvůr, bylo téměř všechno vhodné ke stavbě z hradu odvezeno. Tak za své vzaly zdi, které pamatovaly sílu a slávu husitskou, ale i mdlobu a ponížení doby pobělohorské. Jen část hradního klenutí zůstala a také skalní věž s balvany kolem. Přehnalo se přes ně bezpočet bouří, ale ony zůstaly dál a připomínají: ,,To budiž nám všem přirozené, abychom v protivenstvích strachem neusychali, ale zelenali se jako strom odvahou a nadějí abychom své chyby poznali a pevně stáli, jako stojí ty skály!”