Blizu izliva Pake v Savinjo je imel svojo posest Hartnid iz Orta. Leta 1262 je tik pred svojo smrtjo daroval od te posesti dve kmetiji gornjegrajskemu samostanu, leta 1264 pa ju je menda Hartnid Ptujski podelil v zajem bratoma Kacenštajnskima. Leta 1339 sta Konrad in Ortolf Horneška prodala Frideriku Žovneškemu "stolp pri Šmartem" za 126 mark srebra. Ta letnica torej označuje prvo neposredno omembo posesti. Leta 1416 se je Henrik Apfaltrer v svojem imenu in v imenu svojega brata odpovedal stolpu (der türen an der Pak), ki je bil njegova dediščina, v prid celjskega grofa, ta pa je središče in sedež Pakenštajn (purkstal vnd gesezz Pakenstain) dne 18. junija 1419 podelil v zajem Hansu Maisenreiterju. Leta 1443 je Maisenreiterjeva vdova Wendel zapustila vso svojo posest grofom, ker jim je njen soprog dolgoval 15.000 funtov. Leta 1456 je Pakenštajn z izumrtjem celjskih grofov tako postal deželnoknežji, leta 1458 pa ga je cesar Friderik podelil v fevd Kunigundi, hčeri Hermana Ekenštajnskega in ženi Jörga Globitzerja. Čeprav se v listini omenjata stolp in dvor, je mišljena le ena stavba, stolpastega značaja. Leta 1468 se omenja dvor ob Paki, leta 1491 pa spet stolp.
Še pred letom 1635 je Regina Globitzer prodala malo gospoščino Eliasu Andrianu, vendar se že leta 1599 Jernej in leta 1614 Maksimiljan Herić po stavbi imenujeta Pakenštajnska (zu Packenstein). Do posesti sta pač prišla z doto. Leta 1727 se v župnijskih matrikah imenujeta Pakenštajnski gospe Marija Šarlota in Marija Barbara pl. Modersheim (domina in Pakenstein). Takratnemu lastniku gradu J. pl. Modersheimu so sledili od okoli leta 1778 do leta 1807 Sattelbergerji, nato do leta 1827 Anton Johan pl. Grandi, za njim Franc Leitner do leta 1834. Leta 1848 je tedanji lastnik Jožef Vincenc Novak v bližini gospodarkih poslopij v dolini pozidal novo graščino v obliki klasicistične podeželjske vile. Leta 1870 je posest prevzel Oskar baron pl. Warsberg, ki je dve leti pozneje snel z gradu preperelo streho in ga prepustil usodi.
Stara pripovedka pripoveduje, da so imeli celjski grofje na Pakenštajnu svoj "Jungferzwinger". Še ob koncu preteklega stoletja naj bi obstajale kleti, v katerih so izginjale naropane mladenke. Besedo o kleteh, sicer vinskih, zasledimo v biltenu raziskovalnega tabora Šmartno ob Paki 2002, kjer je skupina za arhitekturo v svojem poročilu zajela: »Najbolj presenetljivo je bilo odkritje kleti v Malem vrhu, kjer naj bi zbirali desetino gradu Pakenštajn. Najstarejši del stavbe je banjasto obokana vinska klet z odlično a fragmentarno ohranjeno renesančno poslikavo na zunanjščini: velikimi šivanimi vogali, profiliranimi okenskimi okvirji in dekorativnim pasom s palmetami. Najdeni deli neglaziranih pečnic s tapetnim vzorcem potrjujejo, da je stavba nastala v časovnem razponu od sredine 16. do sredine 17. stoletja. Stavba v strokovnih krogih ni bila poznana in ni zaščitena, čeprav gre za izvrsten spomenik, ki spada v krog plemiške arhitekture.« Morda gre v tem primeru prav za te kleti...
Stavba, ki jo je okoli leta 1681 upodobil Vischer, kaže tipično podobo renesančne graščine z obstrešnimi vogalnimi stolpiči in s pravokotnim, na vogalih z bastijami utrjenim renesančnim obzidjem. Takšen videz stavbe v ničemer ne ustreza značaju ohranjenih razvalin. Žal slike nimam. Podobno tudi v Kaiserjevi upodobitvi težko najdemo značilnosti, ki bi jih lahko povezali z današnjo razvalino. (Vir: Stopar, Ivan, Dr.: "Grajske stavbe v vzhodni Sloveniji - Med Solčavskim in Kobanskim"; http://www.gradovi.net/grad/pakenstajn_stari_grad_paka_dvor )