Razvaline gradu Rifnik stojijo na skalnem pomolu istoimenskega hriba. Grad se prvič omenja leta 1326, ko je Viljem Vrbovški ob poroki s hčerko Leopolda Ploštajnskega dobil stolp pri Rifniku. Od leta 1359 je bil grad v lasti Celjskih grofov. Ti so imeli grad v lasti do leta 1456, ko je njihov rod izumrl. Grad so nato dobili potomci Erazma Liechtenbergerja, grajskega upravitelja celjskih grofov. Kasnejši lastniki so bili v 16. stoletju sorodniki Saurani. V naslednjem stoletju se je gospoščina povsem razdrobila, njen največji del pa je prešel na Blagovno pri Šentjurju. Domnevno so grad razrušili uporni kmetje leta 1635, v 2. polovici 17. stoletja pa naj bi že bil razvalina. Iz nekaterih virov je moč razbrati, da so na gradu Rifnik nekdaj bile grajske ječe, kamor so zapirali uporniške kmete (podložnike) in ostale kaznjence, ki so čakali na nadaljnjo usodo.
Danes se nam grad kaže kot utrdba, katere bistveni sestavini oblikujeta visoka, nekdaj za obrambo in prebivanje namenjena stolpa, ki ju vmesno zidovje povezuje v trdno celoto. V zidovju je ohranjenih več originalnih srednjeveških arhitekturnih členov, tako gotski portal v drugem nadstropju zahodnega stolpa, okna z značilnimi obstenskimi sedeži, stare svetlobne line ipd. Tik pod vrhnjima nadstropjema je stolpa potekal lesen zunanji obrambni hodnik, ki se ni ohranil, na zahodnem stolpu pa so še vidne tramovnice, v katerih so nekdaj tičali leseni nosilci hodnikov. Solidna zidarska tehnika nam je na rifniški razvalini omogočila vpogled na nekatere elemente, ki jih drugod ni več, saj so vrhnji deli gradov v razvalinah večinoma razsuti.
Že skorajda s parkirišča boste videli razvaline gradu. Pri znaku Grad Rifnik zavijete levo na stezo na spodnjem delu privatnega zemljišča proti razvalinam, kjer nas pozdravi znak, da je gibanje na lastno odgovornost.
Priporočljiva je primerna obutev, ker je do razvalin gradu potreben kratek vzpon in je ponekod potrebno malce »višje stopiti«. Ob iskanju zaklada skupaj z otroki, bodite pozorni na njihovo varnost.