První písemná zpráva o Rabštejne pochází z roku 1318, kdy se hradu zmocnil olomoucký biskup Konrád I. a odevzdal jej králi Janu Lucemburskému. Hrad ale postupne chátral a nakonec byl dobyt Švédy za tricetileté války. Z hradu se dochovaly jen nepatrné zbytky zdí.
Samotné skalní veže, na kterých byl postaven jsou využívány jako cvicné skály pro horolezce a poskytují nádhernou vyhlídku do širokého okolí.
Rest of castle with rock tower used for climbing. There is nice view.