Eden od najbolj markantnih pogledov v Loški dolini je gotovo tisti na razvaline loškega gradu, ki mu je ljudstvo že v davnini dalo vzdevek Pusti grad in spletlo okoli njega številne zgodbe in skrivnosti. Razvaline se dvigajo na hribu nad Ložem, enim najstarejših slovenskih mest, ki mu je mestne pravice podelil cesar Friderik III leta 1477 iz obrambnih potreb pred Turki, saj je ležalo ob zelo pomembni poti med morjem in notranjostjo. Zgodovinarji postavljajo začetek Loške gospoščine prav v čas nastajanja fevdalnega reda pri nas s prvimi lastniki oglejskimi patriarhi, ki so jim sledili grofje Vovbrški, nato Ortenburžani, Celjski in deželni knez, po letu 1635 pa knezi Eggenbergi, ki so grad opustili in sedež posesti prenesli na bližnji Snežnik.
Mogočne razvaline loškega gradu so nekaj posebnega ne samo zaradi starosti, saj je bilo jedro verjetno pozidano že v 12. stoletju, ampak tudi zaradi izjemno lepe in vešče zidave, ki že tako dolgo kljubuje času. Prvotnemu jedru s stolpom je bilo v času turških vpadov dodano obzidje, v katerem najdemo stare line strelnice in sledove obrambnih nadzidkov, v obodnem dvoriščnem zidu pa sledove prvotnega romanskega portala.
Zgodovinski viri so, ko gre za loški grad zelo skromni. V Valvazorjevem času je bil že razvalina in je v Slavi Vojvodine Kranjske tak tudi upodobljen. Iz Kronike grofov Celjskih izvemo, da so med vojskovanjem med Celjani in habsburškimi leta 1439 slednji napadli tudi celjski Lož, ga zavzeli in požgali, samo ugibamo pa lahko, kaj se je zgodilo z gradom. Po nekaterih domnevah je bil takrat razdejan in pozneje spet obnovljen.
Kakorkoli, danes je loški grad priljubljeno sprehajališče in razgledna točka domačinov in marsikaterega izletnika.