Il piccolo paese si trova quasi rannicchiato in una lieve insenatura del lago; alle sue spalle la sponda sale subito molto ripida e termina più in alto, con la biancheggiante rupe calcarea del Sasso di Musso che sembra quasi voler precipitare sulle case delle frazioni sottostanti e sul borgo stesso.
Per quanto minaccioso il Sasso di Musso è stato per secoli il fulcro della fortuna e dell'importanza del paese. La notevole emergenza rocciosa manda verso Est un robusto sperone che scende a tuffarsi nelle acque del Lario formando una formidabile barriera naturale sul percorso costiero. Tale conformazione fu utilizzata da tempo immemorabile per controllare strategicamente tutta la regione e sulle balze rocciose furono erette a più riprese opere difensive e di guardia che, già nel XIV secolo, costituivano una delle più munite roccaforti del lago.

In quel periodo la rocca era tenuta dalla famiglia Malacrida, feudatari di Musso; successivamente passò sotto altri signori per giungere poi in mano del maresciallo Gian Giacomo Trivulzio che, dal 1508, grazie all'autorizzazione di Ludovico XII, vi insediò un zecca.
Nel 1522 la fortezza fu conquistata da Gian Giacomo de' Medici, detto il Medeghino, che per una decina d'anni ne fece il centro del suo potere e la rese ancor più potente, costruendo un porticciolo fortificato ed altre postazioni sulla rupe sovrastante.
Da questa munitissima postazione il Medeghino, leggendario personaggio che Cesare Cantù dipinge come "pirata, re, brigante, traditore, ribelle, assasino, eroe", dominava incontrastato il Lago di Como. Nel 1532, lo scomodo signore della Rocca di Musso fu sconfitto dagli eserciti alleati delle Tre Leghe e di Francesco II Sforza che pensarono bene di eliminare la minaccia costituita da una fortezza tanto potente e ne distrussero gran parte delle opere militari. Oggi, infatti, ben poco resta della roccaforte dl Medeghino: qualche muro che può essere scambiato per un semplice terrazzamento e in alto, sopra la cava principale, un cospicuo torrione aggrappato tenacemente alla roccia.
Sebbene sconfitto, il Medeghino prosegui la sua mirabolante epopea militare e dopo aver combattuto sui campi di battaglia di mezza Europa fu nominato vicerè di Boemia per morire infine nel 1555. Le sue spoglie riposano nel Duomo di Milano.
 

Contemporaneamente a questi eventi, il Sasso di Musso era anche sfruttato per il pregiato marmo che se ne poteva cavare. Evidenze storiche e ritrovamenti archeologici testimoniano come l'attività estrattiva fosse già assai fiorente in epoca romana. Un medaglione recante il nome dell'Imperatore Gialba (68-69 d.C.), un'ara votiva a Diana, resti di un sacello scoperti all'imbocco della strada per Genico ed una tomba multipla a lastroni in granito serizzo, venuta alla luce sulla medesima strada, ci parlano di un centro importante e vivace che doveva essere in gran parte abitato da cavatori.
Dalla montagna si estraeva un marmo assai duro e compatto di color grigio-bianco che fu largamente utilizzato nella costruzione di monumenti, edifici patrizi e templi. Data l'estrema vicinanza delle cave con le acque del lago, i blocchi di marmo venivano calati con funi e poi con cavi metallici lungo una corsia lastricata che terminava in porto. I blocchetti di scarto erano invece portati a dorso di mulo o da teleferiche fino al frantoio in riva al lago dove erano ridotti in frantumi. Delle diverse cave che entrarono in funzione, le maggiori e quelle più lungamente coltivate furono la Cava di Sant Eufemia, la Cava Vecchia e la Cava del Taglio, cosi detta perché aperta nelle vicinanze di una grande fossato, fatto scavare nella roccia viva dal Medeghino per meglio difendere la sua fortezza verso Nord.