Üheks Käsmu vaatamiseväärsuseks on Käsmu kalmistu. Kohe kalmistu ees on Kabelimägi, kus oli vanasti külarahva kokkusaamise koht. Kabelimäel seisab raudkivist kabel.
Selle kohta on üks rahvajutt. Nimelt olevat Aaspere parun Dellingshausen olnud seotud tsaar Aleksander II atendaadiga 1881. a. Kui atendaat nurjus ja sellest osavõtjaid jälitama hakati, lasknud kaval parun end surnuks kuulutada ja surnukirstu siia kabelisse tuua, mida kohalikud mehed valvama pandud. Need aga tegid kirstu lahti ja leidsid sellest surnukeha asemel tammepaku. Nii tulnud vale ilmsiks ja parun põgenenud Saksamaale. Pole küll ühtki teadet selle kohta, et siia kedagi kunagi maetud oleks.
Viimastel aegadel on kabel korrastatud. Kabelis paikneb kunstnik Eve Kase fotonäitus Käsmu inimestest.