Lesa nell'antichità era corte feudale di giustizia dell'Arcivescovo di Milano, poi passa sotto i Visconti di Massino e quindi fu infeudata a Vitaliano Borromeo; il castello però appartenne alle monache di San Salvatore di Pavia.
Non si conosce il periodo esatto e lo scopo della costruzione dell'edificio, noto come "Castellaccio", ma la sua ubicazione sulla riva del lago, proprio di fronte a Ranco, uno dei punti più stretti tra le opposte rive, ci induce a credere che la sua funzione fosse di controllo del traffico lacustre e punto di riscossione dei diritti di passaggio.
La sua struttura, che ricorda un quadrato (50x50 m.), è circondata da delle mura in sasso rinforzate, ad intervalli regolari, da pilastri che, in origine, dovevano essere di supporto ad una serie di archi su cui era appoggiato il camminamento di ronda; nell'angolo a nord ovest era posizionata una torre anch'essa quadrata e, nell'angolo opposto, internamente, un grande fabbricato.
Una porta è situata al centro del lato di levante, oggi nulla la protegge, ma un tempo erano le acque stesse del lago a farle da protezione, infatti il castello era raggiungibile solo in barca o a nuoto.
Oggi il castello è un rudere di cui si intravede solo la parte inferiore e qualche traccia delle antiche mura.