Il Castello Visconti, la cui antichissima origine risale al IX secolo, è citato in un testamento rogato a Gallarate il 22 giugno 1251 dal notaio Marcellino de Angleria. Testimonianza della presenza viscontea, attestata in Somma fin dal 1250, nacque come rocca di difesa ai confini col territorio di Milano. Il maggior sviluppo della fortezza viscontea lo si ebbe a partire dall'anno 1448 quando i fratelli Francesco e Guido Visconti, per sfuggire ai contrasti con la repubblica Ambrosiana, succeduta a Milano alla signoria viscontea, si rifugiarono nella loro antica proprietà di Somma. In pochi anni la nobile dimora venne quindi in gran parte ricostruita, ampliata e contornata da fossati. L'antica rocca di difesa assunse così il ruolo di castello fortificato eletto a stabile dimora dei Visconti. Nell'anno 1473 i dissapori emersi tra i fratelli Visconti culminarono nella divisione tra i due dei loro beni. Al fratello maggiore, Francesco, da cui discenderanno i Visconti di San Vito, spettò la parte rinnovata del castello e quindi la porzione nord del borgo; a Guido, da cui discenderanno i Visconti di Modrone, la parte più antica del castello e quella bassa di Somma.
Oggi, il complesso è formato da tre differenti castelli, ciascuno con proprio ingresso e cortile, edificati l'uno addossato all'altro. Il più antico è collocato all'angolo nord ovest; il secondo occupa tutto il lato est, mentre il terzo e più recente sorge nell'angolo a sud ovest. La parte del castello visitabile è la seconda, chiamata castello d'estate. Già residenza della famiglia Visconti di San Vito, oltre agli arredi originali, conserva affreschi attribuiti alla scuola di Camillo Procaccini (1551 ca-1629) e una pala d'altare del Cerano , nonché tre epigrafi funerarie romane e materiale archeologico della cultura di Golasecca. Al Castello di Somma è custodita la più grande collezione esistente di piatti da barba. Iniziata nella metà dell'Ottocento dal marchese Carlo Ermes, continuata dal marchese Roberto, fu portata al suo livello principe in questo secolo dal marchese Alberto. I piatti sono di forma circolare con un incavo a mezzaluna da una parte, per un miglior accostamento alla gola. Il cliente teneva in equilibrio il piatto con entrambe le mani sotto la barba da fare, mentre il barbiere insaponava, radeva e sciacquava. Probabilmente comparsi alla metà del Seicento per esigenze d'igiene, i piatti da barba hanno avuto il periodo di massimo splendore fra il Settecento e l'Ottocento. Se ne trovano di legno, alabastro, ottone, rame, peltro, argento, ceramica, porcellana di Ginori, Lodi, Faenza, Limoges, Strasburgo e della Compagnia delle Indie inglese e francese. La collezione conta più di 500 pezzi uno diverso dall'altro.