La storia della Torre Matilde, così chiamata per l'errata attribuzione alla duchessa Matilde di Canossa:
In seguito all'avanzamento della linea di costa, il castello di Viareggio (castrum de via regia, costruito nel 1172 e unico accesso al mare di Lucca dal 1441 con l'approdo della foce del Selice, attuale canale Burlamacca) si trovava infatti a circa 600 m nell'interno e non risultava più efficace nella protezione dell'approdo sulla costa, esposto con i suoi magazzini agli attacchi dei pirati barbareschi. Il governo lucchese deliberò pertanto la costruzione di una torre sul mare il 5 giugno del 1534.
L'edificazione della nuova torre venne eseguita utilizzando come materiale le bozze di pietra squadrata che si potevano ricavare dalla parziale demolizione del vecchio castello. Per finanziare i lavori fu stabilito di tassare, per sei anni, con alcune gabelle straordinarie, le merci che giungevano a Viareggio. Dalla sua sommità si salutò con colpi a salve l'arrivo dell'imperatore Carlo V, che sbarcava a Viareggio per incontrare a Lucca un emissario di papa Paolo III tra il 12 e il 18 settembre del 1541. La costruzione era terminata nel 1542 e nel 1544 vi si aggiunse un muro di fortificazione del borgo di Viareggio, sorto intorno all'approdo. Vi fu insediata una guarnigione di quindici uomini. Nel 1546-1549 vi fu costruita accanto la residenza del "commissario di spiaggia", incaricato del controllo sul borgo e sul movimento delle merci. La residenza era collegata alla torre per mezzo di un loggiato.
Agli inizi del XVII secolo la torre venne sopraelevata di un piano e sormontata da un piccolo campanile a vela nel quale erano ospitate due campane.
Dopo il 1703 fu spostato sulla sommità della torre l'orologio pubblico presente sulla facciata della casa del commissario di spiaggia, del cui funzionamento fu inizialmente incaricato un abitante del luogo pagato dalla comunità mediante una tassa annua di quattro soldi per famiglia; nel 1748 l'incombenza passò ai soldati di guardia.
Il 15 aprile del 1780 la torre venne colpita da un fulmine, che uccise un soldato di guardia, ma risparmiò il vicino deposito della polvere da sparo. In ringraziamento per lo scampato pericolo venne istituita la festa del "Voto del comune", soppressa nel 1808 e ripristinata nel 1821.
In seguito all'ulteriore avanzamento della linea di costa, la foce del Selice fu regolarizzata con la costruzione nel 1788 del canale Burlamacca, accanto al quale venne costruito un nuovo fortino, il Fortino sulla Foce di Viareggio. La torre tuttavia mantenne la funzione di posto di vigilanza, per l'avvistamento sia di eventuali nemici in mare, sia di incendi; le campane venivano utilizzate anche per convocare il parlamento della comunità.
Agli inizi del XIX secolo la torre venne utilizzata come carcere, in particolare per i detenuti in transito e nel 1810 vi fu installata una torretta per il telegrafo. Nel 1813, gli inglesi sbarcarono a Viareggio e occuparono Lucca per ritirarsi nuovamente sulle navi in seguito all'arrivo dei francesi, senza che la guarnigione della torre potesse opporre alcuna resistenza. Il comandante Ippolito Zibibbi fu condannato a morte, con pena poi tramutata nel carcere a vita, a causa della mancata difesa. L'episodio evidenziò la scarsa efficacia della torre quale presidio militare e rimase infatti solo come carcere. Nel 1819Viareggio ebbe il titolo di città e carcerati e forzati, alloggiati anche nella torre, prestarono la loro opera per la costruzione della darsena. Tra il 1823e il 1847 la torre era adoperata come "bagni dei forzati", mentre il carcere vero e proprio venne trasferito a Camaiore. Nel 1850 fu adibita nuovamente a carcere e nel 1854 vi venne costruita accanto la casa per il custode. La torre ospitava 6 celle ciascuna delle quali poteva ospitare fino a sei detenuti. Mantenne questa funzione fino alla seconda guerra mondiale.
Abolito il carcere nel 1945 la torre rimase chiusa e abbandonata fino al 1969, con i primi lavori di restauro a cura della Soprintendenza per i beni ambientali, architettonici, artistici e storici di Pisa. I lavori di restauro furono ripresi nel 1975 e vennero conclusi nel 1982, consentendo di riportare alla luce la struttura originaria del monumento, alterata dai numerosi lavori di adattamento degli spazi interni alle diverse funzioni. La torre ospita attualmente eventi culturali ed esposizioni artistiche.