El Pretori ha estat, i és, un dels edificis més emblemàtics de Tarragona. La seva vida es perllonga des d'uns segles després de la fundació de la ciutat, el 218 aC fins els nostres dies.
En el nivell inferior de l'actual torre es poden observar, parcialment emmascarades pels murs posteriors, les restes d'una porta i un mur de carreus pertanyent a un destacat edifici del segle I aC.
En origen, la torre del Pretori, fou com ja s'ha esmentat anteriorment, una gran torre lateral amb escales que tenia com a missió connectar els diferents nivells del conjunt monumental format pel circ, la plaça de la representació i el recinte de culte.
El Pretori o Castell del rei conserva, encara, l'estructura de la torre o caixa d'escales d'accés al Fòrum i fou bastida entorn el 73 dC.
Una torre bessona a la del Pretori subsisteix a la Plaça del Pallol, a l'Antiga Audiència i és coincident amb ella tant en estructura com en ús.
Segons narren antics escrits, en els soterranis de la torre del Pretori, va ser martiritzat el príncep Sant Hermenegild, fill del rei Leovigild, l'any 585.
Segles més tard, amb la restauració de la ciutat el 1129, la torre fou adequada com a residència d'un dels senyors de la ciutat: el normand Robert Bordet, el qual va esdevenir príncep de Tarragona.
El castell surt citat en diversos texts dels segles XII i XIII. Els continuats conflictes jurisdiccionals entre Robert Bordet i l'arquebisbe, l'altre senyor de la ciutat, van conduir l'any 1171 a l'assassinat d'aquest darrer i a la fugida de Tarragona de la família normanda, la qual es va haver de refugiar a Mallorca.
A partir d'aquest moment l'edifici va passar a mans del comte de Barcelona, i va ésser la residència permanent del veguer reial.
L'any 1281, durant el regnat de Pere II el gran, l'edifici fou assaltat i destruït per pagesos procedents d'alguns pobles del Camp, els quals s'havien revoltat contra el veguer per les dures imposicions a les que els sotmetia.
Al Castell de Rei o Torre del Pretori, s'hi allotjaren durant curtes estades de temps alguns membres de la reialesa. És el cas de Blanca d'Anjou, la muller de Jaume II (1310), o el propi rei (1306) el qual va portar a terme tota una sèrie d'importants obres d'adequació.
Pere III, el Cerimoniós, anys més tard, va reformar significativament el palau amb la construcció d'un nou pis, la sala gòtica. La seva situació privilegiada va convertir-lo en un punt clau de vigilància contra la pirateria. El 1399 l'edifici va esdevenir presó, paper que tornaria a desenvolupar uns segles més tard.
El castell va deixar de ser residència reial al segle XV. Al 1413 es va convertir en l'oficina del procurador reial i, a poc a poc, va anar adquirint funcions clarament militars, com a dipòsit de material bèl.lic. Anys més tard, a la torre hi va estar aquarterat un regiment d'espingarders francesos, els quals hi van romandre fins al 1462. Al segle XVII, l'edifici va prendre la denominació de Quarter del rei, i al segle XVIII, la de Quarter de Pilats. Al 1698 es documenta en ell la seu d'un regiment de navarresos. Entorn al 1721 va allotjar el regiment de Sevilla número 36 i fins el 1809 un regiment suís.
Durant la Guerra del Francès, l'edifici, com tota la ciutat, fou ocupat per tropes napoleòniques, les quals van destruir-lo parcialment durant la seva fugida l'any 1813. Des de mitjans del segle XIX l'edifici va servir com a Presó provincial, funció que va mantenir fins el 1953.
A partir d'aquest moment va començar un procés d'adequació museogràfica, esdevenint, l'any 1971, un annex al Museu Arqueològic. A partir del 1986 la torre va passar a dependre del Museu d'Història de Tarragona.