Depuis le début de son existence et jusque fin du XVIIIè siècle, Saint-Dizier fut une Place Forte.
Dès la seconde moitié du XIè siècle, la Seigneurie appartient à la famille de Dampierre-sur-Aube, originaire de Moëslains. Le seigneur Gui II de Dampierre, choisit d’implanter son domaine au confluent des rivières Marne et Ornel. C’est là qu’il fait édifier son château, autour duquel la ville neuve se développe progressivement. Son fils, Guillaume de Dampierre établit en 1228 la charte d’affranchissement qui fixe les droits et les devoirs de chacun permettant ainsi le renforcement et l’entretien des systèmes de défense du château et de la ville.
A l’origine le château est protégé par une enceinte polygonale très irrégulière, les remparts munis de 12 tours couvertes d’un toit en poivrière et défendu par un fossé qui, à l’est est nourri par l’Ornel et au sud, côté entrée, par un fossé large de 20 m au pied de la façade. Cette enceinte en pierre flanquée de tours, une création typique du premier tiers du XIIIè siècle, affirme la puissance territoriale des seigneurs de Dampierre, connétables de Champagne.
Quand la ville après avoir appartenu aux seigneurs des de Dampierre puis aux de Vergy, fut rattachée au domaine royal en 1488, sa position de ville frontière l’obligea à conserver ses remparts. C’est d’ailleurs cette position qui lui valut le Siège de 1544. Par sa position stratégique, à la limite des royaumes de France et face à la Lorraine, Saint-Dizier devient une Place Forte Royale. Le château est ainsi le lieu de résidence du gouverneur militaire et d’une partie des troupes, les soldats pour la plupart sont logés chez l’habitant.
Dès cette époque et surtout au XVIè siècle, les fortifications et les systèmes défensifs ont été améliorés par les ingénieurs royaux. L’architecte de François 1er, Girolamo Marini est à l’origine de la création des fronts bastionnés et du Cavalier, boulevard en forme de bastion en terre accueillant des pièces d’artillerie, à l’extrémité sud du château. En 1766, la Lorraine est rattachée à la France. Saint-Dizier n’étant plus ville-frontière, les murs cessent d’être entretenus et certains s’écroulent si bien qu’à la Révolution il ne reste plus que quelques vestiges.
Abandonné par les gouverneurs militaires ou leurs délégués, le château se délabre progressivement jusqu’à l’arrivée de la famille d’Orléans au XVIIIè siècle. Elle décide de restaurer le château et rétablit sa fonction de garnison du régiment des recrues de la province de Champagne.
L'incendie de 1775 va provoquer de nombreux aménagements effectués par l’ingénieur des Ponts et Chaussées Coluel qui vont entraîner la destruction de l’unité et de la défense du Château.
Lors de la révolution, le château devient un bien national puis un hôtel particulier et subit jusqu’au XXè siècle de nombreux travaux d’embellissement qui vont altérer l’édifice d’origine.
Lors de la seconde guerre mondiale, l’édifice est endommagé et la restauration ne se fera qu’après la Libération. Dès lors les bureaux de la Sous-Préfecture et la résidence du Sous-Préfet s’installent dans le château.
En 1994, les Tours et portes d’entrées du château, les courtines, les Tours de la Terrasse, du Moulin, de la Batterie et du Saint-Esprit sont inscrites en tant que Monuments historiques du XIIIè siècle ainsi que le Cavalier du XVIè siècle.