Le Vieux Château est presque entièrement reconstruit au XIIIème siècle sur un plan octogonal : murailles, 4 tours rondes et 2 tours carrées. L’ensemble est abaissé sur ordre de Richelieu vers 1640, à l’exception du donjon-porche doté d’un arc gothique visible depuis la rue Duguet.
En 1860, le château est partiellement démoli pour permettre la construction d’une prison, aujourd’hui désaffectée et réaménagée en salles de réunions.
Sur proposition de l’architecte des bâtiments de France et du service de conservation régionale des monuments historiques de la Drac de Bourgogne Franche-Comté, il est envisagé de protéger au titre des monuments historiques le Vieux-Château