En la primera mitad del siglo XVI (1542-1547), el obispo Sebastián Ramírez de Fuenleal, obispo de Cuenca y León, sobrino de Diego Ramírez, promovió la construcción de un nuevo convento para los Dominicos de Villaescusa: el Convento dominico de la Santa Cruz. Las obras se extendieron hasta el siglo XVII, con las trazas de D. Francisco de Luna.
El edificio llegó a ser uno de los conventos dominicos más grandes de España, solo superado por el de Santo Domingo de Silos.
De influencia plateresca, se estructuraba alrededor de un claustro que ha puesto al descubierto la excavación arqueológica.
Sirvió de cuartel de las tropas francesas en la Guerra de la Independencia, incendiado y desamortizado por Mendizábal.
Tras la desamortización fue expoliado en beneficio del castillo de Belmonte para las obras de reforma que Eugenia de Montijo llevó a cabo en él.
Adquirido por el Ayuntamiento a principios del siglo XXI, fue declarado BIC, efectuándose un proceso de rehabilitación que se ha ejecutado en tres fases terminadas en 2021.