Los antecedentes históricos referentes a este edificio se remontan al reinado de Carlos III, que ordenó su construcción en 1770 bajo la dirección de José Díaz Gamoens, siguiendo la tipología de la arquitectura oficial de La Granja y con destino a la servidumbre de los Infantes don Gabriel de Borbón y Sajonia (1752-1788) y don Antonio de Borbón y Sajonia (1755-1817), ambos hijos de Carlos III y María Amalia de Sajonia. El edificio pasó a ser propiedad privada de ambos, sin entrar en herencia los otros dos hijos de Carlos III, Francisco Javier y Josefa, lo que marcará el futuro del edificio, que siempre ha contado con una doble propiedad, ya que el infante don Antonio murió joven sin descendencia.
Se trata de una construcción rectangular muy alargada, organizada en torno a tres patios que configuran sus recorridos mediante corredores estrechos que dan acceso a las diferentes dependencias.
El edificio presenta unas fachadas muy sobrias en contraste con la riqueza de los patios interiores, configurados por poderosas arquerías. El alzado principal ofrece a la calle de Infantes un aspecto en general austero, donde sólo los frontones que coronan los huecos y una puerta de entrada destacan en su desarrollo. En esta fachada se aprecia el fuerte desnivel existente, de unos 8 metros, que caracteriza la imagen del edificio hundido en el terreno. El resto de sus fachadas, con cuatro alturas en toda su longitud, presentan una imagen menos palaciega hacia el exterior de la ciudad. En ellas se sustituyen los frontones de piedra por trampantojos que los simulan.
Posee además un gran espacio de jardín y una construcción anexa, el “Canapé”, que proporciona las áreas de esparcimiento del Parador.
Antes de la intervención, tras el incendio que sobrevino en el año 1984, su deterioro era muy grande. Sin embargo, las obras acometidas han recuperado el carácter original del edificio.