A lo largo de la historia ha recibido diferentes denominaciones como Castillo de Zahara de los Atunes, Castillo de la Jadraza, Casa Chanca o popularmente “El Palacio”.
Tiene su origen en la concesión que, en 1294, el Rey Sancho IV “el Bravo” hizo a D. Alonso Pérez Guzmán de las almadrabas para pescar el atún (siglos después llamadas “reales”) tras su defensa de la villa de Tarifa.
Sus descendientes, los Duques de Medina Sidonia, procedieron a su construcción en el siglo XV.
Son más de 15.000 m⊃2; de superficie albergaron patios inmensos, cocinas, caballerizas, capilla, dependencias…
En su interior se ubicaba la “Chanca”, con dependencias e instalaciones para el trabajo del atún, patio para guardar los barcos, hornos, pozos de agua, piletas de salazón, junto a tabernas, bodegones y viviendas para los soldados y mercaderes.
La fortaleza tuvo una triple función: defensiva contra ataques de piratas; industrial como factoría de atún; y residencial para los Duques de Medina Sidonia.
El antiguo salero o nave de las salinas alberga hoy la Iglesia de Nuestra Señora del Carmen (1906), conservando la bóveda original del siglo XVI.