De oorsprong van het kasteel is islamitisch (X en XI eeuw) en sindsdien heeft dat kasteel veel verandering ondergaan. De muren zijn van de dertiende eeuw, maar zijn nu volledig herbouwd.
In 1988 verleende Johannes Paulus II, Caravaca een "permanente Jubileumjaar viering" "in perpetuum" (Heilige Stad), een voorrecht dat slechts vijf steden in de wereld hebben: Jeruzalem, Rome, Santo Toribio de Liebana, Santiago de Compostela en Caravaca de la Cruz.