Nella città in cui aveva deportato i Saraceni ribelli della Sicilia (poi destinati a diventare suoi fedeli) Federico II di Svevia costruì un castello-residenza.

Nel 1269 Carlo I d'Angiò vi fece erigere, con la soprintendenza dell'architetto militare francese Pierre d'Angicourt, la cinta muraria lunga circa 900 metri.

Nel 1456 un terremoto danneggiò gravemente il complesso già tuttavia in stato di abbandono.

Nel '700 il palazzo di Federico fu quasi abbattuto per utilizzarne il materiale di risulta.

Nell'800 iniziarono i primi restauri.