Le prime testimonianze della struttura risalgono ai tempi del vescovo Orso I, vescovo di Benevento e di Siponto che avrebbe fatto edificare, negli anni 837-838, il Castellum de Monte Gargano, con successive modificazioni e rifacimenti.

Il castello fu dimora di principi della signoria dell'Honor Sancti Angeli.

Ospitò Federico II di Svevia e la sua prediletta, la Contessa Bianca Lancia di Torino, e per questo presenta opere architettoniche in stile Federiciano.