La costruzione, che versa in ottime condizioni dopo i restauri degli anni '80, si presenta in forma quadrangolare con, agli spigoli, le caratteristiche torri-bastioni o puntoni dalla struttura a punta di lancia.

L'edificio è una sovrapposizione di strutture erette nei secoli dalle varie dominazioni susseguitesi.

L'origine è normanna, come testimonia la torre centrale del X secolo.

Ingenti furono gli interventi di Federico II di Svevia, attuati tra il 1225 e il 1228; nel lato sud, infatti, è possibile notare finestre ogivali che recano scolpite nelle lunette l'aquila imperiale, motivo ricorrente nell'iconografia sveva.

Nel 1228 l'imperatore Federico II vi tenne la famosa Dieta in vista della partenza per la sesta crociata.

Attualmente è sede della Biblioteca comunale, del Museo comunale (non accessibile) e del lapidario.