Il Castello fu fondato da Riccardo Siniscalco, fratello di Roberto il Guiscardo, su una preesistenza bizantina, ampliato da Ruggero II e ricostruito da Federico II intorno al 1230, al ritorno della sesta crociata.
È all’imperatore svevo che si deve la definizione della sua articolazione, e il inserimento nello scacchiere difensivo del regno, cui seguirono interventi parziali da parte di Angioini e Aragonesi; la progressiva decadenza e la conseguente perdita di importanza dal punto di vista militare, portarono ad un uso improprio delle strutture.
Al momento svevo è attribuita fondamentalmente la sistemazione del cortile e dei corpi di fabbrica ad esso relativi, oltre che la cosiddetta Torre dell’Imperatrice; con questa denominazione la tradizione popolare ricorda la pietosa vicenda di Bianca Lancia, imprigionata da Federico II nella torre per sospetto di infedeltà, che qui avrebbe messo alla luce Manfredi, successore dell’imperatore stesso.
Il Castello ha pianta quadrangolare e due possenti torri sul fronte meridionale, ed è caratterizzato da un paramento murario costruito da grosse bugne a bauletto ed aperto in più punti da finestre, oculi e feritoie relative alle diverse fasi costruttive.
Attraverso il portale principale ed il contiguo androne si accede al vasto cortile trapezoidale, dove sono più evidenti i segni dei restauri che hanno voluto restituire il Medioevo delle belle finestre gotiche e della trionfale scala di accesso al piano superiore, così come i camini e gli arredi della pur suggestiva Sala del Trono.
