Come gran parte delle fortezze medioevali, anche il castello di Itri è avvolto dalla “leggenda”; una delle storie più curiose è quella che riguarda la torre cilindrica, conosciuta come torre  “del Coccodrillo" e così chiamata  perchè, nella parte inferiore, vi era dell'acqua con la presenza di un alligatore al quale erano dati in pasto i condannati a morte dell’ Orto della corte che  amministrava la giustizia. Intorno a questo fossato sono fiorite innumerevoli leggende; una di esse narra che nel castello vagano, come anime in pena, numerosi fantasmi, il che dà alle rovine un alone di mistero. 

Nel 1534 il pirata Ariedano detto il Barbarossa giunse ad Itri per rapire l’ avvenente ed illuminata Giulia Gonzaga, una delle donne più celebrate del Rinascimento, per darla in dono al suo padrone sultano Sulimano II; Giulia scappò dal Castello di Fondi e si rifugiò presso quello itrano (taluni sostengono che ella trovò riparo presso il Santuario della Madonna della Civita al quale lasciò in dono, forse proprio per l’ospitalità avuta, un prezioso anello). Il Barbarossa, pensando però che ella si nascondesse nel convento delle Benedettine a San Martino in Pagnano, fece strage delle monache e rase al suolo il convento.
Ippolito dè Medici, intimo amico di Giulia Gonzaga, probabilmente suo amante, era un assiduo frequentatore del castello itrano; una storia narra che proprio ivi gli fu servito il brodetto avvelenato che ne decretò la morte.