Las fortificaciones alrededor del sitio del actual castillo árabe fueron destruidas cuando los españoles reconquistaron Gibraltar entre 1309 y 1333. La actual torre de homenaje fue reconstruida en 1333 d.C., cuando Abu'l Hassan recuperó Gibraltar. Una inspección minuciosa de la Torre muestra la gran cantidad de cicatrices de batalla que dejó la estructura por su posición indomable sobre la roca durante los diversos asedios y batallas por el territorio.