Fue construida a mediados del siglo X, durante el califato de Córdoba y a petición de Al-Haquem II. El interés era proteger la frontera del Duero que comenzaba a debilitarse por el empuje de los reinos cristianos.

Sus 1200 metros de perímetro, que eran defendidos por 20 torreones, hicieron de esta construcción la fortaleza califal más grande de Europa. Por cierto, en sus muros aún se puede distinguir algún elemento romano, como alguna estela funeraria. Este inmenso recinto contaba con varios accesos; dos de ellos eran las conocidas como puertas califales; también había otras dos puertas más, denominadas Portonas. Dentro de esta fortaleza se encontraba, por un lado, la torre del homenaje, conocida como la “torre Almanzor”; también un alcázar, el aljibe y las dependencias para la tropa, y lugar de cobijo para animales y sus aperos.