En época de al-Andalus la ciudad es conocida como el Ḥiṣn de Qastuluna, una fortificación que según las recientes investigaciones arqueológicas ocupaba la zona elevada al Noroeste de la gran meseta, siendo el resto de la antigua ciudad romana un lugar de asentamiento de pequeños núcleos dispersos dentro del recinto amurallado.

Sobre la historia de la ciudad en esta etapa contamos con ciertas referencias históricas, como la de la batalla de Qastuluna en el año 786 d.C. entre las tropas de Abderramán I y Yusuf aI-Fihri, gobernador de la Marca de Toledo que se sublevó contra el emir. Otra referencia la encontramos posteriormente, con la sublevación de los muladíes en Qastuluna mediante la que Ubay ben Alah ben AI-Shaliya se proclama rey y gobernará aproximadamente durante veinte años, hasta que Abderramán III decide poner fin a la revuelta y AI-Shaliya debe entregar la ciudad al no poder hacer frente con sus reducidas tropas a las del califa.

Entre los siglos XI y XIII la fortificación principal se posiciona en el extremo sur de la antigua ciudad. De este período es el Castillo de Santa Eufemia del que hoy día sólo quedan en pie restos de un torreón construido con tapial a finales del siglo XII. Este castillo, situado en el extremo sur, queda aislado de la meseta principal y contaba con un foso al norte para favorecer la defensa de la zona más vulnerable.

Tras la conquista cristiana, Cástulo continuó ocupada con un pequeño núcleo de población hasta el siglo XIV, antes de ser abandonado definitivamente. A partir de ese momento, el auge de Baeza, Linares o Úbeda supuso el desmantelamiento de Cástulo, sirviendo sus ruinas de cantera para el crecimiento de estas ciudades y otras construcciones de la zona.

Candil islámico (s. IX-X d.C.)