De la fortaleza que el jefe musulmán Jalaf ibn Rasid (creador de la ciudad de Barbastro, hoy en día capital de la Comarca de Somontano de Barbastro) mandó construir a principios del siglo IX no queda nada, salvo su emplazamiento. Eso sí, no pudo elegir un lugar mejor defendido: en lo más alto de la roca, rodeado de abruptas paredes verticales. Ni con más bellas vistas: el encañonado río Vero con sus paisajes cársticos componen un espectáculo visual que hace detenerse el tiempo cuando se contempla. La vista desde el norte también es espléndida. Un motivo más para visitar uno de los lugares más privilegiados de la hermosa villa de Alquézar.
El Rey Sancho Ramírez lo reconquistó en 1067 y mandó al Abad Banzo fortificarlo. El rey le agradeció “los buenos servicios que me hiciste y haces siempre, y porque fabricaste aquella torre en Alquézar para ensanchamiento de los cristianos y desgracia de los moros”. Sobre lo más alto del cerro, quedan las ruinas del torreón. Sus muros, de considerable espesor (1,60 m.), estaban construidos con sillares, algunos de los cuales se reutilizaron para proteger los almendros de la plantación de Mosén Rafael Ayerbe. De esta época son los restos de una pequeña capilla dedicada a Santa María Magdalena que se alza también en lo más alto del promontorio rocoso.
El acceso en rampas sucesivas se protegió con una torre albarrana. Levantada fuera de los muros de la fortificación primitiva, servía tanto para defensa, como de atalaya. Su construcción sobre la roca debió ser una empresa arriesgada que, sin embargo, fue resuelta con eficacia por una cuadrilla de maestros locales que imitó el magistral modo de hacer de los constructores lombardos.
Entre los siglos XV y XVI se fortificó el zigzagueante acceso al cerro y la puerta blasonada. Al atravesarla estaremos frente a una alargada puerta gótica con un bajorrelieve, que popularmente se conoce como La Mazmorra de las Santas. En ese bajorrelieve, del siglo XV, se han representado bajo un dosel las figuras de las Santas Nunilo y Alodia portando la palma del martirio y el momento de su muerte a manos de dos verdugos.
En el interior, el techo ha desaparecido. La torre del esconjuradero, como se conoce popularmente, se sitúa en la parte exterior de la segunda muralla, anexa a la Colegiata. Al conjunto pertenece también un aljibe situado al Norte, realizado con sillarejo más rudamente trabajado.