Il reste à peine quelques restes de l’ancien château, qui occupa l’extrême nord-est du centre ville. Il fut érigé aux alentours de 1055 et il fut en partie attaché à la roche. Sa forme est irrégulière, ses murs sont formés de pierres de taille en grès de plus de 1, 80 m. d’épaisseur.
Sur les pierres de taille avec lesquelles a été érigée la tour on peut voir de nombreuses marques de tailleurs de pierre (flèche, étoiles, croix...)
Une grande partie du périmètre muraillé est conservé en bon état, mais pas en hauteur. 
À l’intérieur de l’enceinte fortifiée, se trouvait la paroisse romane d’origine, de laquelle on ne conserve aucun reste. Aujourd’hui on y trouve le Centre des Légendes et des Traditions.