Antiguamente el pueblo celebraba la festividad de estos santos el 20 de enero con gran pompa. Llegó a existir una Cofradía bajo su advocación. 
Los vecinos de Castillazuelo consideran a esta pequeña ermita como una segunda iglesia. Su proximidad al cementerio, donde reposan los seres queridos, le confiere un innegable valor sentimental al conjunto.

A los Santos Fabián y Sebastián se les atribuye una función sanatoria. Antiguamente, cuando las medicinas apenas existían, los santos las suplían y hasta los había especializados en dolencias y males concretos: Santa Lucía en la vista, San Blas en la garganta, los Santos Fabián y Sebastián en enfermedades infeccionas, Santa Rita en enfermedades incurables, Santa Ana en partos…

Adosado a esta sencilla ermita, se construyó ‘ra Lonjeta’ y anejo a ambas, el cementerio.