Dalla balaustra si eleva il barocco campanile eretto nel 1637, come detto sopra, grazie al concorso indetto dal cardinale Barberini. 
Un semplice ed elegante portale immette nel vasto interno, ad una sola navata coperta da una grande volta a botte, sorretta da pilastri addossati alle pareti.
Di notevole interesse l’altare maggiore, barocco, con architetture e sculture lignee, nel quale è inserita una pregevole tela del pittore Giacinto Boccanera da Leonessa, datata 1723 e raffigurante la Madonna che regge un ostensorio tra il beato Ruggero, san Felice, santa Rita e san Pio V.
Entrando, nella parete sinistra, due grandi nicchie conservano affreschi del XVI secolo. Nella prima una Crocifissione, nella seconda una Madonna in trono con il Bambino tra san Rocco e sant'Ambrogio. 
Interessante anche una serie di affreschi del XV secolo raffiguranti una Madonna con il Bambino di ottima fattura e un’altra Madonna con il Bambino tra Santi, di scuola folignate.
Si conserva, inoltre, una grande Croce intarsiata di madreperla, alcune modeste tele settecentesche ed un dipinto del 1957 con il Battesimo di Cristo.
La chiesa, come detto, è intitolata al patrono Felice, che visse e predicò nella sua città ai tempi degli imperatori Diocleziano e Massimiano. Costoro, per reprimere la diffusione del Cristianesimo, inviarono in Martana il prefetto Tarquinio, il quale, trovato Felice lo interrogò e lo invitò all’apostasia. 
Non riuscendo a convincerlo lo condannò ad essere bruciato sulla graticola. Ma Felice uscì indenne da tale supplizio ed allora fu fatto decapitare nel foro dal carnefice Sevibo. Di notte i cristiani trafugarono il corpo del martire e lo seppellirono nel luogo dove ora sorge la chiesa a lui dedicata.