A quei secoli si deve anche la realizzazione del chiostro e degli edifici conventuali sul fianco destro della chiesa. Nel 1958 un restauro particolarmente invasivo ha riportato gli interni all'originale aspetto romanico, con la perdita però dell’interessante decorazione settecentesca.

La chiesa è a tre navate molto strette ed alte, divise da due file di pilastri circolari di tradizione lombarda; assente il transetto, la navata termina con un’abside triconca. Il presbiterio è fortemente rialzato con una scala d'accesso ripristinata durante il restauro del XX secolo.

La navata centrale è coperta con una volta a botte ribassata, mentre le navate laterali hanno copertura a crociera. Un arco trionfale che divide lo spazio della navata da quello del presbiterio, è forato da una bifora posta al centro. Le tre absidi, esternamente, presentano una particolare decorazione che le suddivide con sottili lesene poggiate su un alto basamento e culminanti con archetti pensili.

Gioiello dell’architettura romanica in Umbria, la cripta “ad oratorium”, è suddivisa in tre navate absidate, coperte con volte a crociera, di cui quella centrale risulta a sua volta tripartita da sei colonne di varie tipologia con capitelli romani riutilizzati, con curiose raffigurazioni di animali e motivi vegetali.

Dietro l'altare è collocato il sarcofago di san Felice martire, poggiato su colonnine che lo tengono sospeso da terra. Le notizie che ci restano sul Santo sono tutt’ora incerte. Sappiamo che fu vescovo di Vicus ad Martis tra la fine del III e l’inizio del IV sec. d.C. , ma diverse sono le versioni relative al suo martirio avvenuto ad opera del prefetto Tarquinio presumibilmente tra il 304 e il 306 d.C. Si narra che, per intervento divino, stentasse a morire nonostante le terribili torture alle quali fu sottoposto: immerso in una pentola con pece bollente, messo sui carboni ardenti come San Lorenzo, alla fine decapitato.

Oggi, l’antica pratica di invocare la guarigione strisciando per terra sotto il corpo del santo taumaturgo è ancora in uso tra i fedeli.

Il chiostro, a pianta rettangolare, ha il portico sorretto da solidi pilastri quadrangolari a mattoni vivi; sopra ogni pilastro affreschi di busti di santi e beati, mentre gli affreschi sulle pareti raffigurano Le storie della vita di San Felice. Al centro del chiostro si trova una cisterna per la raccolta delle acque piovane. Dal 1815 l'abbazia di San Felice è sede della congregazione del Preziosissimo Sangue, fondata da san Giuseppe del Bufalo.