I frati, per prima cosa, si occuparono della bonifica della zona, quindi cominciarono a costruire l'abbazia, edificando la chiesa con l'abside, il presbiterio, il portico ed infine il convento.
L'uso del materiale romano è testimoniato anche dalle tre metope che si ritrovano in facciata e nella zona absidale.
La prima documentazione in cui è nominata l'abbazia di San Faustino risale al 1104.
La pianta è molto semplice, a unica navata con il soffitto coperto da capriate lignee e abside semicircolare. La facciata, restaurata nel 1956, è preceduta da un portico arioso e conserva in alto una trifora con accanto un frammento romano raffigurante bucrani e rosoni, anche questo riutilizzato dalla peesistente struttura.
Esternamente l'abside è scandita da pilastri e conserva in basso una finestra rettangolare che da luce alla cripta.
L'interno è stato alterato nel corso dei secoli, che ha visto anche la demolizione del presbiterio sopraelevato a copertura della cripta, che probabilmente fu demolita o crollò agli inizi del 1700.
A seguito di ciò vennero interrati i sarcofagi, fu livellato il pavimento e innalzato l'altare maggiore.
Con i restauri effettuati negli anni cinquanta del Novecento, l'altare fu abbattuto e tornarono alla luce i due sarcofagi, in uno dei quali furono rinvenute le reliquie di san Faustino.
Oggi, sulla parete destra, si conserva una porta, dalla quale, passando per il coro, si accedeva al convento. I benedettini, infatti, come detto, avevano eretto anche un convento, adiacente alla chiesa abbaziale, che oggi è stato trasformato in abitazioni.