Nel 1294 l’oratorio ed il monastero passarono al capitolo lateranense.
La chiesa trecentesca nacque come eremo per i monaci di sant’Agostino.
La costruzione venne ricavata scavando nella roccia, così come il refettorio e le celle monastiche. L’interno, a navata unica, conserva affreschi del XIV secolo, uno di questi raffigura il beato Simone Fidati.
L’intero complesso fu abbandonato nel 1652 e versò in pessime condizioni fino al 1833, quando, restaurato a seguito di episodi miracolosi, prese il nome di Santuario della Madonna della Stella.
Il santuario veniva aperto al culto dalla prima domenica di maggio alla prima domenica di giugno (durante il mese mariano). In questo periodo vi affluivano le processioni provenienti dai paesi vicini. Oggetto di venerazione era la pietra insanguinata; secondo la tradizione orale la pietra si staccò dalla volta della caverna e colpì un pellegrino che rimase indenne. Nel santuario erano esposti gli abiti dei miracolati come segno della grazia ricevuta.