La chiesa si sviluppa a navata unica, particolarmente allungata, tagliata trasversalmente da sette arconi ogivali e terminante con un’abside poligonale in cui si apre una grande bifora goticheggiante.
La copertura della navata è a travi lignee poggianti su arconi, mentre l’abside è coperto da una volta con costoloni a sezione poligonale, sorretti da colonnine a sbalzo con capitelli fogliari.
Le pareti sono decorate da una serie di scene affrescate, in parte lacunose: di particolare interesse sulla sinistra si riconoscono una Maestà, alcuni Santi e una Crocifissione di tipo popolaresco con San Francesco e il committente ai piedi del Cristo, di ignoto artista umbro del Trecento; in controfacciata un’ Adorazione dei Magi attribuita a Livio Agresti. Di grande raffinatezza è anche il rinascimentale busto di San Bernardino in terracotta policroma riferibile alla scuola del Vecchietta.
Dietro l’ edificio si apre un elegante chiostro ove annualmente si tengono esposizioni d’arte e mostre artigianali.
Non si conosce l’atto ufficiale né la data precisa dell’insediamento dei frati Minori in San Gemini: la tradizione si richiama, al passaggio di San Francesco in città, attestato dal biografo del Santo Tommaso da Celano. La chiesa fu costruita comunque prima del 1291, anno in cui Niccolò V, con bolla papale, concesse particolari indulgenze a favore di alcuni edifici francescani tra cui quello di San Gemini.