Nel 1353 il palazzo raggiunse l’attuale via dei Priori. Nel secolo seguente continuò l’ampliamento che, scavalcando via dei Priori con un arco, inglobò anche una torre medievale. Un ulteriore estensione fu effettuata tra 1429 e 1443.

Salendo la scalinata della facciata di piazza, oltrepassando il portale ad ogiva, sormontato da due copie dei duecenteschi Grifo e Leone bronzei, simboli della città (gli originali sono all’interno del Palazzo) si entra nella sala dei Notari. In origine aula delle assemblee popolari, l'ambiente rettangolare, con una volta sostenuta da otto arconi romanici, è interamente decorata con affreschi raffiguranti leggende, favole e storie bibliche databili all’ultimo decennio del Duecento, forse opera del Maestro del Farneto e del Maestro Espressionista di Santa Chiara, oltre che con stemmi di podestà e capitani del popolo succedutisi nel governo della città. La facciata sul corso presenta oltre alla serie di trifore e quadrifore, che alleggeriscono il senso orizzontale della massa muraria, un ricco portale a tutto sesto, databile al XIV secolo, affiancato da pilastri retti da leoni: sul pilastro di sinistra sono raffigurate le allegorie della Magnanimità, della Fertilità e della Superbia. Sul pilastro destro l’Avarizia, l’Abbondanza e Umiltà. I pilastri sono sormontati da due grifi che soggiogano dei vitelli, simbolo dell’arte dei Macellai che commissionò l’opera mentre nell’arcone sono scene della vita dell’uomo. Nella lunetta si trovano le copie delle statue raffiguranti San Ludovico da Tolosa, San Lorenzo e Sant’Ercolano (gli originali sono custoditi nella Galleria Nazionale dell’Umbria).

Il primo piano del Palazzo, sede dell’amministrazione comunale, è decorato da varie pitture murali, tra cui degne di nota sono quelle di Bernardino Pinturicchio nella sala Consiliare. Al terzo piano, sede della Galleria Nazionale dell’Umbria, è la cappella dei Priori, affrescata da Benedetto Bonfigli con Storie della vita di San Ludovico da Tolosa e Sant’Ercolano (1454-1480). 

Nello stesso edificio, lungo corso Vannucci, si trovano anche il Collegio del Cambio, sede della corporazione dei cambiavalute, che conserva preziosi affreschi realizzati tra il 1498 e il 1500 da Pietro Vannucci detto il Perugino, una delle più alte esemplificazioni dell’arte rinascimentale italiana, e quello della Mercanzia, cioè dei mercanti, con un elegante rivestimento in legno di noce e pioppo intagliato probabilmente opera di maestranze d’oltralpe.