Nel 1442 le milizie di Niccolò Piccinino lo abbatterono quasi integralmente. Il palazzo venne restaurato nel 1493 per volere di papa Sisto IV e dei cardinali Orsini e Savelli che lo ampliarono ulteriormente fino a comprendere il Monte di Pietà e la residenza del governatore apostolico. I Priori, documentati con certezza a partire dagli anni '30 del Trecento, abitavano il piano superiore mentre al di sotto si aprivano le botteghe.

Il palazzo dei Priori ospita gli uffici del Comune di Assisi; la sala della Conciliazione e la sala del Consiglio, completamente decorate, si possono visitare in occasione di eventi e convegni.