Il castello fu edificato nei secoli XI e XII, quando una comunità benedettina decise di cingere con mura il piccolo nucleo abitativo della zona. La struttura difensiva vera e propria, però, nacque grazie al barone tedesco Sancio, che venne in Italia al seguito dell'imperatore Corrado II (990-1039).
Sappiamo che nel luglio del 1155 ospitò Federico Barbarossa, e nel 1213 apparteneva al duca Diopoldo, che lo donò in proprietà a Spoleto in cambio dell'aiuto contro la vicina Trevi. Fu così feudo dei nobili spoletini Sansi.
Successivamente, per un breve periodo, passò di proprietà alla famiglia Trinci di Foligno, ma dopo pochi mesi papa Martino V lo assegnò al governatore di Perugia.
Il castello a metà del Quattrocento contava duecentoquaranta abitanti.
Nei secoli successivi divenne proprietà di diverse personalità storiche importanti, e ognuno di loro contribuì al rafforzamento difensivo del castello.
Nel 1571 a Pissignano fu istituita la sede della posta pontificia.
Purtroppo nel Giugno del 1799 il castello fu devastato dalle truppe francesi, che saccheggiarono l'intera comunità, portando via anche tutto ciò che c'era all'interno della chiesa di San Sebastiano.
Dal 1860 è frazione del comune di Campello sul Clitunno, ma durante il periodo fascista fu sede di un campo di concentramento.
Recentemente è stato restaurato e adibito a centro residenziale, all'interno si tengono annualmente convegni internazionali.