Nel 1403 furono fatte le prime modifiche, infatti prima di questa data il castello era chiamato "villa" per l'assenza di sistemi difensivi, una volta rafforzato l'apparato difensivo assunse la denominazione di "castrum" e già nel 1456 ospitò centinaia di perugini fuggiti da una grave epidemia che imperversava la città.
Nel 1479 subì un violento assedio da parte delle truppe fiorentine, come lo subirono numerose rocche della zona, tra cui anche la vicina rocca Monaldi.
Pochi anni dopo, nel 1486, con la spesa di venticinque fiorini, fu costruito all'interno del castello un pozzo per il presidio insediato a difesa.
Dal XVI secolo cominciò una lenta decadenza per il castello, male amministrato dai camerlenghi del lago. A questo contribuì anche l'innalzarsi delle acque, facendo sì che Zocco si trovasse, nel giro di pochi anni, in riva al lago. Collegato al castello un piccolo porto, si creò subito un'operosa comunità di pescatori, che però, con il passare del tempo, diminuì gradualmente.
Nei primi anni del Novecento era abitato da una piccola comunità di contadini, ma ormai da decenni appartiene alla famiglia Palombaro, di Roma, la quale si dedica alla produzione di un rinomato olio extrevergine di oliva.
Nelle pareti della chiesa di San Macario, antico edificio parte dell’originario nucleo religioso intorno al quale sorse il castello,  si leggeva un'antica scritta latina a fianco di un dipinto raffigurante una dama.