Gli anni avevano segnato la rocca, tanto che nel 1476 fu necessario affrontare dei lavori di ristrutturazione. Di questo secondo castello esiste un disegno approssimativo di Joerg Koelderer, eseguito all'inizio del 1500, forse per incarico dell'imperatore Massimiliano. Si modificarono molte cose, ma nell'insieme furono più lavori di bonifica che non variazioni vere e proprie. Una descrizione dei dintorni si deve a un frate, certo Felix Schmied il quale, nel 1484, di ritorno da un pellegrinaggio in Terrasanta, tornava nella sua patria, cioè in Svevia passando da queste parti.

Il frate descrisse l'intenso traffico di carri sulla strada di Alemagna, il modo in cui i viandanti si spostavano in gruppo ed il controllo da parte delle "guardie di confine" a Botestagno. Il tratto di salita al castello era pessimo, e "custodi diligentissimi" fermavano i passanti per interrogarli e talvolta perquisirli, gridando poi "Marco, Marco" per sottolineare l'appartenenza del fortilizio e della zona a Venezia.