La decadenza dell’Impero romano e i capricci della terra ardente dei Campi Flegrei portarono ad un progressivo disinteresse per Baia e del suo circondario.
Su Punta Lanterna il maestoso palazzo imperiale dei Cesari dominava tutta la costa, come declamato da Tacito, oltrepassando Punta Epitaffio. Questa localizzazione viene confermata grazie al ritrovamento di camminamenti, opus reticolatum e di varie strutture rinvenute da poco su cui si stanno effettuando ulteriori verifiche con scavi archeologici.
Un quartier generale capace di tenere sotto controllo, grazie alla Praetoria Classis Misenensis, tutto il Mediterraneo Occidentale. Con il tempo, maestose ville, teatri e terme furono abbandonate, lasciando che il degrado e il bradisismo facessero il resto.
Sul finire del XV secolo, re Alfonso II d’Aragona, detto il Guercio, desiderava fortificare i punti nevralgici del suo regno esposto via mare agli attacchi dei saraceni, via terra all’incombente minaccia francese e del re Carlo VIII. A tale scopo, chiamò a corte l’architetto senese Giorgio Martini, notevole esperto di soluzioni e nuove tecniche per costruzioni militari, confermato dal suo successore Ferdinando II, detto Ferrandino.