Il IV secolo d.C. segnò il declino della città campana: privo oramai di una cura costante per irregimentare le sue acque, il fiume Salso (oggi Capodifiume) rese paludosa tutta l’area sud-occidentale, mentre la Porta Marina e il porto si insabbiarono. I pestani però non si arresero subito: rialzarono le strade, sopraelevarono le case e costruirono canalizzazioni a quote sempre più alte. Ma non riuscirono a impedire il lento e costante degrado dell’area: la città si rimpicciolì sempre più fino a ritirarsi sull’altura del Tempio di Atena.
Nel frattempo però la popolazione era diventata cristiana, e pare persino che il Tempio di Atena sia stato trasformato in chiesa, mentre nelle vicinanze si costruiva la chiesa della Santissima Annunziata. E nel VI secolo la città divenne persino sede vescovile. Fu questo un periodo di sincretismo religioso, in cui i simboli delle vecchie divinità si trasmisero a quelle nuove: come la melagrana, il frutto della fertilità che per tutta l’epoca pagana aveva caratterizzato il culto di Hera, e che passò alla Madre di Dio, venerata dai pestani come Madonna del Granato.
In epoca tardoantica il piccolo centro finì per disintegrarsi, anche se probabilmente non fu mai completamente abbandonato. Tuttavia tra VIII e IX secolo la maggior parte dei pestani, per trovare scampo dalla malaria e dalle incursioni saracene, lasciarono la piana e si spostarono sulle alture circostanti, alle sorgenti del fiume Salso, a Caputaquis, da dove deriva il nome ancora in uso di Capaccio. E portarono con sé anche il culto della Madonna del Granato.
Infine, nell’XI secolo i Normanni depredarono i templi e spogliano gli edifici abbandonati dei loro materiali pregiati, che riutilizzarono per la costruzione del Duomo di Salerno. Da quel momento in poi, Paestum sarà dimenticata per secoli.