Le départ du pape et de sa cour fut évidemment un événement dommageable pour une ville alors en plein développement. La population chute de plus de la moitié pour passer à environ 15 000 personnes, ce qui reste néanmoins au moyen âge une taille plus que respectable. La ville garde encore une grande partie de son prestige: elle est un grand centre de commerce, d'où s'exerce l'influence italienne dans tout le midi de la France.
En 1432 les Avignonnais se révoltent : ils désiraient en effet être gouvernés par un personnage éminent et prestigieux et s'étaient adressés en ce sens au pape. Hors, le pape nomma son propre neveu, un homme "sans importance" ; les avignonnais piqués au vif formèrent une révolte. Le pape nomma alors le cardinal de Foix, mais trop tard, les avignonnais vexés reconduisent les émissaires du cardinal. Ils subirent alors un nouveau siège qui dura deux mois. Un légat, aux pouvoirs étendus, chargé de l'administration des possessions pontificales et du Comtat redonna à Avignon l'importance d'une seconde Rome "l'altera Roma". Certains Cardinaux avignonnais furent très célèbres tels le cardinal Julien de la Rovère, légat de 1476 à 1503, puis élu pape sous le nom de Jules II.
Néanmoins, le déclin économique et politique de la ville est inexorable. A sa mort en 1481 Charles III, comte de Provence, lègue ses États au roi de France. Avignon et le Comtat forment dorénavant une enclave dans le Royaume de France. le Roi est un interlocuteur pressant dont il faut plus que jamais tenir compte. François Ier y séjourna de nombreuses fois, notamment, de retour de Marignan ou pendant le conflit qui l'oppose à Charles Quint.
Les guerres de religion épargnent Avignon qui reste fidèle au pape mais le Comtat est le théâtre de luttes sanglantes. Les huguenots sont solidement implantés à Orange et dans le Dauphiné voisin. Pour assurer la sécurité de ses États, le pape doit faire appel au roi de France Charles IX qui place son cousin Charles de Bourbon, futur roi de la Ligue, à la tête de la légation (de 1565 à 1590). Celui-ci se fait représenter sur place par le cardinal Georges d'Armagnac.
Depuis le XVI° siècle, le légat est rarement présent sur le territoire dont il a la charge ; c'est son représentant, le vice-légat qui devient de fait le gouverneur d'Avignon et du Comtat. Après les guerres de religion, ces fonctions ne sont plus occupées que par des italiens, et les nominations soumises à l'accord du roi de France. En 1693, la suppression de la charge de légat est le signe incontestable du déclin politique de la ville.