La frequentazione umana nel sito della città risale al periodo paleolitico. Un villaggio neolitico della "cultura di Chassey" nacque intorno al 3000 AC e si sviluppò nel millennio successivo fino ad occupare una notevole estensione tra le pendici del Rocher des Domes e la riva del fiume.
Il nome della città risale a circa il VI secolo AC, quando si trovava nei territori dei Galli Cavari (Aouenion). Del nome esistono due interpretazioni: "città del vento violento" o "signore del fiume". Altre fonti ne fanno rimontare l'origine al termine celtico mignon (palude costiera), preceduto dall'articolo. Fu anche emporio foceo, con propria monetazione (con il nome di Aoye).
Sotto i Romani con il nome di Avenio è citata sotto Augusto tra le città della Gallia e fu colonia latina sotto Claudio e ottenne la cittadinanza romana sotto Adriano.
Nell'alto medioevo fu cittadella avanzata dei Burgundi. Nel 1129 divenne comune indipendente, con governo presieduto dal vescovo. Alleata di Tolosa fu presa dal re Luigi VIII di Francia nel 1226, all'inizio della crociata contro gli Albigesi, e le mura furono distrutte. Le mura ricostruite furono ancora smantellate quando nel 1251 la città entrò a far parte dei domini del duca di Angiò.
Avignone è conosciuta come antica città papale, a seguito della scelta di papa Clemente V nel 1309 di farne la propria sede. In totale si succederanno nove papi sul seggio cittadino, dei quali due sono scismatici. I papi risiedettero nel cosiddetto "Palazzo dei Papi" ad Avignone.
• Clemente V (1305-1314)
• Giovanni XXII (1316-1334)
• Benedetto XII (1334-1342)
• Clemente VI (1342-1352)
• Innocenzo VI (1352-1362)
• Urbano V (1362-1370)
• Gregorio XII (1370-1378)
• antipapa Clemente VII (1378-1394)
• antipapa Benedetto XIII (1394-1423)
Dopo la partenza dei papi la città venne governata da un legato pontificio e quindi da vice-legati. Come enclave straniera in Francia beneficiò di un notevole ruolo in campo commerciale e finanziario.
Nel 1791, durante la rivoluzione francese la città vota per l'adesione alla Francia. Nel XIX secolo è capoluogo di un dipartimento a vocazione prevalentemente agricola. Alla fine del secolo si ha una rinascita culturale provenzale (Frédéric Mistral, premio Nobel per la letteratura nel 1904). La vocazione turistica si sviluppò soprattutto dopo la creazione del festival teatrale nel 1948.
La città è circondata dalle mura difensive e le sue case antiche hanno grande fascino.
Il Palazzo dei Papi e il ponte di Avignone (pont Saint-Bénezet), uno dei simboli della città, fanno parte dei Patrimoni mondiali dell'umanità dell'UNESCO.
Il Palazzo dei Papi fu contemporaneamente residenza papale, luogo di culto, fortezza e sede amministrativa.
Clemente V al suo arrivo ad Avignone si era insediato nel vasto Convento dei predicatori, sulle rive del fiume, mentre il suo successore Giovanni XXII, che era stato vescovo della città, si trasferì nel suo vecchio palazzo episcopale, che fece ingrandire e ridecorare, aggiungendovi sul lato sud una sala di udienza. Trasformò inoltre l'antica chiesa di Santo Stefano, sul fianco sinistro della cattedrale, in cappella pontificale.
A partire dal 1334 Benedetto XII intraprese grandi lavori nel palazzo, incaricandone Pierre Poisson. Inizialmente fu costruita una grande torre a sud del vecchio palazzo episcopale e una nuova grande cappella pontificale su due livelli sovrapposti. Successivamente verso nord vennero costruite le ali degli appartamenti privati e la torre dello Studio. Contemporaneamente venivano progressivamente distrutte le altre ali del palazzo più antico, sostituite da nuovi corpi di fabbrica, articolati ciascuno intorno ad un cortile: ad est gli ambienti ufficiali della corte, a ovest gli alloggi dei famigliari, a sud i vasti appartamenti per gli ospiti. I lati sud e est furono fortificati da un possente bastione.
Clemente VI ingrandì ancora il palazzo: fu costruita la torre del Guardaroba che si addossava alla precedente torre del Papa e fu affidato l'incarico di costruire nuovi corpi di fabbrica verso sud e ovest a Jean de Louvres, originario della regione parigina, che realizzò a partire dal 1345 l'ala meridionale, con la Grande Audience e la Grande Chapelle, e l'ala ovest per alloggiare i principali dignitari della corte. A quest'epoca risale la maggior parte delle decorazioni del palazzo: il pittore Matteo Giovannetti e la sua bottega crearono i cicli di affreschi sui temi della grandezza della Chiesa e sui legami tra Roma e Avignone. Negli appartamenti privati del papa altri pittori non identificati realizzarono una decorazione naturalistica inedita, che rappresentava una foresta con le attività di caccia e pesca.
Sotto Innocenzo VI furono costruite le torri di san Lorenzo e della Grazia e sotto Urbano V creò la galerie Roma nel giardino superiore.
Il ponte di Saint-Bénezet secondo la leggenda fu edificato da un giovane pastore di nome Bénezet per ordine divino. Completato nel 1185 e più volte ricostruito, ne restano oggi solo quattro arcate e una cappella. Dal ponte di Avignone prende il nome la tradizionale canzone per bambini Sur le pont d'Avignon.
La cattedrale di Notre Dame des Domes (XII secolo) è l'unico edificio romanico interamente conservato della città.
L'abbazia di Saint-Ruf fu fondata fuori le mura in epoca carolingia su un edificio di culto più antico e fu ricostruita nel 1139 dai canonici della cattedrale. Restano le rovine della chiesa romanica, della seconda metà del XII secolo.
La chiesa di Saint-Didier, interamente ricostruita tra il 1356 e il 1359 in stile gotico provenzale e a navata unica, conserva affreschi dell'epoca.
Nel periodo papale furono edificati anche altri palazzi di grandi dignitari ecclesiastici nella città, tra i quali si distingue il palazzo Ceccano, edificato intorno al 1340 dal cardinale Annibale di Ceccano, che oggi ospita la biblioteca municipale.
La città ebbe inoltre una nuova cinta fortificata a partire dal 1356, tuttora conservata con restauri di Viollet-le-Duc nel XIX secolo per la parte meridionale.
Il Petit Palais fu costruito come residenza cardinalizia e divenne quindi sede arcivescovile. Deve il suo aspetto attuale alla ricostruzione del 1481-1495, voluta dall'arcivescovo-legato Giuliano della Rovere, futuro papa Giulio II. Ospita oggi un museo di arte medioevale (Musée du Petit Palais).
Al primo quarto del XVI secolo risale la facciata della chiesa di Saint'Pierre, in stile gotico flamboyant. Le porte in legno scolpito sono del 1551.
Il palazzo dei Monnaies è un notevole esempio di architettura barocca, edificato nel 1619. Ospita oggi il conservatorio di musica.
Il palazzo di Villeneuve-Martignan, costruito tra il 1741 e il 1753 dall'architetto Jen-Baptiste Franque, ospita attualmente il Museo Calvet (Musée Calvet), con collezioni di pitture e sculture dal XV al XX secolo.
Esempi di architettura contemporanea sono la chiesa di Saint-Joseph travailleur edificata nel 1969 dall'architetto Guillaume Gillet e la nuova stazione ferroviaria, dell'architetto Jean-Marie Dutilleul con i due ponti ferroviari sul Rodano.
Il piccolo centro di Montfavet, compreso nel comune di Avignone, è conosciuto grazie al suo ospedale psichiatrico, situato sul Mont de Vergues, che ha ospitato per trent'anni la scultrice francese Camille Claudel (1864-1943).
