Petit Palais blev bygget i 1317. Det er beliggende i den nordlige del af pladsen, foran bopæl Kirkestaten, og er dette navn på grund af sin beskedne størrelse og værdi i forhold til Palace of paver.

Historien om hans udseende vag: ifølge en version - det blev bygget for en nevø af pave Johannes XXII, Arnaud de Via, på den anden - det blev bygget af kardinal Bérengère F. Elder. Efter hans død blev slottet og grunde købt af kardinal Arnaud de Via. I 1335 Via De døde, og slottet tilhørte ingen indtil ankomsten af ​​pave Benedikt XII, der har købt det igen og blev til den officielle residens for ærkebiskoppen af ​​Avignon.

Bygningen blev alvorligt beskadiget i perioden fra 1396 af 1411. Fordi det blev betragtet som en højborg for de Avignon paver befæstede. Efter afslutningen af ​​fjendtlighederne, slottet efterhånden forfaldt. I anden halvdel af det XV århundrede, biskop Alain de Kotivi og hans efterfølger Giuliano della Rovere (som senere skulle blive pave Julius II) besluttet at genoprette bygningen og i 1503 gav ham næsten oprindelige form. Della Rovere ankom i Avignon i 1474, da han blev udnævnt af sin onkel, pave Sixtus IV, biskoppen i Avignon. Han tilføjet på den sydlige og vestlige facader i italiensk renæssancestil og i 1487 rejst et tårn (senere, i 1767 den blev ødelagt).

Under den franske revolution, slottet blev ejendom af staten, i det XIX århundrede var det en katolsk skole, og senere en erhvervsskole. Først i slutningen af ​​det XX århundrede på det område af slottet har været et museum.

Siden 1958 huser Museet for middelalderen. I 1976 blev der åbnet et kunstgalleri med værker af mestre i renæssancen. De 19 værelser på museet, især arbejdet med Sandro Botticelli, Taddeo Gaddi, Taddeo di Bartolo, Lorenzo Monaco, også her er den berømte "Madonna" Botticelli.