I stedet for den nuværende Museum Calvet var tidligere en kardinal bopæl - Livre de Cambrai, opkaldt til ære for den engang boede her D'Ayli Pierre Cardinal, Biskop de Cambrai. I 1719 blev bygningen solgt til François-René de Villeneuve, Marquis de seigneur d'Arzele og Martignano.

I 1734 hans søn Jacques-Ignace de Villeneuve besluttet at udvide deres bedrifter og bygge et nyt palads. Byggeriet blev påbegyndt under ledelse af Thomas Lainé, men så skiftede hans arkitekter Jean-Baptiste Francesco Frank og Frank. Anlægsarbejdet blev afsluttet kun i 1749. I 1802 købte han et hus Deletro købmand, som til gengæld overdraget bygningen til leje Avignon myndigheder at placere kollektionen her Esprit Calvet. 3 MARTS 1833 blev bygningen købt af kommunen Avignon til museet. Den 1. oktober 1963 byhus Villeneuve-Martignano på listen over historiske monumenter i Frankrig.

Det huser en af ​​de største samlinger af malerier i Frankrig. Saml samling startede en lokal læge (numismatiker, bibliofil og arkæolog) Esprit Calvet, og senere, i 1810, testamenterede han sin samling af malerier til museet og et bibliotek. Museumsgenstande er brugskunst, skulpturer, porcelæn, men meget interessant maleri afdeling, der dækker perioden fra det XVI til XX århundrede - ved Vasari og Luca Giordano til David, Corot, Manet, Bonnard og Soutine.

Her, i byen huset Villeneuve-Martignano, hvortil der blev tilsat til de moderne bygninger, er det den vigtigste samling. Bibliotek, Calvet og indsamlet en betydelig samling af næsten 12 000 mønter og medaljer blev flyttet til andre steder.