La palazzina è stata costruita nel 1317. Si trova a nord della piazza, di fronte alla residenza Papale, e chiamato così proprio per le sue modeste dimensioni e valore, confrontato con il palazzo dei papi.

La storia del suo aspetto oscuro: una versione di esso è stato costruito per il nipote di papa Giovanni XXII, Arnaud de Via, l'altro è stato costruito dal cardinale Беренжером F. Senior. Dopo la sua morte il palazzo e le zone sono stati acquistati dal cardinale Arno de Via. Nel 1335 anno De Via morì e il palazzo di nessuno non apparteneva fino alla venuta di papa Benedetto XII, che di nuovo ha acquistato e trasformato in residenza ufficiale dell'arcivescovo di avignone.

L'edificio gravemente danneggiata nel periodo dal 1396 al 1411, perché si è pensato di cittadella fortificata авиньонских papi. Dopo la fine delle ostilità palazzo gradualmente era in declino. Nella seconda metà del XV secolo, il vescovo di Alan de Котиви e il suo seguace Giuliano della Rovere (che sarà poi Papa Giulio II) ha deciso di ripristinare l'edificio e al 1503 dargli quasi riportarlo al suo antico splendore. Della Rovere è arrivato in Avignone nel 1474 da, così come è stato nominato da suo zio, il Papà Сикстом IV, il vescovo di авиньонским. È eretta la torretta del lato sud e ovest, con facciate in stile rinascimentale italiano e nel 1487 da costruì una torre (più tardi, nel 1767, si è rovinato).

Durante la rivoluzione francese il palazzo divenne di proprietà dello stato, nel XIX secolo si trovava la scuola cattolica e, successivamente, la scuola professionale. Solo alla fine del XX secolo, il palazzo è stato inaugurato il museo.

Dal 1958, qui si trova il Museo del Medioevo. Nel 1976, qui è stata aperta una galleria d'arte di opere di maestri del Rinascimento. In 19 sale del museo sono esposti, in particolare, il lavoro di Sandro Botticelli, Taddeo Gaddi, Taddeo di Bartolo, Lorenzo Monaco, tra cui qui si trova la famosa «Madonna» di Botticelli.