Dan il-Palazz inbena fl-1696 minn Fra Gaspare Carneiro, Bali ta’ Acre, fuq is-sit ta’ kalkara tal-ġir antika mikrija lill-Balifor għal “terminu ta’ żewġ ħajjiet”. Fit-tmiem ta’ dan it-terminu, it-Teżor kellu jirċievi wieħed u għoxrin scudo fis-sena li jikkorrispondu għall-kera tal-bini li kien jeżisti qabel. Il-kumplament tal-bilanċ kellu jmur għall-akkwist ta’ kanuni tal-bronż għad-difiża tal-fortizza, jew għall-iġfna, jew għall-akkwista ta’ rigal “gioia” għall-Knisja Konventwali – il-Konkatidral ta’ San Ġwann.

Bejn it-13 ta’ Settembru 1702 u t-13 ta’ April 1719, il-Palazz inkera b’mod konġunt lil Fra Ottavio Zondadari, in-neputi tal-Papa Xandru VII. Zondadari kien elevat għal Gran Mastru fl-1720, u skont it-tradizzjoni, il-Palazz baqa’ r-residenza tiegħu sa mewtu.

Fl-1725 il-Papa Benedittu XIII ippreżenta lill-Gran Mastru Antonio de Vilhena bi “Stoc and Piliet”- (Xabla u Kappell), sinjal mogħti mill-Papa lill-Kapijiet tal-Istat. Billi din kienet l-ewwel darba li dan l-unur ingħata lil Gran Mastru, l-aħbar intlaqgħet b’ferħ kbir f’Malta u l-avveniment ġie ċċelebrat b’ċerimonja mill-aqwa. Il-Legat Papali, Mons. Giovanni Francesco Abbate Olivieri wasal f’Malta minn Leghornon fid-19 ta’ April abbord bastiment Franċiż, u ttieħed b’ħafna pompa lejn Palazzo Carneiro, li kien mgħammar b’mod grandjuż biex jakkomoda lil dan il-viżitatur distint.

Meta l-Gran Mastru Emanuel de Rohan istitwixxa l-Lega Anglo-Bavarjana, il-Palazz Carneiro kien ipprovdut biex jaqdi bħala l-Berġa tagħha. Il-Palazz ingħata lill-Kavallieri Anglo-Bavarjani għas-somma ta’ 20,000 scudo – inqas minn nofs il-valur reali tal-proprjetà. Il-Kavallieri Anglo-Bavarjani ġew fdati bid-difiża tas-Sur ta’ San Lazzru u l-Kap tagħhom kien il-Kmandant tal-Kavallerija u l-Gwardja Kostali.

Fl-1824, il-bini ngħata lill-Awtoritajiet Militari Brittaniċi li tawh lura lill-Gvern Malti wara li l-Gżira ta’ Malta ngħatat il-governanza awtonoma fl-1921.

Minkejja li ġarrab ħsarat matul it-Tieni Gwerra Dinjija, dawn kienu biss ħsarat żgħar u l-Palazz għadu fl-istat oriġinali tiegħu. Intuża bħala skola u aktar riċentement kien hemm għadd ta’ dipartimenti tal-gvern. L-Awtorità tal-Artijiet ilha tuża l-Berġa bħala l-bażi korporattiva tagħha minn meta twaqqaf id-Dipartiment fl-1997. Id-Direttorat tal-Artijiet preċedenti kien ilu fil-Berġa sa mill-1979.

Fl-2001 inbeda Proġett estensiv għar-Riabilitazzjoni tal-Berġa tal-Baviera sabiex il-bini jkun aktar adattat għall-ħtiġijiet funzjonali tal-Awtorità tal-Artijiet. Dan il-proġett twettaq taħt il-gwida tat-Unità tar-Restawr tat-Taqsima tax-Xogħlijiet u għandu l-mira li jikkonserva n-natura storika tal-bini.