Fu costruito nel XVI secolo dalla famiglia nobiliare De Marchis, ma nel XVII secolo fu venduto ai Caetani, già proprietari del castello e di numerosi altri edifici del centro storico che ne fecero un uso abitativo, specialmente nel XIX secolo, preferendo alloggiare in quelle stanze piuttosto che nel freddo e decadente Castello.
Gran parte degli affreschi sono stati coperti nel 1871, quando fu costituita la Congregazione di Carità con scopi assistenziali e benefici, per conservarne l’integrità. All’interno dell’edificio fu ospitata anche la Scuola Pia, per l’istruzione femminile, gestita dalle suore “Figlie di S. Anna”, che venne chiusa nel 1879.
Nel 1914 fu istituito l’asilo Ada Caetani, destinato ai figli degli agricoltori poveri dai 2 ai 6 anni e ai bambini colpiti da malaria, che è rimasto attivo fino al 1979, quando il palazzo fu oggetto di lavori di consolidamento.
Nel salone nobile si trovano un soffitto ligneo a cassettoni e decorazioni affrescate alle pareti, tutti del XVII secolo.
Dal 2004 il Palazzo ospita il Museo della Ceramica, un viaggio dalla preistoria al 1900 con circa trecento reperti di varia fattura e di varie epoche, e una mostra di reperti archeologici provenienti dalla vicina Necropoli di Caracupa. Il Palazzo è stato set di numerosi film a tema rinascimentale e ottocentesco.