Gli 8.500 blocchi di marmo progettato da Biagio Rossetti per Sigismondo d'Este, vengono colpiti durante i bombardamenti del 5 giugno del 1944, assieme a S. Maurelio dei Cappuccini, S. Maria Nuova, S. Maria dei Servi e Collegio di Sant’Orsola, S. Caterina Vegri, Palazzo Mazzucchi, l’Orfanotrofio delle Stimmatine e molti altri. Le bombe distruggono l’ala del palazzo dove era conservato il Polittico dei Costabili che poi necessiterà di restauro delle tavole e della cornice.
Solo il bombardamento del 28 gennaio 1944 ha prodotto danni architettonici maggiori a quello del 5 giugno.