Seminario di Cultura Digitale - mercoledì 22 marzo 2017 - Aula Seminari EST - Dip. di Informatica - Università di Pisa Vincenzo Palleschi (Istituto di Chimica dei Composti Organometallici - CNR) Tecniche di Blind Source Separation per il Recupero di Informazioni Nascoste in Manoscritti, Opere d'Arte, Reperti Archeologici In un manoscritto, un'opera d'arte, un'iscrizione, possono nascondersi delle informazioni non visibili all'occhio, perché cancellate, sovrascritte o coperte in maniera intenzionale oppure in conseguenza del degrado prodotto dal tempo. Le tecniche di Blind Source Separation sono strumenti matematici sviluppati per separare segnali sovrapposti di caratteristiche diverse. Queste tecniche sono utilizzate nell'analisi di segnali (tipicamente acustici) per eliminare rumori o evidenziare deboli segnali; nel campo dell'analisi di immagine, partendo da un set di immagini acquisito in bande spettrali diverse (l'esempio più semplice sono le tre componenti RGB di un'immagine a colori) è possibile ricavare una serie di immagini diverse che spesso permettono di migliorare la leggibilità di caratteristiche non altrimenti visibili (firme, testi cancellati, dettagli ormai invisibili...). In questo seminario saranno presentate le basi teoriche di queste tecniche, gli strumenti informatici per implementarle e alcuni esempi della loro applicazione (Il Palinsesto di Archimede, La Firma nello Specchio di un quadro del XVIII secolo, Le Figure Rosse della Tomba etrusca della Scimmia di Chiusi). http://www.alslab.net

1. Tecniche di Blind Source Separation
per il Recupero di Informazioni
Nascoste in Manoscritti, Opere
d'Arte, Reperti Archeologici
Vincenzo Palleschi
Consiglio Nazionale delle Ricerche, Pisa
Università degli Studi di Pisa
Università di Torino
Seminario di Cultura Digitale, 22 marzo 2017

2. Imaging Multispettrale
Il termine "imaging multispettrale" indica quelle
tecniche digitali di ricostruzione di immagine che
si propongono di riprodurre (ed estendere) il
meccanismo della visione umana

3. Il meccanismo della visione
´ La radiazione luminosa nell’occhio
umano attiva in maniera diversa tre
tipi di recettori (coni) della retina
´ Come conseguenza di questo,
l’occhio percepisce lunghezze
d’onda diverse come colori diversi,
attraverso l’elaborazione dei 3 valori
di tristimolo provenienti dai coni

4. Imaging Digitale
´ Il sistema di imaging più semplice
(e diffuso) è quello delle macchine
fotografiche digitali
´ I sensori elettronici delle macchine
digitali non sono di per sé sensibili al
colore
´ La ricostruzione del colore avviene
tipicamente attraverso
l’interposizione di un sistema di
micro-filtri colorati davanti al
sensore
Il filtro ‘Bayer’

5. Imaging Digitale
´ Su un sensore CCD da 24 Mpixel vengono rilevati 6
Mpixel di rosso, 6 Mpixel di blu e 12 Mpixel di verde
´ Il verde è il colore al quale l’occhio umano è più
sensibile, e quindi viene campionato al doppio della
risoluzione.

6. Sistemi a Filtro Variabile
´ Macchina fotografica digitale simile ad una macchina fotografica
convenzionale
´ La selezione spettrale è effettuata attraverso l’interposizione di
opportuni filtri di fronte all’obiettivo o tra l’obiettivo e il sensore

8. Oltre il visibile
´ La banda di ‘colore’ al di sopra dei 700/750 nm non è
percepita dall’occhio umano, ma può essere registrata
dai sensori CCD (Charge-Coupled Devices) che si usano
per l’imaging multispettrale visibile
300 400 500 600 700 800 900 1000 1100 1200
0.01
0.1
1
Relativeefficiency
Wavelength λ nm

9. Dipendenza dalla lunghezza d'onda
Radiazioni di lunghezza d'onda differente hanno diverse profondità di
penetrazione al di sotto della superficie
La componente riflessa a lunghezze d'onda corte (ultravioletto/blu) in genere
fornisce informazioni sulla struttura della superficie, mentre quella nell’infrarosso
può rivelare la struttura del dipinto al di sotto dello strato pittorico

10. Agnolo Bronzino – La pietà
Olio su tavola cm 223x84,5 in
tabernacolo ligneo policromo
e dorato cm 323x126x38
Firmata e datata
ANGELUS
BRONZINUS. 1569
FLOR. FAC.

11. La pietà del Bronzino

12. La pietà del Bronzino

13. La pietà del Bronzino

14. Tomba della Scimmia

17. arenaria
argilla
colore

19. Imaging Infrarosso

20. FIGURE ROSSE

21. Imaging Infrarosso

22. Altra figura

23. Immagine IR

24. Andamento IR
850 nm 950 nm
1050 nm

25. Andamento IR
1050 nm
Per ottenere un
aumento della
leggibilità
dell’immagine è
importante avere una
buona risoluzione
spettrale nell’IR Immagine nella banda
complessiva tra 850 e
1050 nm (simulata)

26. ELABORAZIONE DELLE IMMAGINI
MULTISPETTRALI

27. Ipercolori
´ In un’immagine RGB, ogni pixel è associato ad un colore, con tre
coordinate corrispondenti alle componenti Blu, Verde e Rossa
´ Si può immaginare che ad ogni pixel sia associato un vettore con
quelle componenti

28. Colori vicini e colori lontani
G
R
B
G
R
B
Ø La distanza tra due colori si può misurare calcolando l’angolo tra i due vettori che li
rappresentano, piuttosto che la distanza cartesiana tra i due punti che individuano
Ø Infatti, i due punti possono essere anche molto distanti tra loro ma se l’angolo che fanno è
piccolo, praticamente corrispondono a sfumature dello stesso ‘colore’

29. Ipercolori
´ Cosa succede se abbiamo più di tre bande spettrali?
´ Succede che ad ogni pixel sarà associato un vettore con più di tre
componenti
´ Anche se non riusciamo a visualizzare questo vettore in uno spazio a
tre dimensioni, tutti i teoremi matematici che valgono per i vettori
tridimensionali sono allo stesso modo validi per i vettori con più di tre
dimensioni

30. Individuazione di zone con colori ‘simili’
´ Se si hanno a disposizione più di tre bande di colore,
nelle nostre immagini si possono individuare delle zone
caratterizzate da (iper)colori vicini, andando a marcare
i punti distanti meno di un certo valore da un (iper)
colore di riferimento
´ Tanto minore è la distanza di ‘soglia’ per definire la
similitudine tra i colori, tanto più sarà selettiva la
procedura
´ Imponendo un criterio di similitudine troppo ristretto, si
corre il rischio di considerare come diverse sfumature di
colore simili

31. Immagini rosse – Tomba della Scimmia

32. TRATTAMENTI STATISTICI

33. Elaborazione di gruppi di immagini
Un insieme di immagini multispettrale può essere elaborato per
evidenziare particolari altrimenti non immediatamente visibili o
migliorare la leggibilità del soggetto applicando il principio di
separazione statistica delle immagini
L’idea è quella di considerare le n immagini multispettrali (pari alle
bande di ‘colore’ considerate) come la sovrapposizione di altre n
immagini ‘indipendenti’, ognuna corrispondente a una caratteristica
fisica (substrato, strato pittorico, danneggiamenti superficiali,
‘underdrawing’, ecc…)
Gli algoritmi di separazione tentano di ‘estrarre’ le immagini
indipendenti, attraverso una combinazione lineare delle immagini
multispettrali originarie

34. Il problema del cocktail party
L'esempio classico che si utilizza per spiegare le tecniche di separazione statistica è il
cosiddetto 'problema del cocktail party'…
Con opportuni algoritmi di elaborazione del segnale, si possono isolare le singole
conversazioni, riducendo i rumori di fondo, riverberi, ecc…

35. Trattamenti Statistici
G
B
R
Separazione
nelle 3 componenti
di colore (RGB)

36. Trattamenti Statistici
Separazione
RGB
R
G
B

37. Ortogonalizzazione
Rotazione
nello spazio
delle
coordinate di
colore

38. Trattamento statistico delle immagini
Si cerca una serie di combinazioni lineari (somme e
differenze) di tutte le immagini multispettrali, nel nostro
caso 4 (IR,R,G,B), che massimizzi la differenza o
l’indipendenza statistica delle immagini risultanti.
Si possono determinare degli algoritmi che non richiedono
un intervento esterno e che per questo sono detti:
BLIND SOURCE SEPARATION METHODS

39. Il Palinsesto di Archimede
La pergamena originale, nella
quale erano trascritte alcune opere
di Archimede, risale al X secolo.
Nel XIII secolo la pergamena fu
cancellata per sovrascrivervi un
testo di preghiere.
Nel 1998 il palinsesto è stato
venduto all'asta presso Christie's e
acquistato da un anonimo
americano (Mr. B.).
Da allora è iniziato un lungo lavoro
di recupero del testo delle opere
Archimede con l'uso di imaging
multispetrale, raggi X e luce di
sincrotrone.

40. Palinsesto di Archimede

41. Palinsesto di Archimede

42. Le lettere della Contessa d’Albany

43. Lettura di immagini ‘nascoste’
Opera di artista
sconosciuto, all’interno
dello specchio si
intuisce la presenza di
una scritta nascosta

44. Lettura di immagini ‘nascoste’
B G
R IR

45. Lettura di immagini ‘nascoste’
ANNO
MDCCL
XXXIX
RIVA

46. Tomba della Scimmia - Chiusi

47. Oggi
Aumento di leggibilità con la sola banda IR
Angelelli
(1847)
D'Alessandris
(1905)
Gatti
(1911)
Bianchi Bandinelli
(1939)

48. Aumento di leggibilità con BST

49. Aumento di leggibilità con BST
Analysis of Multispectral Images in Cultural Heritage and Archaeology,
J.Appl.Las.Spectrosc.1 (2014) 23–28

50. Figura a sinistra
IR
Angelelli
(1847)
D'Alessandris
(1905)
Gatti
(1911)
Bianchi Bandinelli
(1939)

51. Altre figure

52. Altre figure
GB R IR
In
questo
caso
non
si
ha
nessun
miglioramento
di
leggibilità
passando
dal
visibile
all’infrarosso

53. Trattamento statistico delle immagini
GB R IR

54. Confronto con disegni d’epoca