Master thesis title: Content-Based Image Retrieval through Texture, Color and Shape Analysis developed in MATLAB® language

1. Università degli Studi di Catania Facoltà di Ingegneria Corso di Laurea in Ingegneria Informatica G IANFRANCO P ACINO Content-Based Image Retrieval through Texture, Color and Shape Analysis Relatore: Chiar.ma Prof.ssa Ing. D. Giordano Correlatore: Ing. Francesco Maiorana Dipartimento di Ingegneria Informatica e delle Telecomunicazioni Anno Accademico 2005/06 TESI DI LAUREA

4. Obiettivo L’obiettivo è la realizzazione di un sistema automatico, chiamato in letteratura CBIR (Content-Based Image Retrieval) per la ricerca delle immagini basata sul contenuto percettivo rappresentato dall’analisi delle caratteristiche (features) di basso livello di un’immagine quali texture, colore e forma. CBIR Estrazione features Estrazione features Estrazione features Immagine Database Immagini Features immagine Features database Confronto features Immagini Ritrovate

7. Approcci utilizzati: Analisi della texture La texture è un prodotto del sistema visivo umano, che la associa a superfici che hanno caratteristiche di granularità, direzionalità e periodicità variabili. Granularità Direzionalità Periodicità La texture è una caratteristica locale di un’immagine che presenta proprietà di granularità, direzionalità e periodicità simili.

8. Approcci utilizzati: Analisi della texture Approccio utilizzato: trasformazione spazio-frequenza dell’immagine tramite utilizzo della trasformata wavelet di Gabor e la rappresentazione multirisoluzione legata all’utilizzo di banchi di filtri. La trasformata wavelet di Gabor ha come peculiarità principale quella di poter realizzare una rappresentazione contemporanea delle caratteristiche nel dominio dello spazio e della frequenza. Data una immagine I(x,y) la sua trasformata wavelet di Gabor è definita come dove g mn rappresenta la wavelet di Gabor con m scale ed n orientamenti per poter così ottenere un banco di filtri. u 1 u 2     1 1 1 1 1 1 dy dx y y x x g y x I W mn mn ) , ( * ) , (

9. Approcci utilizzati: Analisi della texture Effetto di un banco di filtri di Gabor applicato ad un’immagine. Parte reale Modulo m = 1 e n = 1 m = 4 e n = 6 L’immagine filtrata, così con un banco di filtri di Gabor permette di ottenere un vettore f delle caratteristiche, che rappresenterà le features estratte dalle textures dell’immagine, e servirà come misura di similarità con le features estratte dalle immagini appartenenti al database. Immagine da filtrare

10. Approcci utilizzati: Il colore Nella Computer Graphics si utilizza il modello tricromatico, basato sull’idea che la somma in parti diverse di rosso, verde e blu (i tre colori fondamentali, detti primari ) possa generare l’intero spazio dei colori, tra i quali lo spazio RGB è il più utilizzato. Spesso l’analisi del colore in un’immagine viene fatta attraverso l’uso di istogrammi di colore che rappresentano la distribuzione del colore per ogni pixel dell’immagine, non prendendo però in considerazione informazioni spaziali.

11. Approcci utilizzati: Il colore Approccio utilizzato: Vettori di coerenza di colore (Color Coherence Vector) Definendo con ( α j, β j ) la coppia coerente del j-esimo colore, con α j numero di pixel coerenti del colore j-esimo e β j il numero di pixel incoerenti, una volta fatta l’analisi del colore tramite il metodo CCV si ottiene un vettore GI: Il vettore GI rappresenterà le features del colore estratte dall’immagine, e servirà come misura di similarità con le features estratte dalle immagini appartenenti al database. CCV     n n GI     , ,..., , 1 1 

12. Approcci utilizzati: Il colore Il calcolo dei vettori di coerenza di colore, viene fatto dopo un cambiamento di spazio di colore, dallo spazio di colore RGB allo spazio c1c2c3. Ogni immagine sulla quale sarà effettuata l’estrazione delle features relative all’analisi del colore sarà così elaborata: c1c2c3 CCV Spazio RGB Spazio c1c2c3

14. Approcci utilizzati: La forma Approccio utilizzato: Boundary-Based tramite calcolo dei descrittori di Fourier (FD) Il contorno (visto come segnale discreto periodico complesso) è trasformato nel dominio delle frequenze mediante la trasformata discreta di Fourier (DFT) dove s(t), t=0,1…L-1, campionata in N punti, è la distanza dal centro di massa della forma di ogni punto del contorno, e R(n) e θ (n) sono il modulo e la fase di ogni coefficiente DFT e dove n = 0,1,2,…,N-1.          1 0 2 N t n j N n t j n e n R e t s FD ) ( ) ( ) (       2 2 c c y t y x t x t s     ) ( ) ( ) (     1 1 ) ( L t c t y y     1 1 ) ( L t c t x x

15. Approcci utilizzati: La forma L’estrazione del vettore delle features nell’analisi della forma, considera prima il preprocessing dell’immagine per tracciare il contorno. Ottenuto il contorno dell’immagine si esegue la trasformata di Fourier della funzione che rappresenta il contorno e si ottiene il vettore delle features che servirà come misura di similarità con le features estratte dalle immagini appartenenti al database. Preprocessing dell’immagine

16. Applicazione realizzata - IRTool

17. Applicazione realizzata - IRTool IRTool QBE Ricerca eseguita considerando l’incidenza per il 50% della texture, 30% del colore e 20% della forma:

18. Applicazione realizzata - IRTool IRTool QBE Ricerca eseguita considerando l’incidenza per il 50% della texture, 50% del colore: