Your SlideShare is downloading. ×

My master thesis

1,669

Published on

Master thesis title: Content-Based Image Retrieval through Texture, Color and Shape Analysis developed in MATLAB® language

Master thesis title: Content-Based Image Retrieval through Texture, Color and Shape Analysis developed in MATLAB® language

Published in: Technology, Business
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
1,669
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. Università degli Studi di Catania Facoltà di Ingegneria Corso di Laurea in Ingegneria Informatica G IANFRANCO P ACINO Content-Based Image Retrieval through Texture, Color and Shape Analysis Relatore: Chiar.ma Prof.ssa Ing. D. Giordano Correlatore: Ing. Francesco Maiorana Dipartimento di Ingegneria Informatica e delle Telecomunicazioni Anno Accademico 2005/06 TESI DI LAUREA
  • 2. Outline
    • Obiettivo
      • Realizzazione di un sistema CBIR (Content-Based Image Retrieval)
      • Campi di applicazione dei sistemi CBIR
    • Analisi del Colore
    • Analisi della Texture
    • Analisi della Forma
    • Applicazione Realizzata
    • Conclusioni
    • Sviluppi Futuri
    • Approcci utilizzati
  • 3. Introduzione
    • Feature Level : estrazione automatica di misure legate a caratteristiche percettive, quali texture, colore e forma, definite come “low-level features” dell’immagine.
    • Semantic Level : ricerca il cui scopo è quello di arrivare ad una forma di “comprensione” della scena osservata.
    • Affective Level : ricerca di sensazioni emotive presenti in un’immagine.
  • 4. Obiettivo L’obiettivo è la realizzazione di un sistema automatico, chiamato in letteratura CBIR (Content-Based Image Retrieval) per la ricerca delle immagini basata sul contenuto percettivo rappresentato dall’analisi delle caratteristiche (features) di basso livello di un’immagine quali texture, colore e forma. CBIR Estrazione features Estrazione features Estrazione features Immagine Database Immagini Features immagine Features database Confronto features Immagini Ritrovate
  • 5. Campi di applicazione dei sistemi CBIR Lo sviluppo sempre crescente di sistemi CBIR è giustificato dalla grande varietà di applicazioni alle quali questi sistemi si presentano come validi strumenti di supporto in svariati contesti quali, per esempio:
    • Prevenzione del crimine: sistemi di riconoscimento automatico di facce utilizzato dalle forze dell’ordine.
    • Controllo di sicurezza: impronte digitali e scansione della retina per accessi privilegiati.
  • 6. Campi di applicazione dei sistemi CBIR
    • Diagnosi mediche: CBIR che usano un database di immagini mediche per aiutare diagnosi identificando casi passati e simili.
    • Proprietà intellettuale: registrazione di marchi di immagine, con il marchio candidato confrontato con marchi già esistenti per evitare il rischio di registrazione di un marchio già esistente.
  • 7. Approcci utilizzati: Analisi della texture La texture è un prodotto del sistema visivo umano, che la associa a superfici che hanno caratteristiche di granularità, direzionalità e periodicità variabili. Granularità Direzionalità Periodicità La texture è una caratteristica locale di un’immagine che presenta proprietà di granularità, direzionalità e periodicità simili.
  • 8. Approcci utilizzati: Analisi della texture Approccio utilizzato: trasformazione spazio-frequenza dell’immagine tramite utilizzo della trasformata wavelet di Gabor e la rappresentazione multirisoluzione legata all’utilizzo di banchi di filtri. La trasformata wavelet di Gabor ha come peculiarità principale quella di poter realizzare una rappresentazione contemporanea delle caratteristiche nel dominio dello spazio e della frequenza. Data una immagine I(x,y) la sua trasformata wavelet di Gabor è definita come dove g mn rappresenta la wavelet di Gabor con m scale ed n orientamenti per poter così ottenere un banco di filtri. u 1 u 2     1 1 1 1 1 1 dy dx y y x x g y x I W mn mn ) , ( * ) , (
  • 9. Approcci utilizzati: Analisi della texture Effetto di un banco di filtri di Gabor applicato ad un’immagine. Parte reale Modulo m = 1 e n = 1 m = 4 e n = 6 L’immagine filtrata, così con un banco di filtri di Gabor permette di ottenere un vettore f delle caratteristiche, che rappresenterà le features estratte dalle textures dell’immagine, e servirà come misura di similarità con le features estratte dalle immagini appartenenti al database. Immagine da filtrare
  • 10. Approcci utilizzati: Il colore Nella Computer Graphics si utilizza il modello tricromatico, basato sull’idea che la somma in parti diverse di rosso, verde e blu (i tre colori fondamentali, detti primari ) possa generare l’intero spazio dei colori, tra i quali lo spazio RGB è il più utilizzato. Spesso l’analisi del colore in un’immagine viene fatta attraverso l’uso di istogrammi di colore che rappresentano la distribuzione del colore per ogni pixel dell’immagine, non prendendo però in considerazione informazioni spaziali.
  • 11. Approcci utilizzati: Il colore Approccio utilizzato: Vettori di coerenza di colore (Color Coherence Vector) Definendo con ( α j, β j ) la coppia coerente del j-esimo colore, con α j numero di pixel coerenti del colore j-esimo e β j il numero di pixel incoerenti, una volta fatta l’analisi del colore tramite il metodo CCV si ottiene un vettore GI: Il vettore GI rappresenterà le features del colore estratte dall’immagine, e servirà come misura di similarità con le features estratte dalle immagini appartenenti al database. CCV     n n GI     , ,..., , 1 1 
  • 12. Approcci utilizzati: Il colore Il calcolo dei vettori di coerenza di colore, viene fatto dopo un cambiamento di spazio di colore, dallo spazio di colore RGB allo spazio c1c2c3. Ogni immagine sulla quale sarà effettuata l’estrazione delle features relative all’analisi del colore sarà così elaborata: c1c2c3 CCV Spazio RGB Spazio c1c2c3
  • 13. Approcci utilizzati: La forma La descrizione della forma presuppone la segmentazione dell’immagine in regioni, con la rappresentazione della forma che può essere:
    • Boundary-Based: rappresentazione che utilizza solo il confine esterno della forma
    • Region-Based: rappresentazione che usa l’intera regione della forma per decriverla considerando le caratteristiche interne.
  • 14. Approcci utilizzati: La forma Approccio utilizzato: Boundary-Based tramite calcolo dei descrittori di Fourier (FD) Il contorno (visto come segnale discreto periodico complesso) è trasformato nel dominio delle frequenze mediante la trasformata discreta di Fourier (DFT) dove s(t), t=0,1…L-1, campionata in N punti, è la distanza dal centro di massa della forma di ogni punto del contorno, e R(n) e θ (n) sono il modulo e la fase di ogni coefficiente DFT e dove n = 0,1,2,…,N-1.          1 0 2 N t n j N n t j n e n R e t s FD ) ( ) ( ) (       2 2 c c y t y x t x t s     ) ( ) ( ) (     1 1 ) ( L t c t y y     1 1 ) ( L t c t x x
  • 15. Approcci utilizzati: La forma L’estrazione del vettore delle features nell’analisi della forma, considera prima il preprocessing dell’immagine per tracciare il contorno. Ottenuto il contorno dell’immagine si esegue la trasformata di Fourier della funzione che rappresenta il contorno e si ottiene il vettore delle features che servirà come misura di similarità con le features estratte dalle immagini appartenenti al database. Preprocessing dell’immagine
  • 16. Applicazione realizzata - IRTool
  • 17. Applicazione realizzata - IRTool IRTool QBE Ricerca eseguita considerando l’incidenza per il 50% della texture, 30% del colore e 20% della forma:
  • 18. Applicazione realizzata - IRTool IRTool QBE Ricerca eseguita considerando l’incidenza per il 50% della texture, 50% del colore:
  • 19. Conclusioni
    • VANTAGGI:
    • Semplicità: l’applicazione realizzata attraverso un’interfaccia grafica favorisce l’interattività dell’utente nell’effettuare le ricerche.
    • Versalitità: la possibilità di scegliere l’incidenza relativa ad una o più caratteristiche per la ricerca, fornisce uno strumento utile per poter vedere quale delle features (texture, colore e forma) influisce di più sulla precisione nella ricerca dell’immagine.
    • Modularità: possibilità di effettuare rapide modifiche ai singoli moduli di elaborazione oppure introdurre o sostituire interi moduli di elaborazione con semplice integrazione.
    • Robustezza : l’analisi congiunta di caratteristiche di texture, colore e forma permette la ricerca delle immagini con risultati veramente soddisfacenti.
    E’ stata realizzata un’applicazione software che realizza la ricerca delle immagini basata sul contenuto tramite analisi di texture, colore e forma.
  • 20. Sviluppi Futuri
    • Ampliamento del numero di metodi utilizzati per la ricerca delle caratteristiche di basso livello delle immagini.
    • Possibilità di ricercare immagini presenti in un sottoinsieme di un’altra immagine (quali per esempio oggetti, o parti dell’immagine stessa).
    Il sistema come dimostrato è perfettamente funzionante, comunque possibili sviluppi futuri del lavoro di tesi potranno riguardare:
    • Visual Concept Ontology: creazione di una ontologia ossia un insieme di concetti necessari per descrivere il contesto a cui appartengono le immagini, per ridurre il “semantic gap”.
    • Relevance Feedbak (RF): inserimento della tecnica di RF per la riduzione del “gap” esistente tra la rappresentazione di basso livello di un’immagine propria del calcolatore e la percezione della similarità propria dell’uomo.

×