Luca Del Tongo

1,093 views

Published on

Luca Del Tongo - Analisi e sviluppo di metodi per l'individuazione di manipolazioni Copy‐Move in applicazioni di Image Forensics

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,093
On SlideShare
0
From Embeds
0
Number of Embeds
373
Actions
Shares
0
Downloads
3
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Luca Del Tongo

  1. 1. Analisi e sviluppo di metodi per  lindividuazione di manipolazioni Copy‐Move  in applicazioni di Image Forensics Luca Del TongoRelatori CorrelatoriProf. Alberto Del Bimbo Dr. Irene AmeriniProf. Alessandro Piva Dr. Lamberto Ballan 15 Luglio 2011 Dr. Roberto Caldelli Dr. Giuseppe Serra UNIVERSITA’ DEGLI STUDI DI FIRENZE CORSO DI LAUREA INGEGNERIA INFORMATICA
  2. 2. Image ForensicsInsieme di tecniche volte ad analizzare la veridicità di immagini digitali, affinché il loro contenuto possa essere utilizzato come prova giuridica allinterno di unindagine forense.
  3. 3. Forgery DetectionLe varie tecniche di manipolazioni di immagine possono essere classificate in tre macro‐categorie:1.Fotoritocco.2.Composizione (Image Splicing).3.Duplicazione di regioni (Copy‐Move).
  4. 4. Forgery DetectionLe varie tecniche di manipolazioni di immagine possono essere classificate in tre macro‐categorie:1.Fotoritocco.2.Composizione (Image Splicing).3.Duplicazione di regioni (Copy‐Move). + =
  5. 5. Forgery DetectionLe varie tecniche di manipolazioni di immagine possono essere classificate in tre macro‐categorie:1.Fotoritocco.2.Composizione (Image Splicing).3.Duplicazione di regioni (Copy‐Move).
  6. 6. ObiettivoL’obiettivo del seguente lavoro di tesi consiste nello sviluppo di un metodo in grado di identificare e localizzare manipolazioni Copy‐Move effettuate su immagini digitali.
  7. 7. Copy‐Move Detection: tecniche letteratura1. Immagine in input suddivisa in blocchi sovrapposti.2. Estrazione features per ogni blocco (DCT, PCA, Zernike, etc.  ).3. Identificazione blocchi duplicati.
  8. 8. Copy‐Move Detection: tecniche letteratura1. Immagine in input suddivisa in blocchi sovrapposti.2. Estrazione features per ogni blocco (DCT, PCA, Zernike, etc.  ).3. Identificazione blocchi duplicati. MATRICE DELLE FEATURES f00 f01 f0k
  9. 9. Copy‐Move Detection: tecniche letteratura1. Immagine in input suddivisa in blocchi sovrapposti.2. Estrazione features per ogni blocco (DCT, PCA, Zernike, etc.  ).3. Identificazione blocchi duplicati. MATRICE DELLE FEATURES f00 f01 f0k f10 f11 f1k f20 f21 f2k f30 f31 f3k f40 f41 f4k . . . . . . . . . . . . .  . . . . . . . . . . . . .  . . . . . . . . . . . . .  fn0 fn1 fnk
  10. 10. Copy‐Move Detection: tecniche letteratura1. Immagine in input suddivisa in blocchi sovrapposti.2. Estrazione features per ogni blocco (DCT, PCA, Zernike, etc.  ).3. Identificazione blocchi duplicati. MATRICE DELLE FEATURES ORDINATA f30 f31 f3k fn0 fn1 fnk f20 f21 f2k f40 f41 f4k f00 f01 f0k . . . . . . . . . . . . .  . . . . . . . . . . . . .  . . . . . . . . . . . . .  f10 f11 f1k
  11. 11. Copy‐Move Detection: tecniche letteratura1. Immagine in input suddivisa in blocchi sovrapposti.2. Estrazione features per ogni blocco (DCT, PCA, Zernike, etc.  ).3. Identificazione blocchi duplicati.LIMITAZIONI• Elevata complessità computazionale.• Scarsa robustezza rispetto alle tipiche operazioni di  manipolazione copy‐move: scala, rotazione, blur etc..• Elevata presenza di falsi allarmi.
  12. 12. Copy‐Move Detection: Amerini et Al. TIFS 2011 1. Estrazione SIFT features. 2. Matching descrittori SIFT. 3. Clustering keypoints duplicati. Matching  Clustering  Descrittori SIFT Keypoints
  13. 13. Copy‐Move Detection: Amerini et Al. TIFS 2011 1. Estrazione SIFT features. 2. Matching descrittori SIFT. 3. Clustering keypoints duplicati. CARATTERISTICHE • Robusto rispetto alle tipiche operazioni di manipolazione  copy‐move: scala, rotazione, etc. Matching  Clustering  • Il criterio di matching identifica solamente una singola copia  Descrittori SIFT Keypoints di un oggetto duplicato. • Problemi di identificazione per regioni duplicate vicine.
  14. 14. Copy‐Move Detection: approccio propostoSupera le principali limitazioni del precedente lavoro di Amerini et al. introducendo:•Nuovo criterio di matching descrittori SIFT (g2NN).•Nuove tecniche di clustering keypoints.•Localizzazione regioni duplicate.
  15. 15. Matching g2NN• Generalizzazione matching 2NN in grado di identificare molteplici copie dello  stesso descrittore (copy‐move multiplo).
  16. 16. Matching g2NN• Generalizzazione matching 2NN in grado di identificare molteplici copie dello  stesso descrittore (copy‐move multiplo).
  17. 17. Matching g2NN• Generalizzazione matching 2NN in grado di identificare molteplici copie dello  stesso descrittore (copy‐move multiplo). 1NN Matching 2NN 2NN QUERY 1NN 2NN distance distance ratio 1 ratio 2
  18. 18. Matching g2NN• Generalizzazione matching 2NN in grado di identificare molteplici copie dello  stesso descrittore (copy‐move multiplo). 1NN Matching 2NN 3NN QUERY 1NN 2NN 3NN 2NN distance distance distance ratio 1 Matching g2NN ratio 2 ratio 3
  19. 19. Clustering• DBSCAN – Metodo basato sulla densità spaziale dei punti. – Stima automatica dei parametri di clustering. – Clusters non identificati per copie di oggetti vicini.• DBSCAN Vincolato – Metodo semi‐supervisionato basato sulla densità spaziale dei punti. – Stima automatica dei parametri di clustering. – Clusters non correttamente identificati per copie di oggetti vicini.• J‐Linkage – Metodo operante nello spazio delle trasformazioni affini. – Clusters correttamente identificati per copie di oggetti vicini.
  20. 20. DBSCAN vincolato• Clustering semi‐supervisionato basato sulla densità e su di un  insieme di vincoli che guidano il processo di clustering: – Vincoli cannot‐link definiti tra i punti duplicati identificati durante la  fase di matching. VINCOLO CANNOT‐LINK
  21. 21. J‐Linkage• Clustering eseguito nello spazio delle trasformazioni affini: 1. K selezioni di 3 matches e calcolo delle relative trasformazioni  affini.
  22. 22. J‐Linkage• Clustering eseguito nello spazio delle trasformazioni affini: 1. K selezioni di 3 matches e calcolo delle relative trasformazioni  affini.
  23. 23. J‐Linkage• Clustering eseguito nello spazio delle trasformazioni affini: 1. K selezioni di 3 matches e calcolo delle relative trasformazioni  affini. T1
  24. 24. J‐Linkage• Clustering eseguito nello spazio delle trasformazioni affini: 1. K selezioni di 3 matches e calcolo delle relative trasformazioni  affini. T2
  25. 25. J‐Linkage• Clustering eseguito nello spazio delle trasformazioni affini: 1. K selezioni di 3 matches e calcolo delle relative trasformazioni  affini. Tk
  26. 26. J‐Linkage• Clustering eseguito nello spazio delle trasformazioni affini: 1. K selezioni di 3 matches e calcolo delle relative trasformazioni  affini. 2. Punti di match rappresentati nello spazio binario K‐ dimensionale definito dalle trasformazioni calcolate in  precedenza.
  27. 27. J‐Linkage• Clustering eseguito nello spazio delle trasformazioni affini: 1. K selezioni di 3 matches e calcolo delle relative trasformazioni  affini. 2. Punti di match rappresentati nello spazio binario K‐ dimensionale definito dalle trasformazioni calcolate in  precedenza. 3. Clustering gerarchico agglomerativo dei matches nel nuovo  spazio delle trasformazioni.
  28. 28. J‐Linkage• Clustering eseguito nello spazio delle trasformazioni affini: 1. K selezioni di 3 matches e calcolo delle relative trasformazioni  affini. 2. Punti di match rappresentati nello spazio binario K‐ dimensionale definito dalle trasformazioni calcolate in  precedenza. 3. Clustering gerarchico agglomerativo dei matches nel nuovo  spazio delle trasformazioni.• I matches appartenenti allo stesso cluster condividono una  trasformazione affine.
  29. 29. Clustering: regioni duplicate vicineIMMAGINE INPUT MANIPOLATA DBSCANDBSCAN‐VINCOLATO J‐LINKAGE K=120
  30. 30. Localizzazione regioni duplicate
  31. 31. Localizzazione regioni duplicate
  32. 32. Localizzazione regioni duplicate
  33. 33. Localizzazione regioni duplicate
  34. 34. Risultati sperimentali: DB‐1982• Dataset composto da 440 immagini originali e 160 immagini  manipolate (copie multiple, copie vicine, copie scalate e ruotate).• Valutazione accuratezza di identificazione: TPR, FPR.• Valutazione accuratezza localizzazione: Pixel Falsi Positivi (FP),  Pixel Falsi Negativi (FN). IDENTIFICAZIONE TPR % FPR % LOCALIZZAZIONE FP % FN % DBSCAN 71,7 5,6 DBSCAN 0,2 12,7 DBSCAN VINCOLATO 88,1 31,3 DBSCAN VINCOLATO 0,3 7,9 J‐LINKAGE 82 9,7 J‐LINKAGE 0,3 5,5 Amerini TIFS 2011 69 12,5
  35. 35. Risultati sperimentali: SATS‐130• Confronto con le tecniche stato dell’arte.• Dataset composto da 130 immagini manipolate (assenza di  manipolazioni affini).• Valutazione accuratezza localizzazione: Pixel Falsi Positivi (FP),  Pixel Falsi Negativi (FN). LOCALIZZAZIONE FP % FN % LOG‐POLAR 4 96 CIRCLE‐BLOCK 24 66 ZERNIKE 0,4 88 APPROCCIO PROPOSTO 0,8 14
  36. 36. Conclusioni e sviluppi futuri• Sviluppo metodo di copy‐move detection: – Robusto a manipolazioni geometriche. – Robusto a copie multiple dello stesso oggetto. – In grado di localizzare accuratamente le eventuali regioni duplicate.• Articolo ICME 2011 – I. Amerini, L. Ballan, R. Caldelli, A. Del Bimbo, L. Del Tongo, and G. Serra, "An  image forensics tool for copy‐move detection and localization", ICME 2011  Barcelona Spain 11‐15 July 2011.• Sviluppi futuri: – Integrazione con altre tecniche di image forensics applicate nelle zone  a bassa tessitura.
  37. 37. Analisi e sviluppo di metodi per  lindividuazione di manipolazioni Copy‐Move  in applicazioni di Image Forensics Luca Del TongoRelatori CorrelatoriProf. Alberto Del Bimbo Dr. Irene AmeriniProf. Alessandro Piva Dr. Lamberto Ballan 15 Luglio 2011 Dr. Roberto Caldelli Dr. Giuseppe Serra UNIVERSITA’ DEGLI STUDI DI FIRENZE CORSO DI LAUREA INGEGNERIA INFORMATICA

×