Per Mª Pia Muñoz Trallero
Tutors:
Xavier Giró
Xavier Vives
Escola d’Enginyeria de Terrassa (EET) – Juny 2010
 Introducció
 Requeriments
 Estat de l’art
 Disseny i resultats
 Eina global
 Digitrace
 Entorn de desenvolupament
...
Digitalització
Emmagatzematge
Recuperació
Introducció
3
Continguts audiovisuals
Cerques
textuals ?
Proposta: tècniques de ...
Introducció
4
Precedent:
Ramon Salla 2009, Aplicació Rica d’Internet per a la consulta amb text i imatge
al repositori de ...
Requeriments:
5
els continguts audiovisuals
s’emmagatzemen formant
assets
Requeriments
els keyframes són imatges clau
que ...
Requeriments
Eines precedents: Digition
6
Material
audiovisual
digitalitzat
Cerca
d’assets
Descriptors
textuals
/ 31
Eines precedents: Digimatge
7Requeriments
Consultes
textuals
Consultes
per imatges
similars
Cerca
d’assets i
imatges
Ramon...
Requeriments
Eines precedent:
Detector de text
8
Cerca de text a dins d’una imatge
/ 31
Requeriments
Integració i millores:
La CCMA demana una eina multimodal que integri les funcionalitats presentades:
9
Detec...
Requeriments
Integració i millores:
10
Digimatge:
Aquest projecte neix amb la finalitat d’assolir
les mancances del Digima...
Objectius
11Requeriments
Digition:
Integració d’una
interfície multimodal
Digitrace:
Interfície Gràfica d’Usuari
per a la ...
Estat de l’art
12Estat de l’art
Consultes mitjançant exemple - Content-based Image Retrieval
Imatge exemple:
Estudi del
co...
Sistema CBIR: Eines
13Estat de l’art
Indexador: Cercador:
• Analitza tota la col·lecció
d’imatges i vídeos
• Ingesta metad...
Cercadors que incorporen consultes
basades en el contingut visual
IMARS CALIPH & EMIR
Eina comercial proposada per IBM Pro...
Sistema CBIR per consultes amb regions
15Estat de l’art / 31
Entorn web Entorn d’escriptori
Accessible Instal·lació prèvia
Segmentació manual Segmentació asistida
Segmentació interact...
Segmentació interactiva:
17Estat de l’art
Nom de la tècnica SRG1 SIOX2 BPT3
Grau d'interacció Alt Mitjà Baix
Descriptor Co...
Disseny
Disseny: eina global
18
S’ha decidit fer una integració jeràrquica de totes les eines a l’entorn del Digition
Digi...
Disseny
Digitrace: Interfície gràfica
19
Mòdul principal
Menú
de
mode
Menú
de
configuració
Imatge
+
màscara
Botó
de
cerca
...
Disseny
Digitrace: Segmentació interactiva
20
Mode
rectangle:
1. Rectangle: Objecte
2. Punts: selecció o deselecció de reg...
Disseny
Digitrace: Segmentació interactiva
21
Proposta per arbres binaris de particions (BPT):
/ 31
Disseny
Digitrace: Segmentació interactiva
22
• Punt fort: marcadors únicament d’objecte.
• Distingim dos criteris de prop...
Disseny
Digitrace: Definició de modes
23
Rectangle sense expansió Rectangle amb expansió
Traça sense expansió Traça amb ex...
Arquitectura modular
Cloud computing
Protocol HTTP
Entorn de desenvolupament
Entorn de desenvolupament:
24 / 31
Entorn de desenvolupament
Crides: Consultes per regió
25
Crida getQbE Mètode HTTP Paràmetres
d'entrada
Paràmetres
de sorti...
Entorn de desenvolupament
Entorn de desenvolupament:
 Marc de desenvolupament: Adobe Flex
 Llenguatges de programació: M...
Disseny de les
interfícies:
- Digitrace
- Mòdul keyframes
Implementació
amb Flex de les
interfícies
Disseny dels
modes de
...
Conclusions
Conclusions:
28
 Requeriments assolits:
 Interfície multimodal
 Integració del Digitrace
 Descriptors visu...
Conclusions
Conclusions:
29
 Conclusions de l’avaluació dels modes de segmentació proposats:
 El mode traça resulta útil...
Conclusions
Treball futur:
30
 A curt termini:
 Incorporació de la màscara utilitzada en la cerca i dels resultats
 Din...
Gràcies per la
vostra atenció
Alguna
pregunta?
Conclusions
Exemples:
32
Millores al Digimatge:
Mòdul de keyframes del Digition
33Resultats
Millores al Digimatge:
Detector de text i Descriptors visuals
34Resultats
Millores al Digimatge: Digitrace
35Resultats
Upcoming SlideShare
Loading in …5
×

Extensió d'una interfície de cerca d'imatges a les consultes amb regions

228 views

Published on

BSc thesis by Pia Muñoz Tralero at UPC-CCMA (May 2010).

More info: https://imatge.upc.edu/web/publications/extensio-duna-interficie-de-cerca-dimatges-les-consultes-amb-regions

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
228
On SlideShare
0
From Embeds
0
Number of Embeds
19
Actions
Shares
0
Downloads
2
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Extensió d'una interfície de cerca d'imatges a les consultes amb regions

  1. 1. Per Mª Pia Muñoz Trallero Tutors: Xavier Giró Xavier Vives Escola d’Enginyeria de Terrassa (EET) – Juny 2010
  2. 2.  Introducció  Requeriments  Estat de l’art  Disseny i resultats  Eina global  Digitrace  Entorn de desenvolupament  Conclusions Índex 2Índex / 31
  3. 3. Digitalització Emmagatzematge Recuperació Introducció 3 Continguts audiovisuals Cerques textuals ? Proposta: tècniques de processat de la imatge Introducció / 31
  4. 4. Introducció 4 Precedent: Ramon Salla 2009, Aplicació Rica d’Internet per a la consulta amb text i imatge al repositori de vídeos de la Corporació Catalana de Mitjans Audiovisuals Idea principal: “Recuperació d’imatges a partir d’una idea” Projecte universitat – empresa situat en el marc d’un projecte estatal: Introducció / 31
  5. 5. Requeriments: 5 els continguts audiovisuals s’emmagatzemen formant assets Requeriments els keyframes són imatges clau que s’extreuen del vídeo / 31
  6. 6. Requeriments Eines precedents: Digition 6 Material audiovisual digitalitzat Cerca d’assets Descriptors textuals / 31
  7. 7. Eines precedents: Digimatge 7Requeriments Consultes textuals Consultes per imatges similars Cerca d’assets i imatges Ramon Salla, 2009 / 31
  8. 8. Requeriments Eines precedent: Detector de text 8 Cerca de text a dins d’una imatge / 31
  9. 9. Requeriments Integració i millores: La CCMA demana una eina multimodal que integri les funcionalitats presentades: 9 Detecció de text Consultes mitjançant imatge Consultes textuals Cerca d’imatges mitjançant regions Digition Digimatge Detector de text Incorporació d’una nova eina / 31
  10. 10. Requeriments Integració i millores: 10 Digimatge: Aquest projecte neix amb la finalitat d’assolir les mancances del Digimatge i estendre les cerques per imatge a cerques per regió UPSeek: L’eina s’ha de comunicar amb el mòdul de la UPC que s’encarrega del processat de la imatge i de retornar els resultats de la cerca. Descriptors: L’eina ha de permetre configurar els pesos de cadascun dels descriptors visuals en les cerques tant per imatge global com per regió. / 31
  11. 11. Objectius 11Requeriments Digition: Integració d’una interfície multimodal Digitrace: Interfície Gràfica d’Usuari per a la cerca d’imatges mitjançant regions / 31
  12. 12. Estat de l’art 12Estat de l’art Consultes mitjançant exemple - Content-based Image Retrieval Imatge exemple: Estudi del contingut visual Sistema CBIR: Comparació contra la base de dades Resultat: Imatges similars / 31
  13. 13. Sistema CBIR: Eines 13Estat de l’art Indexador: Cercador: • Analitza tota la col·lecció d’imatges i vídeos • Ingesta metadades a la base de dades • Interfície gràfica d’usuari • Permet navegar i fer consultes sobre la col·lecció / 31
  14. 14. Cercadors que incorporen consultes basades en el contingut visual IMARS CALIPH & EMIR Eina comercial proposada per IBM Projecte de codi lliure ACM Multimedia Open Soure Competition 2009 14Estat de l’art / 31
  15. 15. Sistema CBIR per consultes amb regions 15Estat de l’art / 31
  16. 16. Entorn web Entorn d’escriptori Accessible Instal·lació prèvia Segmentació manual Segmentació asistida Segmentació interactiva: Interfícies 16Estat de l’art IST: GIMP: Squigl: Label Me: / 31
  17. 17. Segmentació interactiva: 17Estat de l’art Nom de la tècnica SRG1 SIOX2 BPT3 Grau d'interacció Alt Mitjà Baix Descriptor Color Color Color, textura, dispersió, ... Comparativa de tècniques de segmentació asistida 1. Adams i Bischof - Adobe Photoshop 2. Gerald Friedland - GIMP 3. Luis Garrido, UPC - Clients UPSeek (GAT i GOS) / 31
  18. 18. Disseny Disseny: eina global 18 S’ha decidit fer una integració jeràrquica de totes les eines a l’entorn del Digition Digition Mòdul de visualització de keyframes Digimatge Cerca per imatge Cerca per regió Detecció de text Descriptors visuals Descriptors visuals / 31
  19. 19. Disseny Digitrace: Interfície gràfica 19 Mòdul principal Menú de mode Menú de configuració Imatge + màscara Botó de cerca * Menú de marcadors Menú d’edició Mòdul secundari Colors Configuració Ajuda 1. Marcadors 2. Màscara 1. Descriptors 2. Pinzell 1. Inici 2. Modes / 31
  20. 20. Disseny Digitrace: Segmentació interactiva 20 Mode rectangle: 1. Rectangle: Objecte 2. Punts: selecció o deselecció de regions Elecció dels marcadors: 1. Traces objecte 2. Traces fons * *Opcional Mode traça: / 31
  21. 21. Disseny Digitrace: Segmentació interactiva 21 Proposta per arbres binaris de particions (BPT): / 31
  22. 22. Disseny Digitrace: Segmentació interactiva 22 • Punt fort: marcadors únicament d’objecte. • Distingim dos criteris de propagació de fulles: Criteri sense expansió Criteri amb expansió Per a cada node objecte, seleccionarem el seu pare sempre i quan el subarbre del seu germà tingui, com a mínim, un node seleccionat i no en tingui cap node fons. / 31
  23. 23. Disseny Digitrace: Definició de modes 23 Rectangle sense expansió Rectangle amb expansió Traça sense expansió Traça amb expansió / 31
  24. 24. Arquitectura modular Cloud computing Protocol HTTP Entorn de desenvolupament Entorn de desenvolupament: 24 / 31
  25. 25. Entorn de desenvolupament Crides: Consultes per regió 25 Crida getQbE Mètode HTTP Paràmetres d'entrada Paràmetres de sortida Mode rectangle: Obtenció de màscara GET assetId timeCode coordenades Màscara Mode rectangle: Obtenció de resultats GET assetId timeCode coordenades descriptors Keyframes resultants Mode traça: Obtenció de màscara POST assetId timeCode label Imatge bpt_neg bpt_pos Màscara bpt_neg bpt_pos Mode traça: Obtenció de resultats GET assetId timeCode bpt_neg bpt_pos descriptors Keyframes resultants / 31
  26. 26. Entorn de desenvolupament Entorn de desenvolupament:  Marc de desenvolupament: Adobe Flex  Llenguatges de programació: MXML i ActionScript • Aplicació web : Rich Internet Application 26 Usabilitat Rapidesa Interacció Capacitats multimèdia Atractiu / 31
  27. 27. Disseny de les interfícies: - Digitrace - Mòdul keyframes Implementació amb Flex de les interfícies Disseny dels modes de segmentació interactiva Disseny de les crides HTTP Conclusions Conclusions:Treball realitzat 27 / 31
  28. 28. Conclusions Conclusions: 28  Requeriments assolits:  Interfície multimodal  Integració del Digitrace  Descriptors visuals  Comunicació amb l’UPSeek  Punts forts de la interfície:  Comparteix les qualitats de les interfícies d’escriptori i les interfícies web.  Originalitat de la proposta de segmentació interactiva: garantia de resultats coherents amb marcadors únicament d’objecte. / 31
  29. 29. Conclusions Conclusions: 29  Conclusions de l’avaluació dels modes de segmentació proposats:  El mode traça resulta útil per a imatges homogènies amb un esforç mínim.  El mode rectangle és aconsellable, en canvi, per a imatges amb molts colors i contorns.  Conclusions personals:  Experiència de treball en equip  Mediació entre la universitat i la empresa  Continuïtat de l’eina / 31
  30. 30. Conclusions Treball futur: 30  A curt termini:  Incorporació de la màscara utilitzada en la cerca i dels resultats  Dinamitzar el mòdul de metadades del Digition  Agrupament dels resultats  A llarg termini:  Millorar la interacció de l’usuari amb els pesos dels descriptors  Eficiència de la cerca  Incorporar consultes textuals a partir del Detector de text / 31
  31. 31. Gràcies per la vostra atenció Alguna pregunta?
  32. 32. Conclusions Exemples: 32
  33. 33. Millores al Digimatge: Mòdul de keyframes del Digition 33Resultats
  34. 34. Millores al Digimatge: Detector de text i Descriptors visuals 34Resultats
  35. 35. Millores al Digimatge: Digitrace 35Resultats

×