Your SlideShare is downloading. ×
0
Extraction robuste des cases et du texte de bandes dessinées
Extraction robuste des cases et du texte de bandes dessinées
Extraction robuste des cases et du texte de bandes dessinées
Extraction robuste des cases et du texte de bandes dessinées
Extraction robuste des cases et du texte de bandes dessinées
Extraction robuste des cases et du texte de bandes dessinées
Extraction robuste des cases et du texte de bandes dessinées
Extraction robuste des cases et du texte de bandes dessinées
Extraction robuste des cases et du texte de bandes dessinées
Extraction robuste des cases et du texte de bandes dessinées
Extraction robuste des cases et du texte de bandes dessinées
Extraction robuste des cases et du texte de bandes dessinées
Extraction robuste des cases et du texte de bandes dessinées
Extraction robuste des cases et du texte de bandes dessinées
Extraction robuste des cases et du texte de bandes dessinées
Extraction robuste des cases et du texte de bandes dessinées
Extraction robuste des cases et du texte de bandes dessinées
Extraction robuste des cases et du texte de bandes dessinées
Extraction robuste des cases et du texte de bandes dessinées
Extraction robuste des cases et du texte de bandes dessinées
Extraction robuste des cases et du texte de bandes dessinées
Extraction robuste des cases et du texte de bandes dessinées
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Extraction robuste des cases et du texte de bandes dessinées

261

Published on

Les bandes dessinées représentent un patrimoine culturel important dans de nombreux …

Les bandes dessinées représentent un patrimoine culturel important dans de nombreux
pays. La numérisation en masse offre l’opportunité d’effectuer des recherches sur le contenu des albums et pas uniquement sur des métadonnées associées (e.g. nom de l’auteur ou de la collection). Peu de travaux ont été menés à ce jour. Seule l’extraction des cases et des bulles de dialogues a été étudiée et ce, pour des structures de pages relativement simples. En effet, la structure des pages est propre à chaque auteur, ce qui engendre une très grande diversité de dessins. Malgré cette diversité, les dessins ont une particularité commune de part leurs méthodes de conception : ils sont constitués ou entourés d’un trait noir. Dans cet article, nous proposons de nous appuyer sur cette particularité des bandes dessinées pour extraire automatiquement les cases et le texte avec une méthode basée sur la classification de composantes connexes. Nous comparerons notre méthode avec des outils de la littérature et discuterons des résultats.

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
261
On Slideshare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
2
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide
  • Marketplace???
  • Hough, X-Y, Gradient => need gutter + no frame missing Connected component => interesting but not clear
  • Explain why 3 classes => limitation
  • Transcript

    • 1. Extraction robuste des cases et du texte de bandes dessinées Christophe Rigaud, Norbert Tsopze, J. C. Burie, J. M. Ogier Laboratoire Informatique, Image et Interaction (L3i) CIFED 2012, Bordeaux, pp.349-360 - 23 Mars 2012
    • 2. Christophe Rigaud - CIFED 2012, pp.349-360 2 SUMMARY ● Project eBDtheque ● Proposed work ● Experiments ● Conclusion
    • 3. Christophe Rigaud - CIFED 2012, pp.349-360 3 SUMMARY ● Project eBDtheque ● Proposed work ● Experiments ● Conclusion
    • 4. Christophe Rigaud - CIFED 2012, pp.349-360 4 Project eBDtheque ● Project CPER ● European Regional Development Fund, the region Poitou-Charentes, the General Council of Charente Maritime and the town of La Rochelle. ● Team of 12 people ● 2011-2013 ● http://l3i.univ-larochelle.fr/eBDtheque.html ● Comics : ● Important heritage to develop with new technologies ● Target: ● Help to automatically convert digitalized comics into digital comics. – « Find all the panels containing the Eiffel Tower »... – User and author interactions
    • 5. Christophe Rigaud - CIFED 2012, pp.349-360 5 Project eBDtheque > Context Digitalised comics Patrimonial CIBDI¹ Paper book Medium dependent Digital comics New technologies Smartphone Web Speech synthesis Animation (cartoon) Story reconstruction ... eBDtheque EXTRACTION Multi segmentation REPRESENTATION Ontology Browsing ¹ CIBDI: Centre International de la Bande Dessinées et de l'Image
    • 6. Christophe Rigaud - CIFED 2012, pp.349-360 6 Project eBDtheque > Multi-segmentation Panels Text Page Image credit: Cyb, Cosmozone, Studio Cyborga, Goven, France, 2009 . . . . . .
    • 7. Christophe Rigaud - CIFED 2012, pp.349-360 7 SUMMARY ● Project eBDtheque ● Proposed work ● Related works ● Contribution ● Limitations ● Experiments ● Conclusion
    • 8. Christophe Rigaud - CIFED 2012, pp.349-360 8 Proposed work > Related works ● Panel segmentation ● Hough line ● X-Y cut algorithm¹ ● Gradient² ● Connected component³ ● Text segmentation ● Connected component – Speech balloon > text⁴ – Text > speech balloon³ ¹ Han E., Kim K., Yang H., Jung K., « Frame segmentation used MLP-based X-Y recursive for mobile cartoon content », Proceedings of the 12th, HCI’07, Springer-Verlag, Berlin, Heidelberg, p. 872-881, 2007. ² Tanaka T., Shoji K., Toyama F., Miyamichi J., « Layout Analysis of Tree-Structured Scene Frames in Comic Images. », IJCAI’07, p. 2885-2890, 2007. ³ Ho A. K. N., Burie J.-C., Ogier J.-M., « Comics page structure analysis based on automatic panel extraction », GREC 2011, Ninth IAPR International Workshop on Graphics Recognition, Seoul, Korea, September, 15-16, 2011 ⁴ Arai K., Tolle H., « Method for Automatic E-Comic Scene Frame Extraction for Reading Comic on Mobile Devices », ITNG ’10, IEEE Computer Society, Washington, DC, USA, p. 370-375, 2010.
    • 9. Christophe Rigaud - CIFED 2012, pp.349-360 9 Proposed work > Contribution Simultaneous panel + text extraction (CC) => time saving Image credit: Cyb, Bubblegôm, Studio Cyborga, Goven, France, 2009
    • 10. Christophe Rigaud - CIFED 2012, pp.349-360 10 Proposed work > Contribution Simultaneous panel + text extraction (CC) => time saving Image credit: Cyb, Bubblegôm, Studio Cyborga, Goven, France, 2009 Panels without frame
    • 11. Christophe Rigaud - CIFED 2012, pp.349-360 11 Proposed work > Contribution Simultaneous panel + text extraction (CC) => time saving Panels without frame Out of balloon text Image credit: Cyb, Bubblegôm, Studio Cyborga, Goven, France, 2009
    • 12. Christophe Rigaud - CIFED 2012, pp.349-360 12 Proposed work > Content extraction Image credit: Cyb, Bubblegôm, Studio Cyborga, Goven, France, 2009 Median level = binarisation threshold BinarisedGrayscale CC bounding boxes
    • 13. Christophe Rigaud - CIFED 2012, pp.349-360 13 Proposed work > Panel classification K-means 3 classes Class “CASE”
    • 14. Christophe Rigaud - CIFED 2012, pp.349-360 14 Proposed work > Topological filtering Filtering K-means 3 classes
    • 15. Christophe Rigaud - CIFED 2012, pp.349-360 15 Proposed work > Text extraction K-means 3 classes Median height (mH) Grouping+filtering (Distance < 2*mH)
    • 16. Christophe Rigaud - CIFED 2012, pp.349-360 16 Proposed work > Limitations ● 3 classes (panel, text, noise) ● Page/text background grey level ● Overlapping elements Image credit: Lamisseb, Les noeils Tome 1, Bac@BD, Valence, France, 2011.
    • 17. Christophe Rigaud - CIFED 2012, pp.349-360 17 SUMMARY ● Project eBDtheque ● Proposed work ● Experiments ● Dataset ● Extraction ● Conclusion
    • 18. Christophe Rigaud - CIFED 2012, pp.349-360 18 Experiments > Dataset ● Same as Ho et al.¹ for comparison ● 7 albums => 355 panels (42 pages A4, 300dpi) ● 435 speech balloons + 79 narrative text areas ¹ Ho A. K. N., Burie J.-C., Ogier J.-M., « Comics page structure analysis based on automatic panel extraction », GREC 2011, Nineth IAPR International Workshop on Graphics Recognition, Seoul, Korea, September, 15-16, 2011
    • 19. Christophe Rigaud - CIFED 2012, pp.349-360 19 Experiments > Panel extraction Method Tanaka¹ Arai² Ngo Ho³ Proposed Gain Panel (%) 63.9 75.6 87.3 88.2 +0.9% Page (%) 42.8 47.6 64.3 66.7 +2.4% ¹ Tanaka, T., Shoji, K., Toyama, F., Miyamichi, J.: Layout analysis of tree-structured scene frames in comic images. In: IJCAI’07. pp. 2885–2890 (2007) ² Arai, K., Tolle, H.: Method for automatic e-comic scene frame extraction for reading comic on mobile devices. In: Seventh International Conference on Information Technology: NewGenerations. pp. 370–375. ITNG, IEEE Computer Society, Washington, DC, USA (2010) ³ Ngo Ho A. K. N., Burie J.-C., Ogier J.-M., « Comics page structure analysis based on automatic panel extraction », GREC 2011, Nineth IAPR International Workshop on Graphics Recognition, Seoul, Korea, September, 15-16 (2011) => panels without frame are extracted CONDITION: Panel OK if “properly” detected Page OK if all panels OK
    • 20. Christophe Rigaud - CIFED 2012, pp.349-360 20 Experiments > Text extraction Text type TP FN Speech 78 22 Narrative 53 47 CONDITION: TP: text area detected correctly FN: text area not detected TP FN FP TN
    • 21. Christophe Rigaud - CIFED 2012, pp.349-360 21 Conclusion ● Simultaneous comics panel and text extraction ● Robust to page size and resolution variations ● All text areas (no panel dependent) ● Assume 3 classes and few overlapping elements ● Coming soon: panel content extraction...
    • 22. Christophe Rigaud - CIFED 2012, pp.349-360 22 ??? {christophe.rigaud, norbert.tsopze, jcburie, jmogier}@univ-lr.fr CIFED 2012, Bordeaux, pp.349-360 - 23 Mars 2012

    ×