Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Visual recognition voor erfgoedcollecties:

164 views

Published on

Beeldherkenning voor erfgoed collecties: presentatie Informatie aan Zee 2019

Published in: Art & Photos
  • Be the first to comment

  • Be the first to like this

Visual recognition voor erfgoedcollecties:

  1. 1. ./DATABLE./DATABLE VR4CH Artificiële Intelligentie voor Cultureel Erfgoed: het gebruik van Visual Recognition Services Informatie aan Zee 20 september 2019 Dieter Suls (MoMu) - Henk Vanstappen (Datable)
  2. 2. ./DATABLE./DATABLE • Visual Recognition? • Innovatief partnerproject: VR4CH • Ontwikkelingsgericht erfgoedproject: VRS
  3. 3. ./DATABLE./DATABLE Visual Recognition
  4. 4. ./DATABLE
  5. 5. ./DATABLE advertising 99.8 black&white 99.9
  6. 6. ./DATABLE advertising 99.8 black&white 99.9 children 98.0 play 95.3
  7. 7. ./DATABLE advertising 99.8 black&white 99.9 children 98.0 play 95.3
  8. 8. ./DATABLE advertising 99.8 viewmaster 86.3 boy 95.3 girl 98.3 black&white 99.9 children 98.0 play 95.3
  9. 9. ./DATABLE advertising 99.8 viewmaster 86.3 boy 95.3 girl 98.3 black&white 99.9 children 98.0 play 95.3 age 12 95.3 age 11 98.3
  10. 10. ./DATABLE advertising 99.8 viewmaster 86.3 boy 95.3 girl 98.3 black&white 99.9 emotion: happy 86.3 children 98.0 play 95.3 age 12 95.3 age 11 98.3 emotion: happy 84.2
  11. 11. ./DATABLE advertising 99.8 viewmaster 86.3 boy 95.3 girl 98.3 black&white 99.9 emotion: happy 86.3 children 98.0 play 95.3 age 12 95.3 age 11 98.3
  12. 12. ./DATABLE
  13. 13. ./DATABLE Visual recognition: toepassingen • bewaking en toegangscontrole • medische beeldverwerking • navigatie (zelfsturende voertuigen) • productieprocessen • landbouw • suitable for web • ...
  14. 14. ./DATABLE AI: basics Training/test data Feature extraction Model Classifier Classified data Production data Evaluation
  15. 15. ./DATABLE VRS out of the box Training/test data Feature extraction Model Classifier Classified data Production data Evaluation REST API VRS
  16. 16. ./DATABLE VRS: training Training/test data Feature extraction Model Classifier Classified data Production data Evaluation REST API REST API VRS
  17. 17. ./DATABLE
  18. 18. ./DATABLE Visual Recognition Services
  19. 19. ./DATABLE./DATABLE Visual Recognition Services + no/low coding + cloud based + documentatie +/- kost +/- out of the box training - blackbox
  20. 20. ./DATABLE./DATABLE VR4CH - Visual Recognition for Cultural Heritage Innovatieve partnerprojecten call 2018
  21. 21. ./DATABLE VR4CH: onderzoeksvraag Zijn Visual Recognition Services bruikbaar voor metadata creatie in de cultureel erfgoedsector ? ● Wat is de kwaliteit van untrained VRS ? ● Is de kwaliteit van VRS meetbaar ? ● Mogelijke toepassingen ?
  22. 22. ./DATABLE Visual Recognition Services
  23. 23. ./DATABLE MoMu studiecollectie
  24. 24. ./DATABLE
  25. 25. ./DATABLE Kwantiteit VRS
  26. 26. ./DATABLE Kwaliteit VRS
  27. 27. ./DATABLE Kwaliteit: granulariteit
  28. 28. RESULTATEN Resultaten: Nastasia Vanderperren, onderzoek classificatie Huis van Alijn (Clarifai trained model)
  29. 29. ./DATABLE./DATABLE VR4CH: conclusies + sneller, goedkoper + andere soorten trefwoorden + veel nieuwe toepassingen mogelijk - veel ruis - niet even geschikt voor alle beeldmateriaal - vervangt menselijke registrator niet (helemaal)
  30. 30. ./DATABLE./DATABLE VRS - Operationalisering van beeldherkenning in de registratiepraktijk Projectsubsidie Cultureel erfgoedwerking
  31. 31. ./DATABLE./DATABLE VRS: onderzoeksvraag Hoe kan VRS praktisch ingezet worden in de registratiepraktijk? • 4 use cases • 4 content partners • end-to-end oplossing
  32. 32. ./DATABLE
  33. 33. ./DATABLE Erfgoedcel Brugge Collectie Beeldbank Brugge Doel Meer foto’s volgens bestaande categorieën beschikbaar maken Methode - Tagging door Clarifai - Tags manueel aan Categorieën toegekend - Classificatie van foto’s in post-processing - Verwerkt tot CSV Resultaat 100.000 foto’s geclassificeerd >95% correct
  34. 34. ./DATABLE
  35. 35. ./DATABLE
  36. 36. ./DATABLE
  37. 37. ./DATABLE FOMU Collectie Suzy Embo: post-Cobra beweging Doel Personen doorzoekbaar (face recognition) Methode - Cropping en grouping faces (Python) - Training Microsoft Vision model - Tagging beeldcollectie - Verwerking tags tot Adlib import file Resultaat XXX foto’s geclassificeerd ? % correct
  38. 38. ./DATABLE
  39. 39. ./DATABLE
  40. 40. ./DATABLE
  41. 41. ./DATABLE MOMU Collectie Documentair beeldmateriaal Doel Beelden filteren of sorteren op kwaliteit Methode - Harvesting beelden uit ResourceSpace - Kwalificatie door Everypixel - verwerking tot CSV met score 0-5 - import CSV in DAMS Resultaat 5558 foto’s gelabeld ‘redelijk’ correct
  42. 42. ./DATABLE
  43. 43. ./DATABLE
  44. 44. ./DATABLE Netwerk oorlogsbronnen Collectie Arolsen archives: archief van gedeporteerden WOII Doel Verschillende types formulieren classificeren Methode - Webscraping beeldarchief - Model getrained met Clarifai GUI, - Classificatie met Clarifai API, - Verwerkt tot CSV + import Resultaat Classificatie van 125.474 formulieren in 4 types (100% correct)
  45. 45. ./DATABLE./DATABLE Netwerk oorlogsbronnen
  46. 46. ./DATABLE Conclusies ● toegankelijke, betaalbare technologie ● kwaliteit ○ training vaak meerwaarde ○ minder geschikt voor grafisch beeldmateriaal ○ model afstemmen op use case ● mens vs. machine ○ afhankelijk van eisen vangst/precisie ○ efficiënter voor grote volumes ○ mens & machine
  47. 47. ./DATABLE Conclusies: meer use cases • ontsluiten op collectieniveau • onderscheiden beeldtype (foto, tekening, tekst) • voorbereiden collectieregistratie • combinatie crowdtagging • herkennen landmarks • tags omzetten naar Linked Data • ...
  48. 48. ./DATABLE./DATABLE dank aan Alexander Derveaux (FOMU) Ann Deckers (FOMU) Dieter Suls (MOMU) Katrien Steelandt (EGC Brugge) Lizzy Jongma (NOB) Michiel Demaeght (FOMU) Nastasia Vanderperren (PACKED) Tobias Hendrickx (MOMU)
  49. 49. ./DATABLE Q&A dieter.suls@momu.be henk@datable.be
  50. 50. ./DATABLE VR4CH/VRS technology stack tranining & classification Clarifai/Azure/GVision data processing KNIME data MongoDB validation Google Sheets images webserver image & metadata Omeka/Picturae/ ResourceSpace metadata Adlib/TMS CSV/XML FTP viewer javascript FTP

×