Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

20191206 presentatie beeldherkenning

515 views

Published on

Nastasia Vanderperren geeft aan de collegegroep digitale collectieregistratie van 6 december 2019 een introductie tot automatische beelherkenningsservices en hun mogelijke toepassing in het beschrijven en classificeren van erfgoedcollecties.

Published in: Art & Photos
  • Be the first to comment

  • Be the first to like this

20191206 presentatie beeldherkenning

  1. 1. Bert Lemmens Alina Saenko bertb@packed.be alina@packed.be @PACKEDvzw Beeldherkenning voor het beschrijven en classificeren van erfgoedcollecties Nastasia Vanderperren
  2. 2. COMPUTER VISION
  3. 3. INLEIDING
  4. 4. INLEIDING
  5. 5. Tristan Roddis (Cogapp)
  6. 6. Tristan Roddis (Cogapp)
  7. 7. ONDERZOEK 1. VR4CH (MoMu, Datable, PACKED) 2. BP: Fotocollectie snapshots Huis Van Alijn (Nastasia Vanderperren) a. automatisch metadateren b. classificatie op basis van training 3. Operationalisering van beeldherkenning in de registratiepraktijk (FOMU, Datable, PACKED)
  8. 8. DEEL 1: VR4CH
  9. 9. VR4CH Onderzoeksvragen: ● bruikbaar voor cultureel erfgoed? ● kwaliteit? ● mogelijke toepassingen? ● vergelijking van verschillende diensten ● case: MOMU studiecollectie - 164 foto’s van objecten, scenorgrafie, modeshows en events
  10. 10. VR4CH Onderzoeksvragen: ● bruikbaar voor cultureel erfgoed? ● kwaliteit? ● mogelijke toepassingen? ● vergelijking van verschillende diensten CC BY Henk Vanstappen
  11. 11. VR4CH Onderzoeksvragen: ● bruikbaar voor cultureel erfgoed? ● kwaliteit? ● mogelijke toepassingen? ● vergelijking van verschillende diensten CC BY Henk Vanstappen
  12. 12. VR4CH CC BY Henk Vanstappen
  13. 13. VR4CH Conclusies ● snel en goedkoop ● andere soorten trefwoorden ● maar veel ruis en niet geschikt voor alle soorten beeldmateriaal CC BY Henk Vanstappen
  14. 14. DEEL 2: HUIS VAN ALIJN
  15. 15. USE CASES 1. automatisch metadateren van de beelden: hoe ver komen we hier mee? 2. classificeren van beelden in thema’s → training 3. classificeren van beelden in decennia → training
  16. 16. DATASET ● 845 foto’s ● vijf thema’s: huwelijk (400), geboorte (96), Sinterklaas (97), vakantie (151) en speelgoed (101) ● tien decennia uit 20e eeuw: 00s (9), 10s (16), 20s (32), 30s (54), 40s (61), 50s (209), 60s (226), 70s (114), 80s (61), 90s (21) + onbekend (42)
  17. 17. USE CASE 1: AUTOMATISCH METADATEREN
  18. 18. CLARIFAI ● 20 tags per foto people (0,99553334), child (0,9944993), portrait (0,9912409), sepia (0,9822352), girl (0,97256065), baby (0,9721891), wear (0,96921843), wedding (0,96212375), son (0,9487199), dress (0,9479506), family (0,9464451),woman (0,94372404), two (0,93469185), princess (0,927248), love (0,9161264), retro (0,9128336), vintage (0,90305287), sit (0,8941809), nostalgia (0,8909985), one (0,8850393) FO-00-00015 van Huis van Alijn met Clarifai general model
  19. 19. VALIDATIE
  20. 20. RESULTATEN ● 20 tags per foto ○ in totaal: 11.516 juiste termen (68,15%) ○ maximum: 20 juist (21 foto’s) ○ minimum: 6 juist (1 foto) ○ gemiddeld: 13,6 juist ○ 371 unieke termen ○ 97 beelden met minder dan de helft juiste tags (11,5%)
  21. 21. RESULTATEN max. aantal juiste tags
  22. 22. RESULTATEN max. aantal juiste tags
  23. 23. RESULTATEN max. aantal juiste tags
  24. 24. RESULTATEN max. aantal juiste tags
  25. 25. RESULTATEN minst aantal juiste tags
  26. 26. RESULTATEN
  27. 27. RESULTATEN
  28. 28. RESULTATEN ● ● moeilijk vergelijking maken ○
  29. 29. RESULTATEN ● 20 tags per foto ○ entiteiten: people, adult, vehicle, toy, flower, camel, dress, furniture, beach… ○ activiteiten: dancing, sit, reclining, shopping, travel ○ emoties: fun, love, enjoyment, affection ○ contextuele concepten: friendship, togetherness, family, wedding, tourism, leisure ○ over de foto: portrait, profile, monochrome, black and white, color, sepia, no person ○ ook hoeveelheden: one, two, three, four, many, several
  30. 30. RESULTATEN - HUWELIJK top 30 termen ● people (399x) ● woman ● adult ● man ● wedding (341x) ● portrait ● wear ● groom ● two ● bride ● veil ● group ● dress ● ceremony ● facial expression ● group together ● love ● monochrome ● flower arrangement ● family ● several ● dinner jacket ● marriage ● bridal ● many ● engagement ● girl ● couple ● child ● bouquet (48x)
  31. 31. RESULTATEN - SINTERKLAAS top 30 termen ● people (97x) ● wear ● adult ● portrait ● child ● man ● two ● monochrome ● outfit ● veil ● three ● facial expression ● group together ● group ● costume ● several ● boy ● woman ● family ● coat ● sibling ● four ● outerwear ● recreation ● actor ● sepia ● uniform ● girl ● gown (clothing) ● sit (5x)
  32. 32. RESULTATEN ● opvallend: ○ Sinterklaas en verwante concepten niet gekend door model ○ minder goed in objectherkenning? focus op omgeving? ○ kinderen worden als volwassenen gezien of krijgen fout gender; pop wordt als baby getagd ○ foto’s van ouder(s) met kind ook als wedding (16x), groom (3x) of bride (2x) geclassificeerd ○ scoort iets beter op foto’s vanaf jaren 60
  33. 33. VERGELIJKING BESCHRIJVINGEN top 30 termen ● huwelijk (400) ● bruidspaar (351) ● Sinterklaas (192) ● bruidsboeket (189) ● Gent (165) ● feest (94) ● studioportret (57) ● kerk (54) ● auto (36) ● bloem (plant) (34) ● vervoer (34) ● dans (32) ● interieur (28) ● park (20) ● huiskamer (17) ● bruid (16) ● Sint-Martens-Latem (15) ● Zwijnaarde (15) ● groepsportret (15) ● Veldstraat (Gent) (14) ● Merelbeke (12) ● Zomergem (12) ● Gentbrugge (11) ● behang (11) ● bruidegom (10) ● Sint-Amandsberg (9) ● taart (9) ● Aalst (8) ● Beervelde (8) ● Loppem (8)
  34. 34. IN DE PRAKTIJK? ● 20 tags per foto people (0,99553334), child (0,9944993), portrait (0,9912409), sepia (0,9822352), girl (0,97256065), baby (0,9721891), wear (0,96921843), wedding (0,96212375), son (0,9487199), dress (0,9479506), family (0,9464451),woman (0,94372404), two (0,93469185), princess (0,927248), love (0,9161264), retro (0,9128336), vintage (0,90305287), sit (0,8941809), nostalgia (0,8909985), one (0,8850393) FO-00-00015
  35. 35. IN DE PRAKTIJK? ● drempelwaarde instellen ● selectie maken van thema’s (Sintfoto’s doen de percentages dalen → niet gebruiken?) drempelwaarde (%) aandeel juiste tags (%) aantal foute tags (%) 95 55 17 90 85 25 85 95 30 geen 100 32
  36. 36. USE CASE 2 en 3: CLASSIFICEREN DOOR TRAINING
  37. 37. UITGANGSPUNT ● max. 50% gebruiken voor training ● gebruik maken van iteraties ● ieder concept (thema) even goed trainen = evenveel trainingsbeelden ○ Themamodel: → max. 50 trainingsbeelden per thema ○ Periodemodel → te ongelijk verdeeld, niet mogelijk om evenwaardig te trainen ● keuze voor versie met hoogste performantiescore (F-score)
  38. 38. METHODE ● creatie custom model ○ via API ○ via webinterface ● webinterface → eenvoudig als je geen programmeur bent ● maar via wel API sneller
  39. 39. METHODE
  40. 40. METHODE ● creatie custom model ○ via API ○ via webinterface ● webinterface → eenvoudig als je geen programmeur bent ● maar via wel API sneller
  41. 41. METHODE ● creatie custom model ○ via API ○ via webinterface ● webinterface → eenvoudig als je geen programmeur bent ● maar via wel API sneller
  42. 42. VALIDATIE validatie: ● uitgangspunt: ieder concept (thema) even goed trainen = even veel trainingsbeelden ● probleem: grote verschillen in aantallen per thema ● ⇒ aftoppen tot honderd beelden per thema → max. 50 trainingsbeelden per thema ● iteraties van 10 beelden per thema ● trainingset: https://drive.google.com/open?id=1I-Zi1Vp8SKD4A7BUKu ymBb96TU81sI89xFeNjn4BDi4
  43. 43. VALIDATIE ● 20 tags per foto geboorte (0,99555284), sint (0,0036374554), speelgoed (0,0007022651), huwelijk (0,000107247644), vakantie (0,0000001857) FO-00-00015
  44. 44. VALIDATIE Is it a chihuahua or a muffin?!
  45. 45. VALIDATIE Is it a chihuahua or a muffin?! → true positive! 😊 → true negative! 😊 → false negative! 😫 → false positive! 😫
  46. 46. VALIDATIE ● vangst (rappel/recall): het aantal relevante items dat gevonden werd ● precisie: het aantal relevante items op alle gevonden items ● F-score: harmonisch gemiddelde van vangst en precisie
  47. 47. RESULTATEN ● Themamodel ○ 89% correcte classificaties ○ beelden hadden een gemiddelde waarschijnlijkheidsscore van 95% (Clarifai was dus voor gemiddeld 95% zeker van classificatie)
  48. 48. RESULTATEN Resultaten:
  49. 49. RESULTATEN Themamodel
  50. 50. RESULTATEN ● Periodemodel ○ 57% correcte classificaties ○ beelden hadden een gemiddelde waarschijnlijkheidsscore van 55% (Clarifai was dus voor gemiddeld 55% zeker van classificatie)
  51. 51. RESULTATEN Resultaten:
  52. 52. RESULTATEN opvallend ● periodes met minste trainingsdata scoren slechter ● erg lage waarschijnlijkheidsscores (gemiddelde van 60% voor de juiste classificaties) → concepten niet voldoende gekend? ● ook beelden die als trainingsbeelden gebruikt zijn, worden fout geclassificeerd
  53. 53. IN DE PRAKTIJK? Verschillende strategieën 1. drempelwaarde instellen op tag met hoogste waarschijnlijkheidsscore 2. drempelwaarde instellen op tag met tweede hoogste waarschijnlijkheidsscore
  54. 54. IN DE PRAKTIJK? ● 20 tags per foto geboorte (0,99555284), sint (0,0036374554), speelgoed (0,0007022651), huwelijk (0,000107247644), vakantie (0,0000001857) FO-00-00015
  55. 55. IN DE PRAKTIJK? ● 20 tags per foto sint (0,87703073), geboorte (0,101171814), speelgoed (0,018132137), huwelijk (0,0036528711), vakantie (0,000012468) FO-00-00035
  56. 56. IN DE PRAKTIJK? Strategie 1: te lage score → classificatie niet aanvaard
  57. 57. IN DE PRAKTIJK? Strategie 1: te lage score → classificatie niet aanvaard drempelwaarde (%) aandeel juiste classificaties (%) aantal foute classificaties (%) 95 87 3,7 90 91 4,6 80 95 6,6 55 100 11
  58. 58. IN DE PRAKTIJK? ● 20 tags per foto geboorte (0,99555284), sint (0,0036374554), speelgoed (0,0007022651), huwelijk (0,000107247644), vakantie (0,0000001857) FO-00-00015
  59. 59. IN DE PRAKTIJK? ● 20 tags per foto sint (0,87703073), geboorte (0,101171814), speelgoed (0,018132137), huwelijk (0,0036528711), vakantie (0,000012468) FO-00-00035
  60. 60. IN DE PRAKTIJK? ● drempelwaarde instellen ● selectie maken van thema’s (Sintfoto’s doen de percentages dalen → niet gebruiken?) drempelwaarde (%) aandeel juiste tags (%) aantal foute tags (%) 95 55 17 90 85 25 85 95 30 geen 100 32
  61. 61. IN DE PRAKTIJK? Strategie 2: tweede tag heeft hoge score → classificatie niet aanvaard drempelwaarde (%) aandeel juiste classificatie (%) aantal foute classificatie (%) 5 87,5 3,3 10 91,6 4,5 15 93,6 5,6 48 100 12
  62. 62. CONCLUSIES Automatisch metadateren ● eenvoudig in gebruik ● snel, volledig + meer termen ● geeft andere soort tags → nieuwe mogelijkheden om collectie te ontsluiten? ● wél selectie maken van thema’s + instellen drempelwaarde → vervangt de menselijke registrator niet
  63. 63. CONCLUSIES Classificeren op thema ● goede resultaten via training ● werkt goed voor foto’s met strak format ● verder onderzoek: testen met niet-geclassificeerde foto’s Classificeren op periode ● ondanks marginale trainingsbeelden toch resultaten > 50% ● doet vermoeden dat betere resultaten mogelijk zijn ● verder onderzoek nodig met meer trainingsdata
  64. 64. paper lezen? https://github.com/nvanderperren/bachelorproef/b lob/master/paper/bachproef-tin.pdf
  65. 65. DEEL 3: OPERATIONALISERING VAN BEELDHERKENNING IN DE REGISTRATIEPRAKTIJK
  66. 66. PROJECT Onderzoeksvraag: ● beeldherkenningservices inzetten in registratiepraktijk? ● onderzoek aan de hand van 4 use cases en 4 content partners ● end-to-end: van ophalen data tot import in CBS
  67. 67. DEEL 3: OPERATIONALISERING VAN BEELDHERKENNING IN DE REGISTRATIEPRAKTIJK CC BY Henk Vanstappen
  68. 68. DEEL 3: OPERATIONALISERING VAN BEELDHERKENNING IN DE REGISTRATIEPRAKTIJK CC BY Henk Vanstappen
  69. 69. DEEL 3: OPERATIONALISERING VAN BEELDHERKENNING IN DE REGISTRATIEPRAKTIJK CC BY Henk Vanstappen
  70. 70. DEEL 3: OPERATIONALISERING VAN BEELDHERKENNING IN DE REGISTRATIEPRAKTIJK CC BY Henk Vanstappen
  71. 71. CONCLUSIES
  72. 72. CONCLUSIES Verder onderzoek ● andere use cases: iconografische beschrijving, topic detection, gezichtsherkenning, landmark detection ● ander soort erfgoedmateriaal: schilderijen, museumobjecten, archiefstukken, ….
  73. 73. Bert Lemmens Alina Saenko bertb@packed.be alina@packed.be @PACKEDvzw BEDANKT! nog vragen?

×