Roeland Ordelman - Beeld & Geluid

1,056 views

Published on

Roeland Ordelman
Beeld & geluid

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,056
On SlideShare
0
From Embeds
0
Number of Embeds
204
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide
  • The amount of footage for each festival year varies from only a summary to almost unabridged concert recordings, even including raw, unpublished footage
  • Roeland Ordelman - Beeld & Geluid

    1. 1. Audiovisuele content beter doorzoekbaar maken met behulp van technologie en gebruikers Roeland Ordelman Manager Innovatie Nederlands Instituut voor Beeld en Geluid
    2. 2. GEBRUIKERSONDERZOEK <ul><li>Gebruikersgroepen hebben specifieke eisen en willen op fragmentniveau kunnen zoeken </li></ul>
    3. 3. TOEGANG = METADATA
    4. 4. Onderzoek <ul><li>automatische informatie extractie gebaseerd op: </li></ul><ul><ul><li>visuele kenmerken </li></ul></ul><ul><ul><li>informatie uit audio </li></ul></ul><ul><li>crowdsourcing (gebruikers ‘in the loop’) </li></ul>
    5. 5. PILOTS WAARIN CROWDSOURCING EN TECHNOLOGIE ROL SPELEN <ul><li>demonstratie: </li></ul>
    6. 6. In een notendop <ul><li>‘ Video labeling game’ </li></ul><ul><li>Gebruikers voorzien content van relevante beschrijvingen die tijdgecodeerd zijn: </li></ul><ul><ul><li>zoeken binnen video mogelijk </li></ul></ul><ul><li>Motivatie: ‘fun’ en competitie element </li></ul><ul><li>Materiaal: 600 uur / 2.400+ items </li></ul>
    7. 7. Video Labeling Game <ul><li>Basis regel – spelers scoren punten wanneer het label overeenkomt met een label die door een andere speler is gegeven in 10 sec interval </li></ul><ul><li>Meerdere andere mogelijkheden tot scoren om spelers uit te dagen hun best te doen </li></ul>
    8. 8. Resultaten (evaluatie Mei-November 2009) <ul><li>Sinds lancering in mei 2009: </li></ul><ul><li>44,362 pageviews </li></ul><ul><li>12,279 bezoeken(3+ min online) </li></ul><ul><li>555 geregistreerde spelers (maar duizenden anonyme spelers!) </li></ul><ul><li>340,551 labels toegevoegd aan 602 items </li></ul><ul><li>42,068 unieke labels </li></ul>
    9. 10. CROWDSOURCING ROCK N’ ROLL MULTIMEDIA RETRIEVAL Nederlands Instituut voor Beeld en Geluid Universiteit van Amsterdam – Beeldherkenning (Cees Snoek) Universiteit Twente – Spraakherkenning (Franciska de Jong) VideoDock – Gebruikersinterface (Bauke Freiburg)
    10. 11. Achtergrond <ul><li>40ste verjaardag Pinkpop festival </li></ul><ul><li>collectie gedigitaliseerd in Beelden voor de Toekomst </li></ul><ul><li>doel: bouw van applicatie die de geschiedenis van het festival laat zien aan de hand van state-of-the-art technologie ontwikkeld in Nederlandse onderzoekslaboratoria </li></ul>
    11. 12. Aanpak <ul><li>Beeldherkenning : browsen concerten op basis van visuele concept labels </li></ul><ul><li>Spraakherkenning : om door interviews te kunnen browsen </li></ul><ul><ul><li>Crowdsourcing : maak gebruik van populariteit van festival om rock ‘n roll enthousiastelingen te betrekken bij </li></ul></ul><ul><ul><li>algemene feedback over technologie </li></ul></ul><ul><ul><li>verbeteren en uitbreiden automatisch gegenereerde labels </li></ul></ul>
    12. 13. Video concept labels <ul><li>Beeldherkenningssoftware moet concepten ‘leren’ op basis van voorbeelden die vooraf handmatig van een label zijn voorzien. Feedback over gemaakte fouten helpt software te verbeteren. </li></ul>
    13. 14. Voorlopige resultaten <ul><ul><li>12,563 bezoekers (9,595 uniek) in 3 maanden. </li></ul></ul><ul><ul><li>Meeste verkeer (65%) kwam van 255 refererende sites: </li></ul></ul><ul><ul><ul><li>pinkpop.nl </li></ul></ul></ul><ul><ul><ul><li>oor.nl </li></ul></ul></ul><ul><ul><ul><li>google </li></ul></ul></ul><ul><ul><li>gebruikers gaven meer dan 4000 keer feedback </li></ul></ul><ul><ul><ul><li>onderzoek hoe gebruikersfeedback kan worden gebruikt om automatische tools te verbeteren is aan de gang </li></ul></ul></ul>
    14. 15. Hollands Glorie op Pinkpop

    ×