spraak als metadata spraaktechnologie voor de ontsluiting van audiovisuele content Roeland Ordelman Universiteit Twente Human Media Interaction

DIGITALISERING (HISTORISCH) MATERIAAL

DAGELIJKSE PROFESSIONELE AANWAS zowel uitgezonden als niet uitgezonden

zowel uitgezonden als niet uitgezonden

USER GENERATED CONTENT

gesproken getuigenissen interviews vergaderingen lezingen telefoon gesprekken

getuigenissen

interviews

vergaderingen

lezingen

telefoon gesprekken

GEBRUIKERS producers – hergebruik van content (remix, on demand), context linking journalisten – wat zei wie wanneer in welke context onderzoekers – history at your fingertips, dwarsverbanden, verificatie algemeen publiek – onderwijs, praten met het verleden, content on demand

producers – hergebruik van content (remix, on demand), context linking

journalisten – wat zei wie wanneer in welke context

onderzoekers – history at your fingertips, dwarsverbanden, verificatie

algemeen publiek – onderwijs, praten met het verleden, content on demand

EEN STUDENT VINDT EEN FRAGMENT UIT EEN COLLEGE DAT DIEPER INGAAT OP EVALUATIE VAN ZOEKTECHNOLOGIE

EEN BASISSCHOOL LEERLING COMMUNICEERT VIA HET ARCHIEF MET EEN OVERLEVENDE OVER HET BOMBARDEMENT OP ROTTERDAM

EEN WETENSCHAPPER CITEERT EEN FRAGMENT UIT EEN INTERVIEW OVER DE FEMINISTISCHE GOLF, EEN COLLEGA KAN DIT EENVOUDIG VERIFIEREN DOOR HET FRAGMENT TERUG TE LUISTEREN

EEN RECENSENT PUT UIT HET RADIO-INTERVIEWARCHIEF VAN EEN OMROEP EN VERWIJST ERNAAR IN DE BESPREKING VAN DE NIEUWE ROMAN VAN LULU WANG

EEN JOURNALIST VERZAMELT ALLE UITSPRAKEN VAN EEN POLITICUS DE AFGELOPEN DRIE JAAR OVER FILEBESTRIJDING

HANDMATIG BESCHRIJVEN? kostbaar & per definitie beperkt

kostbaar & per definitie beperkt

materiaal beschrijven handmatig hulp van ‘het publiek’ (crowdsourcing) beschikbare tekstuele bronnen ondertiteling (888) notulen vergadering slides, presentatie aantekeningen automatische informatie extractie visuele kenmerken informatie uit audio

handmatig

hulp van ‘het publiek’ (crowdsourcing)

beschikbare tekstuele bronnen

ondertiteling (888)

notulen vergadering

slides, presentatie aantekeningen

automatische informatie extractie

visuele kenmerken

informatie uit audio

SLIM GEBRUIK MAKEN VAN BESCHIKBARE DATA Radio Oranje Project

Radio Oranje Project

INFORMATIE IN AUDIOSIGNAAL toegankelijk maken van materiaal door exploiteren van

toegankelijk maken van materiaal door exploiteren van

STRUCTUUR om makkelijker door AV te kunnen browsen maak gebruik van (ook belangrijk voor verdere analyse zoals spraakherkenning) spraak/niet-spraak taal sprekerwisselingen studio/live

om makkelijker door AV te kunnen browsen maak gebruik van

(ook belangrijk voor verdere analyse zoals spraakherkenning)

gesproken woord

LINK spraakherkenning kranten artikelen

sprekerkarakteristieken man/vrouw leeftijd spreekstijl sociolect identiteit emotie

man/vrouw

leeftijd

spreekstijl

sociolect

identiteit

emotie

SPRAAK DATA p pak b bak d dak t tak k kap I pit A pat a: naam Z garage S show ... KLANK MODEL eh handmatig annoteren van eh spraak is nodig voor

tekst data TAAL MODEL

TAAL MODEL KLANK MODEL UITSPRAAK WOORDENBOEK

SHOUT Spraak Herkennings Onderzoek Universiteit Twente http://shout-toolkit.sourceforge.net/ open-source toolkit spraak/niet spraak detectie sprekersegmentatie spraakherkenning trainingsoftware low-cost server erfgoedsector in ontwikkeling in kader CATCH project toepassing op maat (spraakherkenning met search) ism UT spin-off X-MI

Spraak Herkennings Onderzoek Universiteit Twente

open-source toolkit

spraak/niet spraak detectie

sprekersegmentatie

spraakherkenning

trainingsoftware

low-cost server erfgoedsector in ontwikkeling in kader CATCH project

toepassing op maat (spraakherkenning met search) ism UT spin-off X-MI

hoe goed werkt spraakherkenning? beter passend bij training data geeft betere resultaten (klankmodel/taalmodel) geen informatie vooraf: surprise data (un/semi)supervised adaptatie afhankelijkheden: audio kwaliteit (prof/non-prof, historisch) spraak (voorgelezen, spontaan, emotioneel, dialect, overlappend) achtergrond

beter passend bij training data geeft betere resultaten (klankmodel/taalmodel)

geen informatie vooraf: surprise data

(un/semi)supervised adaptatie

afhankelijkheden:

audio kwaliteit (prof/non-prof, historisch)

spraak (voorgelezen, spontaan, emotioneel, dialect, overlappend)

achtergrond

performance in relatie tot zoeken rule of thumb: ~ 50% accuracy nodig (langere) inhoudswoorden: worden typisch gebruikt bij het zoeken (meestal kortere) functiewoorden: moeilijk voor spraakherkenning leren van collectiespecifieke inhoudswoorden! (jargon, namen)

rule of thumb: ~ 50% accuracy nodig

(langere) inhoudswoorden: worden typisch gebruikt bij het zoeken

(meestal kortere) functiewoorden: moeilijk voor spraakherkenning

leren van collectiespecifieke inhoudswoorden! (jargon, namen)

conclusie zeer grote hoeveelheid rijke content handmatig beschrijven kostbaar en beperkt verbeteren toegankelijkheid AV content door gebruik nieuwe technologie audio signaal bevat waardevolle informatie spraakherkenning heeft zich bewezen als nuttige tool

zeer grote hoeveelheid rijke content

handmatig beschrijven kostbaar en beperkt

verbeteren toegankelijkheid AV content door gebruik nieuwe technologie

audio signaal bevat waardevolle informatie

spraakherkenning heeft zich bewezen als nuttige tool

demo’s Radio Oranje NOS 8 uur journaal in context Praten met het verleden: interviews met overlevenden kamp Buchenwald interviews met ooggetuigen bombardement Rotterdam

Radio Oranje

NOS 8 uur journaal in context

Praten met het verleden:

interviews met overlevenden kamp Buchenwald

interviews met ooggetuigen bombardement Rotterdam