CMC - Ordelman - Universiteit Twente

spraak als metadata spraaktechnologie voor de ontsluiting van audiovisuele content Roeland Ordelman Universiteit Twente Human Media Interaction

DIGITALISERING (HISTORISCH) MATERIAAL

DAGELIJKSE PROFESSIONELE AANWAS
zowel uitgezonden als niet uitgezonden

USER GENERATED CONTENT

gesproken
getuigenissen
interviews
vergaderingen
lezingen
telefoon gesprekken

GEBRUIKERS
producers – hergebruik van content (remix, on demand), context linking
journalisten – wat zei wie wanneer in welke context
onderzoekers – history at your fingertips, dwarsverbanden, verificatie
algemeen publiek – onderwijs, praten met het verleden, content on demand

EEN STUDENT VINDT EEN FRAGMENT UIT EEN COLLEGE DAT DIEPER INGAAT OP EVALUATIE VAN ZOEKTECHNOLOGIE

EEN BASISSCHOOL LEERLING COMMUNICEERT VIA HET ARCHIEF MET EEN OVERLEVENDE OVER HET BOMBARDEMENT OP ROTTERDAM

EEN WETENSCHAPPER CITEERT EEN FRAGMENT UIT EEN INTERVIEW OVER DE FEMINISTISCHE GOLF, EEN COLLEGA KAN DIT EENVOUDIG VERIFIEREN DOOR HET FRAGMENT TERUG TE LUISTEREN

EEN RECENSENT PUT UIT HET RADIO-INTERVIEWARCHIEF VAN EEN OMROEP EN VERWIJST ERNAAR IN DE BESPREKING VAN DE NIEUWE ROMAN VAN LULU WANG

EEN JOURNALIST VERZAMELT ALLE UITSPRAKEN VAN EEN POLITICUS DE AFGELOPEN DRIE JAAR OVER FILEBESTRIJDING

HANDMATIG BESCHRIJVEN?
kostbaar & per definitie beperkt

materiaal beschrijven
handmatig
hulp van ‘het publiek’ (crowdsourcing)
beschikbare tekstuele bronnen
ondertiteling (888)
notulen vergadering
slides, presentatie aantekeningen
automatische informatie extractie
visuele kenmerken
informatie uit audio

SLIM GEBRUIK MAKEN VAN BESCHIKBARE DATA
Radio Oranje Project

INFORMATIE IN AUDIOSIGNAAL
toegankelijk maken van materiaal door exploiteren van

STRUCTUUR
om makkelijker door AV te kunnen browsen maak gebruik van
(ook belangrijk voor verdere analyse zoals spraakherkenning)
spraak/niet-spraak taal sprekerwisselingen studio/live

gesproken woord

LINK spraakherkenning kranten artikelen

sprekerkarakteristieken
man/vrouw
leeftijd
spreekstijl
sociolect
identiteit
emotie

SPRAAK DATA p pak b bak d dak t tak k kap I pit A pat a: naam Z garage S show ... KLANK MODEL eh handmatig annoteren van eh spraak is nodig voor

tekst data TAAL MODEL

TAAL MODEL KLANK MODEL UITSPRAAK WOORDENBOEK

SHOUT
Spraak Herkennings Onderzoek Universiteit Twente
http://shout-toolkit.sourceforge.net/
open-source toolkit
spraak/niet spraak detectie
sprekersegmentatie
spraakherkenning
trainingsoftware
low-cost server erfgoedsector in ontwikkeling in kader CATCH project
toepassing op maat (spraakherkenning met search) ism UT spin-off X-MI

hoe goed werkt spraakherkenning?
beter passend bij training data geeft betere resultaten (klankmodel/taalmodel)
geen informatie vooraf: surprise data
(un/semi)supervised adaptatie
afhankelijkheden:
audio kwaliteit (prof/non-prof, historisch)
spraak (voorgelezen, spontaan, emotioneel, dialect, overlappend)
achtergrond

performance in relatie tot zoeken
rule of thumb: ~ 50% accuracy nodig
(langere) inhoudswoorden: worden typisch gebruikt bij het zoeken
(meestal kortere) functiewoorden: moeilijk voor spraakherkenning
leren van collectiespecifieke inhoudswoorden! (jargon, namen)

conclusie
zeer grote hoeveelheid rijke content
handmatig beschrijven kostbaar en beperkt
verbeteren toegankelijkheid AV content door gebruik nieuwe technologie
audio signaal bevat waardevolle informatie
spraakherkenning heeft zich bewezen als nuttige tool

demo’s
Radio Oranje
NOS 8 uur journaal in context
Praten met het verleden:
interviews met overlevenden kamp Buchenwald
interviews met ooggetuigen bombardement Rotterdam

CMC - Ordelman - Universiteit Twente

by Frankwatching on Oct 06, 2009

Accessibility

Categories

Tags

Upload Details

Usage Rights

1 Embed 57

Statistics

CMC - Ordelman - Universiteit Twente — Presentation Transcript