Slides van het college van Arjan van Hessen over Taal- en Spraaktechnologie

1. Selfservice via de telefoon en de Onderzoek naar Mens-Machine Interactie
ontsluiting van gesproken (Embodied Agents) en de ontsluiting van
documenten mbv gesproken documenten mbv
Taal- en Spraaktechnologie Taal- en Spraaktechnologie
Het standaardiseren (van zowel data als
tools om hiermee om te gaan) van talige,
Arjan van Hessen
wetenschappelijke data voor de
geesteswetenschappen.

2. • Inleiding
– Hoe zit het met de menselijke Taal en Spraak?
– Wat is Taal- en Spraaktechnologie (TST)?
• Werkende applicaties
– Klassieke spraakherkenning
– Geavanceerde spraakherkenning
– Self-service
– Spraakanalyse
• (Nabije) toekomst

3. De ontwikkeling van de
menselijke taal (of spraak) is
waarschijnlijk 100.000 jaar
geleden begonnen.
Daar vóór hadden de menselijke
kaak, de mond en de larynx de
verkeerde vorm om woorden te
vormen.
Iets dat we nu nog bij de apen
zien.

4. • Het pictografische schrift
(3300 AD Sumer, Mesopotamië)
is voor zover bekend, de oudste
geschreven taal.
NU
-100.000 -10.000 -3300
spraak landbouw schrift

5. Dieren
Communicatie
Geur Geluiden Lichaamstaal
Taal Spraak
(abstract)
Schrift
Mensen

6. • Het menselijke communicatie systeem kenmerkt
zich door een hoge mate van redundantie. We
kunnen woorden weglaten, verkeerde woorden
uitspreken, mompelen. Ook kunnen we spreken
op feestjes met veel achtergrondlawaai. Toch lukt
het communiceren meestal wel.
• Willen we natuurlijk met machines kunnen
communiceren, dan moeten we dit gedrag
(tenminste deels) inbouwen.

7. • In een steeds complexere wereld waarin het
belang van snel juiste informatie krijgen of geven
steeds groter wordt en waarin de overvloed aan
informatie voor een soort informatie-infarct zorgt,
is TST een noodzakelijkheid geworden.
• Gebruikers gaan er steeds meer vanuit dat ze
altijd toegang kunnen krijgen tot “hun
bestanden”. Uiteraard via het Web maar ook via
de telefoon.

8. • Lang wachten, frequent doorverbinden, het
herhalen van eerder gegeven informatie en
andere “vervelende” zaken worden steeds minder
geaccepteerd.
• Het herkennen van de beller wordt gezien als een
standaard commodity: zit immers op elke mobiel.

9. Hoe werkt het en wat kun je ermee?
TAAL- & SPRAAKTECHNOLOGIE

10. OCR CR-tekst ASR
Optical Automatic
interpretatie
Character Speech
Recognition Recognition
actie

12. OCR CR-tekst ASR
interpretatie
actie
Twente Nieuws Corpus: >600M woorden uit 10-jaar PCM-kranten, Autocues, Tijdschriften

13. Wat zegt U? Wat bedoelt U?
Spraak is meer dan de omzetting van
een reeks klanken in letters
/A/ /p/ /@/ /l/ /A/ /p/ /@/ /l/ /t/ /j/ /@/
appel appeltje

14. • Internet zal
Web 3.0
Web
veranderen
(QA)
1.0/2.0
van een
het rode haar van het meisje
opzoek
Vuurrode/rode haren/haar van de
meisjes/vrouwen/dames/wijven
medium in
een Marietje
Mooie /schitterende /wonderschone antwoordge24 jaar
Wierden
/prachtige Ferrari
vend Artiest
marietje@roodhaar.
medium org
0621 888 146
Etc.
Rode Ferrari, mooie meisje

15. begrijpen
1950-2000 herkennen
2000 - nu
genereren

16. Werkende en bijna werkende TST-toepassingen
TAAL- & SPRAAKTECHNOLOGIE

17. Spoken Document
ContactCenter Retrieval Information
Retrieval
Voice
TST
Natural Language
Search
Web
Emotie detectie:
Lachen/Huilen Mens-Machine-
Mobile Identificatie / verificatie Dictation Communicatie

18. Taal- en
Spraaktechnologie

19. • Desktop
– Dictation
– Handsfree Command&Control
– Warehouse applications

21. Originele script TV uitzending
Spraak/niet-spraak
Conversie naar
sound only
Spreker clustering
Tekst processing
Oplijning
Uit te spreken Dag schat, hard
tekst gewerkt vandaag?

22. Klassieke manier
350
300
NEON manier
250
200
150
100
50
0
1 2 3 4 5 6 7 8 9 10
400 400
OT-tijd
350 350
NEON-tijd
300 300 ER-tijd
250 250
200 OT-tijd 200
ER-tijd
150 150
100 100
50 50
0 0
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 1 2 3 4 5 6 7
Klassieke manier NEON manier

24. WFH
Herinneringen aan Indonesië
H.M. Koningin
Wilhelmina
Veteranen Instituut
Tweede feministische golf
Buchenwald
Joods Historisch

26. Iedere dag wordt het 8-uurjournaal opgenomen en,
na afloop, door de spraakherkenner gehaald. De
herkende tekst kan doorzocht worden. Wordt een
woord gevonden, dan wordt het bijbehorende
fragment met een screendump getoond. Er kan
alleen gezocht worden in de journaals van de laatste
twee weken.
Beluisterde fragmenten kunnen op hun beurt
gekoppeld worden aan kranten artikelen van
Volkskrant, NRC, Trouw en Parool.

28. IVR SPRAAK IP-Telefonie
KlantContact
van nummer tot toestel
van klant tot agent

29. 60.000 woorden
Zoeken in Video en Audio Nederlands
Analyse van gesprekken/spraak 50.000 uur
spraakanalyse
Postcode huisnummer
10.000.000
spraakherkenning x Selfservice
Plaats, gemeente en 200.000 uur 14+netnummer
stationsnamen Spraakherkenning 100 gemeenten
2.000.000
Open vraag spraakherkenning Classificaties
29

31. van klant Van? mobiel, vast?
1 Via? Internet of Telefoon?
Naar? 088, 090x, 0800 of 14xyz
2 Identificatie : wie?
3 Classificatie : waarom?
Ruling : wat mag?
4 Routeren : Selfservice of live?
5 Werkplek : CTI en Kennis
6 Registratie : waarvoor?
tot agent
7 KTO : hoe was het?

32. 1
Bereikbaar onder 1 nummer
Iedere gemeente is straks bereikbaar via 14+netnummer
Nijkerk
Amersfoort
Bunschoten
14 033 Leusden
“Spreek de gemeentenaam in” Scherpenzeel
Woudenberg
0900 8844

33. 2
‘’Uw abonnement moet worden verlengd
we hebben nu een speciale actie…’’

34. 2
‘’ Mijn postcode
is 7521 PT ’’

35. 3
NL taal Zorg en CZ tekst
60.000 verzekering Internet
woorden termen folders

36. Welkom bij de gemeente. Zegt u het maar!
3 In de Open vraag spraakherkenning DEMO worden alle vragen waarvoor burgers bellen naar de gemeente
herkend en naar de juiste afdeling worden doorverbonden. Denkt u daarbij aan onderstaande onderwerpen:
• Adres- en contactgegevens • Rijbewijzen • Koopzondagen
• Afvalstoffen • Identiteitskaarten • WMO
• Bestemmingsplan • Melding openbare ruimte • WOZ
• Gemeentelijke belastingen • Openingstijden • Inkomen en bijstand
• Hondenbelasting • Persoonsadministratie • Ongediertebestrijding
• Afvalstoffenheffing • Bouwvergunningen • Schuldhulpverlening
• Rioolheffing • Parkeervergunningen • Verkiezingen
• Paspoorten • Kapvergunningen • Woonruimte
053 demo 80 35

37. • Snellere en betere classificatie t.o.v. keuzemenu’s
• Betere benutting van bestaande en nieuwe selfservice applicaties
• Verbetering van de (eerste) routering /vermindering herroutering
• Klanten hoeven niet te onthouden wat ze ook al weer moesten doen/zeggen
• Positief effect op de One Call Resolution
• Positieve invloed op de klanttevredenheid en werknemerstevredenheid
• Snel inspelen op ad hoc ontwikkelingen en calamiteiten
• Geeft bellers de mogelijkheid om in eigen woorden een vraag te stellen
• Kosten efficiënt

38. 4

39. kennis
“Heeft mijn reisverzekering een annuleringsdekking vanwege de aswolk?”
5 CTI en Kennis
naam Jan jansen
adres Colosseum 42
CRM
7521 PT Enschede
telefoon 053 488 99 00
e-mail jan@jansen.nl
Polis nr. 123456789
Product Reisverzekering

40. A. Loonontwikkeling
Geboren
B. 55-plussers
Nederland
C. Metaalbouw Metaalbouw
D. Nederland 55-plussers
E. Geboren
Loonontwikkeling

41. Extra
vraag
mens
QA1 QA2 QA10
QA2
QA9
QA3 QA
12
QA6
QA8
…
QA5 AQ3
…
QA4
QAN

42. van klant Van? mobiel, vast?
Via? Internet of Telefoon?
Naar? 088, 090x, 0800 of 14xyz
Identificatie : wie?
Classificatie : waarom?
Ruling : wat mag?
Routeren : Selfservice of live?
Toestel : CTI en Kennis
6 Registratie : waarvoor?
tot agent
7 KTO : hoe was het?

43. Datum en CLI nummer IVR Keuzes Inhoud TEXT
6 tijd
WACHT tijd
vd beller
DDI nummer Emotie
gebeld
Agent tijd
Het project
Vooronderzoek Go /NoGo Ontwerp
Gefaseerde
Finetuning Implementatie
uitrol

44. Ik heb een vraag U spreekt met OCW
over mijn studie Datum en DUO waarmee kan
financiering? tijd ik u helpen?
CLI nummer
Telefonie Contact center
vd beller netwerk Centrale ACD
DDI nummer
gebeld IVR Keuzes
1 2 WACHT tijd
Voice Recorder Agent tijd
Inhoud TEXT
Spraak
Analyse ‘Emotie’
DB

45. IVR teksten “Welkom. Voor vragen over uw
DTMF toontjes IVR Keuzes
studiefinanciering toets 1…”
Wachtmuziek “een ogenblik
Wachtmuziek en WACHT tijd
geduld nog. …”
melding
een Live “Goedendag u spreekt met DUO het gesprek
medewerker Waarmee kan ik u helpen?” van klant en
“Ja met Jansen, kunt u me agent
meer vertellen over de
studie loting………… Agent tijd
……………………………………………
……………………………………………
Inhoud TEXT
……………………………..…..”
Signaalanalyse
+1 - Piek
+1 - Cross talk ‘Emotie’
+1 - Stilte score

46. Site Gesprekken E-mail
60.000 IB-Groep
IB-Groep
Woorden en DUO Contact
DUO jargon
dialoog NL statistiek
Letterlijk gesproken tekst Door de spraakherkenner herkend.
(handmatig getranscribeerd)
“euro heb ingeschreven en
Taalmodel
“Uh ik ben ingeschreven en uh DUO
u krijg vanavond augustus al
IB-Groep
Krijg ik vanaf augustus nu al studiefinanciering
studiefinanciering?
En wat hut bedrag dan premies”
En wat is het bedrag dan
precies?”

47. 7

49. Open vraag spraakherkenning
Met een groot aantal producten en de wens om één nummer te gaan communiceren, was een traditioneel keuzemenu
voor AEGON niet meer toereikend. Klanten kunnen daarom tegenwoordig hun vraag aan AEGON inspreken, waarna ze
direct met de juiste medewerker worden doorgeschakeld. In deze presentatie wordt u meegenomen in het proces van het
idee tot een succesvolle implementatie van deze open vraag spraakherkenning oplossing.
RechtSpraakHerkenning: Taal- en spraaktechnologie in de Nederlandse
rechtbanken
In de Nederlandse rechtbanken worden regelmatig geluidsopnames gemaakt van de rechtszittingen ter ondersteuning van
de rechters en de griffiers. In het STEVIN project RechtSpraakHerkenning laten we zien dat met behulp van taal- en
spraaktechnologie de rechters, griffiers en officieren van justitie hun werk efficiënter kunnen uitvoeren. De griffiers worden
ondersteund bij het uitwerken van de processen-verbaal en rechters en officieren van justitie krijgen gereedschappen om
snel te zoeken en navigeren in de gemaakte opnames, waarbij zelfs automatisch een gesproken samenvatting kan worden
gegenereerd.
Oplijnen van ondertitels in TV programma's bij de NPO en VRT
Van de uitgezonden Nederlandstalige TV programma’s moet het overgrote deel voorzien worden van ondertiteling. Het
oplijnen ofwel het plaatsen van de juiste teksten op het juiste moment is een uitermate tijdrovend proces. Bij de NPO en de
VRT is een project uitgevoerd om dit proces te optimaliseren. Door het toepassen van geavanceerde taal- en
spraaktechnologie blijkt dat dit proces maar liefst 40% efficiënter kan.
Spraakanalyse in het Contact Center van DUO voorheen IB-Groep
Met behulp van Spraakanalyse krijgen organisaties meer inzicht in de inhoud van telefonisch klantcontact. Met
Spraakanalyse worden telefoongesprekken in het contact center opgenomen en met taal- en spraaktechnologie ver-werkt
en geanalyseerd op basis van de inhoud en “emotie” van het gesprek. Deze kennis kan worden gebruikt om de
klantinteractieprocessen te optimaliseren en de klantvriendelijkheid te vergroten. Aan de hand van de ‘DUO - IBGroep
casus’ laten we de onbegrensde mogelijkheden van Spraakanalyse zien.

50. WAT VINDEN DE
KLANTEN/GEBRUIKERS ER
EIGENLIJK VAN?

51. ‘’ Mijn postcode
is 7521 PT ’’

52. klachten
1.4M
service-
calls /jaar
Anders
39%
Bezorg
61%
685K
incidentele
klachten /jaar

53. 8844 0900-8844
De Politie over spraakherkenning bij 0900-8844:
•Een concept dat schittert in zijn eenvoud
•Een verrassend snelle implementatie
•Een uitkomst die direct al een groot succes is
•Een besparing die oploopt tot acht ton op jaarbasis Service niveau op
•Een mooi succes in tijden waarin we het geld goed kunnen gebruiken (aldus
0900-8844 is bepalend
korpschef politie - Intake en Noodhulp) voor het eindoordeel
•De druk op de centrale van het KLPD is daarmee aanzienlijk – ik zou bijna
zeggen: rigoureus – verminderd.

54. Gemeenten werken hard aan hun bereikbaarheid.
14 XYZ
In het kader van de telefonische bereikbaarheid is een landelijk nummer ingevoerd, dat bestaat uit 14 en het netnummer. Dit
nummer zorgt ervoor dat alle gemeenten één herkenbare telefonische ingang krijgen. Voor de gemeente Heumen draait u dus het
nummer 14 024. Dat geldt ook voor andere gemeenten met dit netnummer, zoals Nijmegen, Wijchen en Beuningen. U wordt dan
verbonden met een spraakcomputer, die u vraagt duidelijk de gemeentenaam in te spreken. Er is uitvoerig getest met de
spraakcomputer en de resultaten zijn nagenoeg perfect. Mocht er onverhoopt toch iets misgaan met de spraakherkenning, dan
wordt u automatisch doorverbonden met de gemeente Nijmegen, die u weer doorverbindt naar de gemeente van uw keuze.
Kans op fouten sterk verkleind
Op 7 mei is er achter vier van de 14+netnummers Antwoord© een sterk verbeterde spraakkeuze techniek
geïntroduceerd: Drechtsteden (14 078), Deventer/Olst-Wijhe (14 0570), regio Nijmegen (14 024) en
Breda/Etten-Leur (14 076). De kans op fouten in de herkenning van de gemeentenamen die door burgers
worden ingesproken als zij het 14+netnnummer Antwoord© bellen, is hiermee sterk verkleind. Uitgebreide
tests door de gemeenten lieten een erg positief beeld zien. Ook na het openstellen van de nummers voor
burgers is de eerste indruk dat er inderdaad sprake is van een grote verbetering in de herkenning. Burgers
komen hierdoor sneller en makkelijker dan voorheen bij de goede gemeente terecht.

56. • Multimodaliteit
• Verschillende modaliteiten (telefoon, spoken-chat, text-chat, mail,
web-form) zullen steeds meer doorelkaar gebruikt worden, hoewel
ieder medium zijn eigen gebruikers EN zijn eigen gebruik zal kennen.
• CC-agents zullen in toenemende mate de verschillende modaliteiten
(door elkaar) moeten kunnen gebruiken.
• Uiteindelijk communiceren we met tekst, spraak, video, links en
documenten door elkaar heen. Goede agents moeten zich dus in
woord EN spraak goed kunnen uitdrukken.

57. • Wordt er door elkaar gesproken?
• Wordt de luidheid van de spraak snel hoger?
• Worden er onwelvoegelijke woorden gebruikt?

59. • Vragen worden herleid tot de N-best passende
voorbeeld vragen. Deze worden teruggegeven en de
gebruiker kiest dan de juiste vraag.

60. • It’s not speech
Recognition
• It’s not searching
• It’s Artificial
Intelligence

61. • Jeopardy
– Verzin de juiste vraag die bij
een gegeven antwoord hoort
– IBM’s Watson liep rondjes
rond de ex-wereldkampioen en degene
die tot nu toe er het meeste geld mee had
gewonnen

63. Gesproken en visueel Geheel natuurlijke
overdraagbare Mens-Machine
informatie Interactie
Band mens-avatar

64. Stel dat een computer
zo reageert….

66. Einde, klaar, finito, ready, fin, ende
VRAGEN?