Selfservice via de telefoon en de      Onderzoek naar Mens-Machine Interactie    ontsluiting van gesproken           (Embo...
• Inleiding   – Hoe zit het met de menselijke Taal en Spraak?   – Wat is Taal- en Spraaktechnologie (TST)?• Werkende appli...
De ontwikkeling van demenselijke taal (of spraak) iswaarschijnlijk 100.000 jaargeleden begonnen.Daar vóór hadden de mensel...
• Het pictografische schrift  (3300 AD Sumer, Mesopotamië)  is voor zover bekend, de oudste  geschreven taal.             ...
Dieren             Communicatie   Geur         Geluiden    Lichaamstaal  Taal           Spraak(abstract)                 S...
• Het menselijke communicatie systeem kenmerkt  zich door een hoge mate van redundantie. We  kunnen woorden weglaten, verk...
• In een steeds complexere wereld waarin het  belang van snel juiste informatie krijgen of geven  steeds groter wordt en w...
• Lang wachten, frequent doorverbinden, het  herhalen van eerder gegeven informatie en  andere “vervelende” zaken worden s...
Hoe werkt het en wat kun je ermee?TAAL- & SPRAAKTECHNOLOGIE
OCR     CR-tekst      ASR  Optical                             Automatic                    interpretatie Character       ...
OCR                      CR-tekst                      ASR                                     interpretatie              ...
Wat zegt U?           Wat bedoelt U?Spraak is meer dan de omzetting vaneen reeks klanken in letters/A/       /p/ /@/ /l/  ...
• Internet zal               Web 3.0                 Web                                       veranderen                (...
begrijpen1950-2000   herkennen2000 - nu                genereren
Werkende en bijna werkende TST-toepassingenTAAL- & SPRAAKTECHNOLOGIE
Spoken Document                    ContactCenter                      Retrieval                  Information              ...
Taal- enSpraaktechnologie
• Desktop  – Dictation  – Handsfree Command&Control  – Warehouse applications
Originele script                          TV uitzending                    Spraak/niet-spraak                             ...
Klassieke manier350300                                                                                                    ...
WFH                                            Herinneringen aan Indonesië                            H.M. Koningin       ...
Iedere dag wordt het 8-uurjournaal opgenomen en,na afloop, door de spraakherkenner gehaald. Deherkende tekst kan doorzocht...
IVR   SPRAAK   IP-TelefonieKlantContact van nummer tot toestel   van klant tot agent
60.000 woorden     Zoeken in Video en Audio     NederlandsAnalyse van gesprekken/spraak      50.000 uur                   ...
van klant           Van? mobiel, vast?     1              Via? Internet of Telefoon?                   Naar? 088, 090x, 08...
1        Bereikbaar onder 1 nummer    Iedere gemeente is straks bereikbaar via 14+netnummer                               ...
2‘’Uw abonnement moet worden verlengd   we hebben nu een speciale actie…’’
2‘’ Mijn postcode   is 7521 PT ’’
3 NL taal     Zorg en         CZ tekst 60.000    verzekering       Internetwoorden      termen           folders
Welkom bij de gemeente. Zegt u het maar!3       In de Open vraag spraakherkenning DEMO worden alle vragen waarvoor burgers...
•   Snellere en betere classificatie t.o.v. keuzemenu’s•   Betere benutting van bestaande en nieuwe selfservice applicatie...
4
kennis         “Heeft mijn reisverzekering een annuleringsdekking vanwege de aswolk?”         5 CTI en Kennis             ...
A. Loonontwikkeling                      GeborenB. 55-plussers                            NederlandC. Metaalbouw          ...
Extra                                           vraag      mensQA1                                  QA2           QA10QA2 ...
van klant           Van? mobiel, vast?                    Via? Internet of Telefoon?                   Naar? 088, 090x, 08...
Datum en    CLI nummer   IVR Keuzes   Inhoud TEXT     6                                          tijd                     ...
Ik heb een vraag                                                         U spreekt met OCWover mijn studie                ...
IVR teksten        “Welkom. Voor vragen over uw                                                                    DTMF to...
Site   Gesprekken   E-mail                60.000                           IB-Groep                                 IB-Gro...
7
Open vraag spraakherkenningMet een groot aantal producten en de wens om één nummer te gaan communiceren, was een tradition...
WAT VINDEN DEKLANTEN/GEBRUIKERS EREIGENLIJK VAN?
‘’ Mijn postcode   is 7521 PT ’’
klachten 1.4Mservice-calls /jaar                  Anders                   39%                                      Bezorg...
8844                          0900-8844De Politie over spraakherkenning bij 0900-8844:•Een concept dat schittert in zijn e...
Gemeenten werken hard aan hun bereikbaarheid.                                                                             ...
• Multimodaliteit• Verschillende modaliteiten (telefoon, spoken-chat, text-chat, mail,   web-form) zullen steeds meer door...
•   Wordt er door elkaar gesproken?•   Wordt de luidheid van de spraak snel hoger?•   Worden er onwelvoegelijke woorden ge...
• Vragen worden herleid tot de N-best passende  voorbeeld vragen. Deze worden teruggegeven en de  gebruiker kiest dan de j...
• It’s not speech  Recognition• It’s not searching• It’s Artificial  Intelligence
• Jeopardy  – Verzin de juiste vraag die bij    een gegeven antwoord hoort  – IBM’s Watson liep rondjes     rond de ex-wer...
Gesproken en visueel                      Geheel natuurlijke   overdraagbare                           Mens-Machine     in...
Stel dat een computerzo reageert….
Einde, klaar, finito, ready, fin, endeVRAGEN?
College taal & spraaktechnologie arjan van hessen
College taal & spraaktechnologie arjan van hessen
College taal & spraaktechnologie arjan van hessen
College taal & spraaktechnologie arjan van hessen
College taal & spraaktechnologie arjan van hessen
College taal & spraaktechnologie arjan van hessen
College taal & spraaktechnologie arjan van hessen
College taal & spraaktechnologie arjan van hessen
College taal & spraaktechnologie arjan van hessen
College taal & spraaktechnologie arjan van hessen
College taal & spraaktechnologie arjan van hessen
Upcoming SlideShare
Loading in …5
×

College taal & spraaktechnologie arjan van hessen

780 views

Published on

Slides van het college van Arjan van Hessen over Taal- en Spraaktechnologie

Published in: Education
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
780
On SlideShare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
5
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

College taal & spraaktechnologie arjan van hessen

  1. 1. Selfservice via de telefoon en de Onderzoek naar Mens-Machine Interactie ontsluiting van gesproken (Embodied Agents) en de ontsluiting van documenten mbv gesproken documenten mbv Taal- en Spraaktechnologie Taal- en Spraaktechnologie Het standaardiseren (van zowel data als tools om hiermee om te gaan) van talige, Arjan van Hessen wetenschappelijke data voor de geesteswetenschappen.
  2. 2. • Inleiding – Hoe zit het met de menselijke Taal en Spraak? – Wat is Taal- en Spraaktechnologie (TST)?• Werkende applicaties – Klassieke spraakherkenning – Geavanceerde spraakherkenning – Self-service – Spraakanalyse• (Nabije) toekomst
  3. 3. De ontwikkeling van demenselijke taal (of spraak) iswaarschijnlijk 100.000 jaargeleden begonnen.Daar vóór hadden de menselijkekaak, de mond en de larynx deverkeerde vorm om woorden tevormen.Iets dat we nu nog bij de apenzien.
  4. 4. • Het pictografische schrift (3300 AD Sumer, Mesopotamië) is voor zover bekend, de oudste geschreven taal. NU -100.000 -10.000 -3300 spraak landbouw schrift
  5. 5. Dieren Communicatie Geur Geluiden Lichaamstaal Taal Spraak(abstract) Schrift Mensen
  6. 6. • Het menselijke communicatie systeem kenmerkt zich door een hoge mate van redundantie. We kunnen woorden weglaten, verkeerde woorden uitspreken, mompelen. Ook kunnen we spreken op feestjes met veel achtergrondlawaai. Toch lukt het communiceren meestal wel.• Willen we natuurlijk met machines kunnen communiceren, dan moeten we dit gedrag (tenminste deels) inbouwen.
  7. 7. • In een steeds complexere wereld waarin het belang van snel juiste informatie krijgen of geven steeds groter wordt en waarin de overvloed aan informatie voor een soort informatie-infarct zorgt, is TST een noodzakelijkheid geworden.• Gebruikers gaan er steeds meer vanuit dat ze altijd toegang kunnen krijgen tot “hun bestanden”. Uiteraard via het Web maar ook via de telefoon.
  8. 8. • Lang wachten, frequent doorverbinden, het herhalen van eerder gegeven informatie en andere “vervelende” zaken worden steeds minder geaccepteerd.• Het herkennen van de beller wordt gezien als een standaard commodity: zit immers op elke mobiel.
  9. 9. Hoe werkt het en wat kun je ermee?TAAL- & SPRAAKTECHNOLOGIE
  10. 10. OCR CR-tekst ASR Optical Automatic interpretatie Character SpeechRecognition Recognition actie
  11. 11. OCR CR-tekst ASR interpretatie actieTwente Nieuws Corpus: >600M woorden uit 10-jaar PCM-kranten, Autocues, Tijdschriften
  12. 12. Wat zegt U? Wat bedoelt U?Spraak is meer dan de omzetting vaneen reeks klanken in letters/A/ /p/ /@/ /l/ /A/ /p/ /@/ /l/ /t/ /j/ /@/ appel appeltje
  13. 13. • Internet zal Web 3.0 Web veranderen (QA) 1.0/2.0 van een het rode haar van het meisje opzoekVuurrode/rode haren/haar van demeisjes/vrouwen/dames/wijven medium in een Marietje Mooie /schitterende /wonderschone antwoordge24 jaar Wierden /prachtige Ferrari vend Artiest marietje@roodhaar. medium org 0621 888 146 Etc. Rode Ferrari, mooie meisje
  14. 14. begrijpen1950-2000 herkennen2000 - nu genereren
  15. 15. Werkende en bijna werkende TST-toepassingenTAAL- & SPRAAKTECHNOLOGIE
  16. 16. Spoken Document ContactCenter Retrieval Information RetrievalVoice TST Natural Language SearchWeb Emotie detectie: Lachen/Huilen Mens-Machine-Mobile Identificatie / verificatie Dictation Communicatie
  17. 17. Taal- enSpraaktechnologie
  18. 18. • Desktop – Dictation – Handsfree Command&Control – Warehouse applications
  19. 19. Originele script TV uitzending Spraak/niet-spraak Conversie naar sound only Spreker clusteringTekst processing Oplijning Uit te spreken Dag schat, hard tekst gewerkt vandaag?
  20. 20. Klassieke manier350300 NEON manier250200150100 50 0 1 2 3 4 5 6 7 8 9 10400 400 OT-tijd350 350 NEON-tijd300 300 ER-tijd250 250200 OT-tijd 200 ER-tijd150 150100 100 50 50 0 0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 1 2 3 4 5 6 7 Klassieke manier NEON manier
  21. 21. WFH Herinneringen aan Indonesië H.M. Koningin Wilhelmina Veteranen InstituutTweede feministische golf Buchenwald Joods Historisch
  22. 22. Iedere dag wordt het 8-uurjournaal opgenomen en,na afloop, door de spraakherkenner gehaald. Deherkende tekst kan doorzocht worden. Wordt eenwoord gevonden, dan wordt het bijbehorendefragment met een screendump getoond. Er kanalleen gezocht worden in de journaals van de laatstetwee weken.Beluisterde fragmenten kunnen op hun beurtgekoppeld worden aan kranten artikelen vanVolkskrant, NRC, Trouw en Parool.
  23. 23. IVR SPRAAK IP-TelefonieKlantContact van nummer tot toestel van klant tot agent
  24. 24. 60.000 woorden Zoeken in Video en Audio NederlandsAnalyse van gesprekken/spraak 50.000 uur spraakanalyse Postcode huisnummer 10.000.000 spraakherkenning x Selfservice Plaats, gemeente en 200.000 uur 14+netnummer stationsnamen Spraakherkenning 100 gemeenten 2.000.000 Open vraag spraakherkenning Classificaties 29
  25. 25. van klant Van? mobiel, vast? 1 Via? Internet of Telefoon? Naar? 088, 090x, 0800 of 14xyz 2 Identificatie : wie? 3 Classificatie : waarom? Ruling : wat mag? 4 Routeren : Selfservice of live? 5 Werkplek : CTI en Kennis 6 Registratie : waarvoor? tot agent 7 KTO : hoe was het?
  26. 26. 1 Bereikbaar onder 1 nummer Iedere gemeente is straks bereikbaar via 14+netnummer Nijkerk Amersfoort Bunschoten 14 033 Leusden “Spreek de gemeentenaam in” Scherpenzeel Woudenberg 0900 8844
  27. 27. 2‘’Uw abonnement moet worden verlengd we hebben nu een speciale actie…’’
  28. 28. 2‘’ Mijn postcode is 7521 PT ’’
  29. 29. 3 NL taal Zorg en CZ tekst 60.000 verzekering Internetwoorden termen folders
  30. 30. Welkom bij de gemeente. Zegt u het maar!3 In de Open vraag spraakherkenning DEMO worden alle vragen waarvoor burgers bellen naar de gemeente herkend en naar de juiste afdeling worden doorverbonden. Denkt u daarbij aan onderstaande onderwerpen:• Adres- en contactgegevens • Rijbewijzen • Koopzondagen• Afvalstoffen • Identiteitskaarten • WMO• Bestemmingsplan • Melding openbare ruimte • WOZ• Gemeentelijke belastingen • Openingstijden • Inkomen en bijstand• Hondenbelasting • Persoonsadministratie • Ongediertebestrijding• Afvalstoffenheffing • Bouwvergunningen • Schuldhulpverlening• Rioolheffing • Parkeervergunningen • Verkiezingen• Paspoorten • Kapvergunningen • Woonruimte 053 demo 80 35
  31. 31. • Snellere en betere classificatie t.o.v. keuzemenu’s• Betere benutting van bestaande en nieuwe selfservice applicaties• Verbetering van de (eerste) routering /vermindering herroutering• Klanten hoeven niet te onthouden wat ze ook al weer moesten doen/zeggen• Positief effect op de One Call Resolution• Positieve invloed op de klanttevredenheid en werknemerstevredenheid• Snel inspelen op ad hoc ontwikkelingen en calamiteiten• Geeft bellers de mogelijkheid om in eigen woorden een vraag te stellen• Kosten efficiënt
  32. 32. 4
  33. 33. kennis “Heeft mijn reisverzekering een annuleringsdekking vanwege de aswolk?” 5 CTI en Kennis naam Jan jansen adres Colosseum 42 CRM 7521 PT Enschede telefoon 053 488 99 00 e-mail jan@jansen.nl Polis nr. 123456789 Product Reisverzekering
  34. 34. A. Loonontwikkeling GeborenB. 55-plussers NederlandC. Metaalbouw MetaalbouwD. Nederland 55-plussersE. Geboren Loonontwikkeling
  35. 35. Extra vraag mensQA1 QA2 QA10QA2 QA9QA3 QA 12 QA6 QA8… QA5 AQ3… QA4QAN
  36. 36. van klant Van? mobiel, vast? Via? Internet of Telefoon? Naar? 088, 090x, 0800 of 14xyz Identificatie : wie? Classificatie : waarom? Ruling : wat mag? Routeren : Selfservice of live? Toestel : CTI en Kennis 6 Registratie : waarvoor? tot agent 7 KTO : hoe was het?
  37. 37. Datum en CLI nummer IVR Keuzes Inhoud TEXT 6 tijd WACHT tijd vd beller DDI nummer Emotie gebeld Agent tijd Het projectVooronderzoek Go /NoGo Ontwerp Gefaseerde Finetuning Implementatie uitrol
  38. 38. Ik heb een vraag U spreekt met OCWover mijn studie Datum en DUO waarmee kan financiering? tijd ik u helpen? CLI nummer Telefonie Contact center vd beller netwerk Centrale ACD DDI nummer gebeld IVR Keuzes 1 2 WACHT tijd Voice Recorder Agent tijd Inhoud TEXT Spraak Analyse ‘Emotie’ DB
  39. 39. IVR teksten “Welkom. Voor vragen over uw DTMF toontjes IVR Keuzes studiefinanciering toets 1…”Wachtmuziek “een ogenblik Wachtmuziek en WACHT tijd geduld nog. …” melding een Live “Goedendag u spreekt met DUO het gesprekmedewerker Waarmee kan ik u helpen?” van klant en “Ja met Jansen, kunt u me agent meer vertellen over de studie loting………… Agent tijd …………………………………………… …………………………………………… Inhoud TEXT ……………………………..…..” Signaalanalyse +1 - Piek +1 - Cross talk ‘Emotie’ +1 - Stilte score
  40. 40. Site Gesprekken E-mail 60.000 IB-Groep IB-Groep Woorden en DUO Contact DUO jargon dialoog NL statistiekLetterlijk gesproken tekst Door de spraakherkenner herkend.(handmatig getranscribeerd) “euro heb ingeschreven en Taalmodel“Uh ik ben ingeschreven en uh DUO u krijg vanavond augustus al IB-GroepKrijg ik vanaf augustus nu al studiefinancieringstudiefinanciering? En wat hut bedrag dan premies”En wat is het bedrag danprecies?”
  41. 41. 7
  42. 42. Open vraag spraakherkenningMet een groot aantal producten en de wens om één nummer te gaan communiceren, was een traditioneel keuzemenuvoor AEGON niet meer toereikend. Klanten kunnen daarom tegenwoordig hun vraag aan AEGON inspreken, waarna zedirect met de juiste medewerker worden doorgeschakeld. In deze presentatie wordt u meegenomen in het proces van hetidee tot een succesvolle implementatie van deze open vraag spraakherkenning oplossing.RechtSpraakHerkenning: Taal- en spraaktechnologie in de NederlandserechtbankenIn de Nederlandse rechtbanken worden regelmatig geluidsopnames gemaakt van de rechtszittingen ter ondersteuning vande rechters en de griffiers. In het STEVIN project RechtSpraakHerkenning laten we zien dat met behulp van taal- enspraaktechnologie de rechters, griffiers en officieren van justitie hun werk efficiënter kunnen uitvoeren. De griffiers wordenondersteund bij het uitwerken van de processen-verbaal en rechters en officieren van justitie krijgen gereedschappen omsnel te zoeken en navigeren in de gemaakte opnames, waarbij zelfs automatisch een gesproken samenvatting kan wordengegenereerd.Oplijnen van ondertitels in TV programmas bij de NPO en VRTVan de uitgezonden Nederlandstalige TV programma’s moet het overgrote deel voorzien worden van ondertiteling. Hetoplijnen ofwel het plaatsen van de juiste teksten op het juiste moment is een uitermate tijdrovend proces. Bij de NPO en deVRT is een project uitgevoerd om dit proces te optimaliseren. Door het toepassen van geavanceerde taal- enspraaktechnologie blijkt dat dit proces maar liefst 40% efficiënter kan.Spraakanalyse in het Contact Center van DUO voorheen IB-GroepMet behulp van Spraakanalyse krijgen organisaties meer inzicht in de inhoud van telefonisch klantcontact. MetSpraakanalyse worden telefoongesprekken in het contact center opgenomen en met taal- en spraaktechnologie ver-werkten geanalyseerd op basis van de inhoud en “emotie” van het gesprek. Deze kennis kan worden gebruikt om deklantinteractieprocessen te optimaliseren en de klantvriendelijkheid te vergroten. Aan de hand van de ‘DUO - IBGroepcasus’ laten we de onbegrensde mogelijkheden van Spraakanalyse zien.
  43. 43. WAT VINDEN DEKLANTEN/GEBRUIKERS EREIGENLIJK VAN?
  44. 44. ‘’ Mijn postcode is 7521 PT ’’
  45. 45. klachten 1.4Mservice-calls /jaar Anders 39% Bezorg 61% 685K incidentele klachten /jaar
  46. 46. 8844 0900-8844De Politie over spraakherkenning bij 0900-8844:•Een concept dat schittert in zijn eenvoud•Een verrassend snelle implementatie•Een uitkomst die direct al een groot succes is•Een besparing die oploopt tot acht ton op jaarbasis Service niveau op•Een mooi succes in tijden waarin we het geld goed kunnen gebruiken (aldus 0900-8844 is bepalendkorpschef politie - Intake en Noodhulp) voor het eindoordeel•De druk op de centrale van het KLPD is daarmee aanzienlijk – ik zou bijnazeggen: rigoureus – verminderd.
  47. 47. Gemeenten werken hard aan hun bereikbaarheid. 14 XYZIn het kader van de telefonische bereikbaarheid is een landelijk nummer ingevoerd, dat bestaat uit 14 en het netnummer. Ditnummer zorgt ervoor dat alle gemeenten één herkenbare telefonische ingang krijgen. Voor de gemeente Heumen draait u dus hetnummer 14 024. Dat geldt ook voor andere gemeenten met dit netnummer, zoals Nijmegen, Wijchen en Beuningen. U wordt danverbonden met een spraakcomputer, die u vraagt duidelijk de gemeentenaam in te spreken. Er is uitvoerig getest met despraakcomputer en de resultaten zijn nagenoeg perfect. Mocht er onverhoopt toch iets misgaan met de spraakherkenning, danwordt u automatisch doorverbonden met de gemeente Nijmegen, die u weer doorverbindt naar de gemeente van uw keuze. Kans op fouten sterk verkleind Op 7 mei is er achter vier van de 14+netnummers Antwoord© een sterk verbeterde spraakkeuze techniek geïntroduceerd: Drechtsteden (14 078), Deventer/Olst-Wijhe (14 0570), regio Nijmegen (14 024) en Breda/Etten-Leur (14 076). De kans op fouten in de herkenning van de gemeentenamen die door burgers worden ingesproken als zij het 14+netnnummer Antwoord© bellen, is hiermee sterk verkleind. Uitgebreide tests door de gemeenten lieten een erg positief beeld zien. Ook na het openstellen van de nummers voor burgers is de eerste indruk dat er inderdaad sprake is van een grote verbetering in de herkenning. Burgers komen hierdoor sneller en makkelijker dan voorheen bij de goede gemeente terecht.
  48. 48. • Multimodaliteit• Verschillende modaliteiten (telefoon, spoken-chat, text-chat, mail, web-form) zullen steeds meer doorelkaar gebruikt worden, hoewel ieder medium zijn eigen gebruikers EN zijn eigen gebruik zal kennen.• CC-agents zullen in toenemende mate de verschillende modaliteiten (door elkaar) moeten kunnen gebruiken.• Uiteindelijk communiceren we met tekst, spraak, video, links en documenten door elkaar heen. Goede agents moeten zich dus in woord EN spraak goed kunnen uitdrukken.
  49. 49. • Wordt er door elkaar gesproken?• Wordt de luidheid van de spraak snel hoger?• Worden er onwelvoegelijke woorden gebruikt?
  50. 50. • Vragen worden herleid tot de N-best passende voorbeeld vragen. Deze worden teruggegeven en de gebruiker kiest dan de juiste vraag.
  51. 51. • It’s not speech Recognition• It’s not searching• It’s Artificial Intelligence
  52. 52. • Jeopardy – Verzin de juiste vraag die bij een gegeven antwoord hoort – IBM’s Watson liep rondjes rond de ex-wereldkampioen en degene die tot nu toe er het meeste geld mee had gewonnen
  53. 53. Gesproken en visueel Geheel natuurlijke overdraagbare Mens-Machine informatie Interactie Band mens-avatar
  54. 54. Stel dat een computerzo reageert….
  55. 55. Einde, klaar, finito, ready, fin, endeVRAGEN?

×