inovex Meetup Köln, 12.06.2017
Dominik Helleberg, Sebastian Meßingfeld
Sebastian Meßingfeld und Dominik Helleberg stellen die Neuerungen von Voice Assistants vor, gehen auf prinzipielle Funktionsweisen ein und zeigen ein, zwei Features in einer Demo. Fokus legen sie dabei auf Alexa und Google Home.
Mehr Tech-Vorträge: https://www.inovex.de/de/content-pool/vortraege/
7. Voice User Interfaces
The hot ones - APIs
Skills
Custom Skills
Smart Home Skills
Flash Briefing Skills
Actions
on Google
Conversations
Transactions (Developer Preview)
Smart Homehttps://en.wikipedia.org/wiki/Amazon_Echo
https://madeby.google.com/home/
8. Voice User Interfaces
Actions on Google
Google
Home
Speech
Recognition
Action
Selection
Intent
Selection
Entity
Extraction
Fulfillment
Natural Language
Understanding
16. Voice User Interfaces
Actions on Google – Smart Transport
Google
Home
Speech
Recognition
Action
Selection
Intent
Selection
Entity
Extraction
17. Voice User Interfaces
Actions on Google – Smart Transport
Google
Home
Speech
Recognition
Action
Selection
Intent
Selection
Entity
Extraction
Fulfillment
https://
18. Voice User Interfaces
Actions on Google – Smart Transport
Welcome Message
WELCOME_INTENT
Complete Entities?
Suchanfrage
Query Entities
Nein Ja
Antwort
(1. Verbindung)
„Nächste“
Antwort
(2. Verbindung)
Query Fulfillment
20. Voice User Interfaces
Actions on Google – Smart Transport
Entities
Name Type Req
From * +
To * +
Depature_Date Date (sys)
Depature_Time Time (sys)
Transport_Type „Bus“,
„Tram“, ..
27. Voice User Interfaces
Actions on Google – Smart Transport - Testing
Google
Home
Speech
Recognition
Action
Selection
Intent
Selection
Entity
Extraction
Fulfillment
ChatBot
37. Voice User Interfaces
Actions on Google – Smart Transport
• Beta Tests sind sinnvoll
• User finden unsere Features nicht
• Dafür möchten sie andere Features
• Entities sind immer zu überprüfen
• Deutsch / Englisch zu mischen ist keine good idea...
38. Voice User Interfaces
Lessons Learned
• VUI‘s vs. ChatBots
• User fragen sehr spezifische Dinge
• VUI‘s sind gut für kurze, präzise Informationen / Abläufe
• Reaktionszeiten sind wichtig
• Benutzerführung ist wichtig
• Automatisierung / Deployment noch nicht vorhanden
• Neue „Gatekeeper“
39. Voice User Interfaces
Summary / Outlook
• Speech Recognition ist deutlich besser
• NLU braucht noch Verbesserungen
• Abläufe sind immer noch geskripted
• Multi-Account
• Privacy / Security
• Rückkopplung an andere UIs
• Discovery
• Testing
45. Voice User Interfaces
What’s new on alexa?
Skill Builder (Beta)
• Grafische Oberfläche um bisheriges Interaktionsmodel zu erstellen
• Trennung zwischen Intent, Slots und Utterances wird „aufgehoben“
• Dialoge gestalten (neu)
• multi-turn conversation
• Kein Wechsel zwischen Intents mehr nötig
• Intent-Slots (Parameter) müssen nicht mehr initial übergeben werden
• fehlende Slots werden automatisiert abgefragt
• Hinterlegung von vordefinierten Fragen möglich
• Roundtrip zum Skill-Service bei jedem Slot
48. Voice User Interfaces
What’s new on alexa?
Ablauf Multi-Turn Conversation
• notwendige Slot-Werte fehlen im Intent
• Parameter für Dialogstatus: dialogState & confirmationStatus
• Skill-Service
• nächste Abfrage eines Slots
• gezielte Abfrage eines Slots
• Confirmation für Slots und Intents (YES / NO)
• Veränderung eines Slot-Wertes
fehlender
Slot Wert
Aufruf
Skill Service
Ausgabe an
User
Überprüfung
Intent
49. Voice User Interfaces
Summary / Outlook
• VUIs sind schon ziemlich cool, aber
Alexa, Du musst echt noch viel lernen...
Danke!