Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Amazon Alexa: our successes and fails

1,220 views

Published on

В течение предыдущих нескольких лет многие технологические гиганты выпустили на рынок устройства для дома с функцией голосового помощника: первыми из гигантов был Amazon c его Echo-девайсами, потом Google Home, а совсем недавно появился и Apple HomePod. У меня и моей команды в руках оказалась "умная колонка" Amazon Echo, которая как раз и выступает в роли домашнего голосового помощника. Мы подумали, что было бы интересно сделать полезное приложение для этого девайса, адаптированное под наши реалии и нужды. От слов к делу мы перешли очень быстро и в результате получили весьма увлекательный опыт, которым я с радостью поделился с аудиторией DevBDay митапа.

В своем выступлении я рассказал, что это за устройство Amazon Echo и насколько сложно/легко написать свое приложение для него, а также поделился впечатлениями от разработки двух приложений для Amazon Alexa. Ну и конечно же показал девайс в деле!

Презентация подготовлена по материалам выступления на витебском DevBDay (https://vk.com/devbday), который прошел 15 сентября 2017.

Published in: Technology
  • Be the first to comment

Amazon Alexa: our successes and fails

  1. 1. AMAZON ALEXA our successes and fails 15 Sep 2017 DevBDay
  2. 2. Viachaslau Lialkin EPAM Systems vlialkin 2
  3. 3. 3 Introduction to Amazon Alexa
  4. 4. 4 Amazon Alexa is the cloud-based "brain" behind Amazon voice assistant devices.
  5. 5. 5 Music & Entertainment News & Information Calling & Messaging Help Around the House Shopping experience Custom Skills Assists with
  6. 6. 6 // Information & Help
  7. 7. 7 // Music
  8. 8. 8 // Smart home
  9. 9. 9 There is also store for Alexa Skills …
  10. 10. 11 Echo Dot $49.99 Amazon Echo $179.99 Echo Show $229.99 // Devices
  11. 11. 12 Amazon Alexa engine Amazon Echo Amazon Echo Dot devices Amazon Echo Show
  12. 12. 13 How phrases are built?
  13. 13. 14 Alexa, ask Uber to request a ride
  14. 14. 15 Keyword First word in every request Required to wake up the device Alexa, ask Uber to request a ride
  15. 15. 16 Skill invocation name Defined by Skill developer Phrase is sent to the concrete Skill Alexa, ask Uber to request a ride
  16. 16. 17 Intent from the Uber Skill Should be defined by Skill developer Multiple utterances of single action are possible Alexa, ask Uber to request a ride
  17. 17. 18 Alexa, set timer for 20 minutes No skill invocation name, because it is built-it Alexa functionality
  18. 18. 19
  19. 19. 20 // How to create Skill - Set Invocation Name (string) - Build Interaction Model (json) - Implement Speechlet interface void onSessionStarted(SessionStartedRequest, Session) void onSessionEnded(SessionEndedRequest, Session) SpeechletResponse onLaunch(LaunchRequest, Session) SpeechletResponse onIntent(IntentRequest, Session)
  20. 20. 21 // How to test - Use devices (thanks, Captain!) - Use text emulator - Use voice emulator
  21. 21. Story #1: Alexa Office 
  22. 22. 23 Alexa, ask Office where is Viachaslau Lialkin
  23. 23. 24 Alexa, ask Office where is Viachaslau Lialkin Viachaslau Lialkin is on the meeting till 17:00 Viachaslau Lialkin is on vacation till September 22 Unfortunately Viachaslau Lialkin is on sick leave today
  24. 24. 25 // How does it work HTTPS Web-app (Java) Telescope API MS Exchange API Amazon Developer web-interface "office" EmployeeAvailabilityIntent - "where is {EmployeeName} now", - "is {EmployeeName} free now", - "is {EmployeeName} available now", - "is {EmployeeName} busy now", - "to find {EmployeeName}" Heroku Endpoint Type (our URL) Skill Name External APIs Invocation Name ("office")
  25. 25. 26 // What did we do well - Integration w/ external systems - Synonyms in Interaction Model (voice-to-text) - Synonyms in web-app (text-to-identifier) - Transcription of names in web-app (text-to-voice) OK OK OK OK
  26. 26. 27 - Bad recognition and pronunciation of names (voice-to-text and text-to-voice) - Not convenient to ask Alexa and better to check manually ERR ERR // Known problems
  27. 27. Story #2: Alexa Question 
  28. 28. 29 Alexa, ask Question
  29. 29. 30 Java Core - Could you please describe, what is happening during adding element into LinkedList? Spring - What is DispatcherServlet? Alexa, ask Question Design Patterns - Could you please compare patterns Facade and Adapter?
  30. 30. 31 // How does it work % Amazon Developer web-interface "question" QuestionIntent - "question", - "please", - "next", - "repeat", - "from {tag}", - "about {tag}" TXT-file with 60+ questions Skill Name Invocation Name ("question")
  31. 31. 33
  32. 32. 34

×