Your SlideShare is downloading. ×
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Dialog Systems Design
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

Dialog Systems Design

881

Published on

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
881
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
18
Comments
0
Likes
0
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide
  • Transcript

    • 1. Речевые интерфейсы Бочаров Виктор
    • 2. Disclaimer
      • Мы не будем говорить …
        • о чат ботах, тесте Тьюринга и премии Лебнера
        • поисковых системах ( http:// www.ask.com )
      • «Мопед не мой …» (с)
    • 3. Источники
      • Ravenclaw/Olympus dialog system architecture ( http :// www.ravenclaw-olympus.org )
      • “ Jaspis - A Spoken Dialog Architecture and its Applications” Markku Turunen (University of Tampere), 2004
      • сайт W3C ( http://www.w3c.org/voice )
    • 4. Речевой интерфейс?
      • наиболее естественный для человека
      • иногда является единственным возможным
      • интеграция нескольких технологий в одном решении
    • 5. Речевой интерфейс – где?
      • контакт центры ( IVR)
      • точки самообслуживания
      • речевой доступ к WEB
      • речевой интерфейс к настольным ПК
    • 6. Контакт центр – альтернативы?
    • 7. Речевой интерфейс – проблемы?
      • оговорки, ошибки, …
      • вокруг бывает шумно
      • распознавание речи работает не идеально
      • речь подразумевает интеллект
    • 8. Что дальше? 1 Ravenclaw/Olympus 2 Что можно сделать иначе? 3 Стандарты W3C
    • 9.
      • Разработчики
        • Dan Bohus
        • Antoine Raux
    • 10. Ravenclaw/Olympus - demo
      • VERA
    • 11. Ravenclaw/Olympus
      • Olympus – dialog system architecture
      • Ravenclaw – dialog management framework for task-oriented spoken dialog systems
    • 12. Ravenclaw/Olympus SPHINX SPHINX SPHINX Dialog Manag. RAVENCLAW Back-end (perl) Lang. Generation ROSETTA HUB Recognition Server Synthesis THETA Multiple, parallel decoders PROCESS MONITOR Lang. Understand. PHOENIX/HELIOS DateTime Other domain agents Back-end Galaxy Stub Actual Perl Back-end Lang. Generation ROSETTA (Perl) Lang. Generation Galaxy Stub Text I/O TTYServer Parsing PHOENIX Confidence HELIOS Inputs from other modalities
    • 13. SPHINX – распознавание речи
      • несколько параллельных декодеров
      • LM генерируется исходя из ожидаемых грамматик
      • предоставляет несколько гипотез
    • 14. PHOENIX - парсер
      • обрабатывает все гипотезы
      • понимает неполные и неверные фразы
      • фреймы / слоты
    • 15. PHOENIX - парсер
      • Show fares of flights from Denver to Boston on United [Field] ( show [_fares] (fares of flights)) [Origin] ( from [City] ( Denver )) [Destination] ( to [City] ( Boston )) [airline] ( on [AirlineName] ( United ))
    • 16. HELIOS – оценка гипотез
      • на оценку влияют:
        • оценки распознавания речи
        • оценки парсера
        • ожидания диалогового менеджера
      • выбирается одна гипотеза
    • 17. Ravenclaw – диалог …
      • дерево задач
      • терминалы – агенты
        • inform
        • request
        • expect
        • execute
      • нетерминалы – агенства
    • 18. Ravenclaw – диалог …
    • 19. Ravenclaw - логика
      • Фаза исполнения:
        • Выбор следующего агента
        • Исполнение
      • Фаза ввода:
        • Сбор семантических ожиданий
        • Ожидание
        • Связывание слотов с концептами
        • Оценка ввода
    • 20. Ravenclaw - Roomline
      • запись …
      • исходный код
    • 21. Ravenclaw – ошибки …
      • Типы ошибок:
        • non-understanding ( ничего не поняли)
        • misunderstanding (поняли неправильно)
    • 22. Ravenclaw – стратегии …
      • non-understanding
        • попросить повторить
        • переспросить
        • сообщить, что ничего не понятно
        • помолчать
        • «вы могли бы сказать …»
        • продолжить диалог
    • 23. Ravenclaw – стратегии …
      • misunderstanding
        • явное подтверждение
        • неявное подтверждение
        • незапланированное неявное подтверждение
    • 24. Ravenclaw - реализации ~20 estim. ~80 estim. User Initiative Command & Control Team Talk 9 50 Mixed Initiative Information Mgmt. Room Line 10 44 Mixed Initiative Information Exploration Bus Line 31 + 61 + System Guided Guidance & Browsing LARRI # of concepts # of agents Interaction Type Domain Type System
    • 25. Ravenclaw - LARRI
      • LA nguage-Based R etrieval of R epair I nformation
      • интерактивный справочник по тех. обслуживанию F-18
      • мультимодальный интерфейс
        • визуальный: экран - мышь
        • речевой: наушники - микрофон
    • 26.  
    • 27. План 1 Ravenclaw/Olympus 2 Что можно сделать иначе? 3 Стандарты W3C
    • 28. JASPIS - отличия
      • Центральное хранилище информации
    • 29. JASPIS - отличия
      • Агенты и оценщики
    • 30. Поддержка стандартов …
      • см. след. слайд
    • 31. План 1 Ravenclaw/Olympos 2 Что можно сделать иначе? 3 Стандарты W3C
    • 32. “ Voice browser” activity
      • “ Applying Web technology to enable users to access services from their telephone via a combination of speech and DTMF. ”
      • http://www.w3.org/Voice/
      • http://www.w3.org/2002/ mmi /
    • 33. “ Модальности ”
      • клавиатура
      • мышь
      • перо
      • речь
      • экран
      • GPS
      • системные события
    • 34. Модель мультимодального интерфейса ( W3C)
    • 35.  
    • 36. VoiceXML 2.0
      • Voice Extensible Markup Language
      • управление диалогом
        • речевые меню
        • речевые формы
      • синтезированная речь
      • распознавание речи и DTMF ввода
    • 37. VoiceXML - пример
      • <form>
      • <field name=&quot;drink&quot;>
      • <prompt>
      • Would you like coffee, tea, milk, or nothing?
      • </prompt>
      • <grammar src=&quot;drink.grxml&quot; type=&quot;application/srgs+xml&quot;/>
      • </field>
      • <block>
      • <submit next=&quot;http://www.drink.example.com/drink2.asp&quot;/>
      • </block>
      • </form>
    • 38. VoiceXML - пример
      • C (компьютер): Would you like coffee, tea, milk, or nothing?
      • H (человек): Orange juice.
      • C: I did not understand what you said.
      • C: Would you like coffee, tea, milk, or nothing?
      • H: Tea
      • C: (продолжение в drink2.asp)
    • 39. Грамматики
      • SRGS
        • S peech Recognition Grammar Specification
        • W3C Proposed Recommendation, December 2003
      • N-Gram
        • Stochastic Language Models (N-Gram) Specification
        • W3C Working Draft 3 January 2001
    • 40. Вопросы

    ×