Анатолий Востряков, Руководитель направления диалоговых систем и умных помощников, Segmento. Если вы хотите получить доступ к видео выступления, заполните форму здесь: http://dswknd2017.datascienceweek.com/

1. programmatic-платформа,
группа компаний Сбербанк
www.segmento.r
u
На пути к идеальной
диалоговой
системе
Почему это так сложно и где мы сейчас
programmatic-платформа,
группа компаний Сбербанк
www.segmento.r
u

2. Виды диалогов
Вопросы-ответы:
Диалоги с целью (служба поддержки):
Диалоги без цели (chit-chat):
1
2
3

3. Смена цели:
В чем сложность диалогов на примерах

4. Неполная информация и нелинейное движение по сценарию решения проблемы:
В чем сложность диалогов на примерах

5. В чем сложность диалогов на примерах

6. Продолжение диалога через неделю, отсутствие предыдущей истории:
В чем сложность диалогов на примерах

7. Различные формулировки одного и того же намерения:
В чем сложность диалогов на примерах

9. Люди не хотят идти по сценарию. Они могут:
 Отвечать не на ваш вопрос
 Предлагать свои варианты
 Менять предыдущие утвержденные параметры
 Даже менять цель диалога
 Опускать часть информации - эллипсис
 Полагаться на информацию за пределами диалога
 Ссылаться на предыдущие высказывания
 Использовать синонимы и перефразировки
 Писать с орфографическими и грамматическими ошибками
В чем сложность диалогов. Резюме.

10. 1
2
3
Качества идеальной диалоговой системы
Устойчивость к “хаотичному” поведению и ошибкам людей, нехватке
информации, разнообразию формулировок
Анализировать весь диалог и историю общения с пользователем
Быть психологом
Параллельное достижение сопутствующих целей.
4

11. Тезариус
1. Диалог состоит из высказываний, обозначаемых буквой “u”
2. Высказывание состоит их токенов (слова)
3. Контекст диалога - весь текст диалога, включая ответы системы до текущего
момента
4. Вектор слова - массив чисел, обычно в диапазоне (-1, 1)

12. Классический
подход:
намерения, действия
и слоты

13. Automatic Speech
Recognition (ASR)
Spoken Language
Understanding (SLU)
Dialog State
Tracker (DST)
Dialog Policy
Natural Language
Generation (NLG)
Text to Speech
(TTS)

14. Классический
подход:
rule-based и
гибридый подход

15. Поиск строковых
соответствий
со списком слотов и значений
2
Грамотное составление
списка слотов и значений с
учетом всех возможных
написаний
1
Использование pos-tagger и
syntactic parser3
Coreference resolution
4
При нескольких вариантах
слотов и значений: выбор на
основе других значений и
статистике в тренировочных
данных
5
Сохранение найденных
значений между
высказываниями
6
Обучение бинарных
классификаторов на данных
rule-base системы и для
каждого слота
7
Лучший результат на DSTC4 с большим отрывом.

16. Одна из конкретных реализаций
LSTM
Slot Tagging
Sigmoid
LSTM LSTMLSTM
LSTM LSTM LSTM LSTM
NLU
Intents Intents Intents Intents
Slot Tagging Slot Tagging Slot Tagging
NLU NLU NLU
utterJ-2
utterJ-3
utterJ-1
utterJ
System Actions at J +1
LSTM LSTM LSTM LSTM
LSTM LSTM LSTM LSTM
LSTM LSTM LSTM LSTM
Softmax Softmax Softmax Softmax
Embeddin
g
Embeddin
g
Embeddin
g
Embeddin
g
Sigmoid
tag1
tag2
tag3 tag4
Slot tagging
Multi-label intets
W1
W2
W3 W4
Sharedweights
Natural Language Understanding block (NLU)
End-to-end joint learning of natural language
understanding and dialogue manager

17. End-to-end
подход:
пример ранжирующей
системы

18. Word
Embedding CNN GRU2
Sim
MatriesGRU1
ScoreL
Matching
AcclumulationPoolingConvolution
M , М1 2
Sequential Match Network

19. LSTM
LSTM
Как пройт
и
в булочную
?
< S
>
Идит
е
прям
о
и направ
о
иИдит
е
прям
о
направ
о
< /S
>
Пример генерирующей системы с
reinforcement learning (Adversarial
Learning)Состоит из двух частей, генератора (seq2seq):
Adversarial Learning for Neural Dialogue Generation

20. Пример генерирующей системы,
продолжениеИ дискриминатора (hierarchical encoder with binary classifier on
the top):
Policy gradient training: J(θ) = Ey∼p(y|x)(Q+({x, y})|θ)
softmax
sentense
attention
sentense
encoder
word
encoder
word
attention

21. Берсеневская набережная,6
Digital Оctober
vostryakov@segmento.ru
Anatoly Vostryakov at linkedin
Анатолий Востряков