Kdd 2016 slide

KDD 2016 読み会 ;
Smart Reply : Automated
Response Suggestion for Email
Anjuli Kannan, Karol Kurach, Sujith Ravi, Tobias Kaufmann, Andrew Tomkins, Balint Miklos,
Greg Corrado, Laszlo Lukacs, Marina Ganea, Peter Young, Vivek Ramavajjala
Google
2016/10/01 ( esaken )
https://www.google.com/inbox/

Gmail の次世代UIとして Inbox が開発される
• https://www.google.com/inbox/
• アメリカのみの対応で、2014/10/22に第一弾が公開
https://en.wikipedia.org/wiki/Inbox_by_Gmail
https://www.wired.com/2016/03/google-inbox-auto-answers-emails/
• Inboxの中のSmart Replyというサービスについてのシステム：本論文
• Inbox のほかの機能
• 自動カテゴライズ
• ハイライト
• リマインダー
• スヌーズ
1Smart Reply : Automated Response Suggestion for Email

著者はGoogle Research所属 (一部 Brain Team)
• https://research.google.com/teams/brain/
2
First Author
Deep Learning Model
NLP ( Graph propagation)
Smart Reply : Automated Response Suggestion for Email

（提案手法） SmartReply のコンポーネント図
3
4つのコンポーンネントで構成される。
① Response selection in Section 3.
② Response set generation in Section 4.
③ Diversity in Section 5.
④Triggering model in Section 6.
①
②
③
④

サービスとして目指すアウトプット
4
受信メッセージから見て
生成確率の高いレスポンスの
上位N件を表示すればいいわけではない。

サービス化に向けて必要な４つのチャレンジ
• Challenges
• Deep Learningを自然文応答支援サービスとして利用するため生じる課題
• Response quality ：誰かに送るメッセージにふさわしい記述
• Utility ：３件の提示で入力を省く支援を実現する必要性
• Scalability ：数百万件発生するメッセージに対する応答
• Privacy ： MLをチューニングする時細かい調整が困難に
情報検索、情報推薦、レコメンデーションでも議論されたトピック

（提案手法） SmartReply のコンポーネント図
6
for scalability
for utility
for response quality
for utility
for scalability
for scalability
for privacy
①
②
③
④
4つのコンポーンネントで構成される。
① Response selection in Section 3.
② Response set generation in Section 4.
③ Diversity in Section 5.
④Triggering model in Section 6.
LSTM modelを拡張したモデルを学習
Semi-Supervised Graph Construction (Intent)
を学習し、Response Target Spaceを構築
Omitting Redundant / Enforcing Negative
ResponseするmessageかをFFNNで学習

①Replyの自動生成問題
• 受信メッセージを条件付きとする最大尤度のメッセージを学習・探索
https://research.googleblog.com/2016/05/chat-smarter-with-allo.html
O
r

LSTM Model の概要
LSTM model 自体への改良
Preprocessing, Addition of a recurrent projection layer, gradient clipping ( with the value of 1 )
RNNで学習できるタイムラグ LSTMで学習できるタイムラグ
LSTM Model
http://colah.github.io/posts/2015-08-Understanding-LSTMs/

Sequence to sequence Learning with Neural Network.
Recurrent Continuous Translation Models
(EMNLP 13)
MLNLP 13 と類似して、Input Context を v に変換するLSTM
逐次出力を予測するLSTMの２階層モデルを採用

③Suggestion Diversity
• サービスに適用するために２つの仮説を提案
• 同じカテゴリ（Intent)の応答支援は必要ない。
• 学習データに含まれる応答は、ポジティブな応答が多い
10
尤度最大化では選ばれないためネガティブな応答に限定して探索する
Ex. Sure , I’ll be there. Yes, I’ll be there. Yeah, I’ll be there.
Response set generation で構築したグラフから得られるクラスからは１メッセージだけ提示

EVALUATION AND RESULTS
• Data: サンプリングしたアカウントのデータ(238 million messages)
４６％のメッセージが応答ありのデータ
• 評価結果
• Perplexity: 31.4 (n-grams language model) -> 17.0 (Propose)
11
45% , 35%, 20% (1-3 positions)
Results : Smart Replyのサービスは全受信の１０％の応答で利用中

参考文献
• Sequence to Sequence Learning with Neural Networks(NIPS 14)
• Recurrent Continuous Translation Models(EMNLP 13)
• LONG SHORT TERM MEMORY (
• NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN
AND TRANSLATE ( ICLR 15)
• Learning Phrase Representations using RNN Encoder-Decoder for
Stastical Machine Translation(
• Grammar as a Foreign Language(

Kdd 2016 slide

Recommended

Recommended

More Related Content

Similar to Kdd 2016 slide

Similar to Kdd 2016 slide (7)

Kdd 2016 slide