DeNA TechCon 2017での講演資料です

1. 深層学習による
機械とのコミュニケーション
（株）Preferred Networks
海野 裕也
2017/02/10 DeNA TechCon 2017

2. ⾃⼰紹介
海野 裕也
l -2008 東⼤情報理⼯修⼠
l ⾃然⾔語処理
l 2008-2011 ⽇本アイ・ビー・エム（株）東京基礎研
l 2011-2016 （株）プリファードインフラストラク
チャー
l 2016- （株）プリファードネットワークス
l ⾃然⾔語処理、機械学習、テキストマイニング
l ChainerなどのOSS開発
l 対話処理など
NLP若⼿の会共同委員⻑（2014-）
「オンライン機械学習」（2015, 講談社）
2

3. 宣伝：NLP若⼿の会（YANS）
l YANSシンポジウム（9⽉）
l 若⼿研究者（40歳未満くらい）の若⼿研究者が、⾃
⾝の研究を進めるための集まり
l 学⽣や企業エンジニアの参加も歓迎
l 昨年も合宿でした！
l YANS懇（3⽉）
l ⾔語処理学会全国⼤会期間中に懇親会をします
l 単なる飲み会です J
l 今年は秋葉原で開催（学会は筑波⼤）
3

4. ⾃然⾔語処理
4

5. ⾃然⾔語処理とは
⾃然⾔語（⼈の⾔葉）を計算機で処理する技術
l 主な応⽤：⽇本語⼊⼒、機械翻訳、⾃動要約など
l ⾔語学、機械学習、最適化、統計などと関わりが深い
5
古⽂書 仕様書 電子カルテ twitter

6. 深層学習
6

7. 深層学習とは
l 層の深いニューラルネット
l それに端を発する，複雑な構造の⽬的関数を
持った機械学習⼿法全般のトレンド
7
Szegedy, et.al. Going Deeper with Convolutions.
He, et.al. Deep Residual Learning for Image Recognition
Krizhevsky, et.al. ImageNet Classification with Deep
ConvolutionalNeural Networks

8. ⾃然⾔語処理における深層学習のトレンド推移
l 2012年
l ⽊構造再帰ネットワーク，⾔語モデル
l 2013年
l 埋め込みベクトルの学習
l 2014年
l LSTM，符号化復号化モデル
l 2015年
l 注意機構
l 2016年
l 畳み込みネットワーク，記憶のモデル化
8

9. Recurrent Neural Network Language Model
(RNNLM) [Mikolov+10]
l t-1⽂字読んだときの「状
態」をベクトル化して、t
⽂字⽬をその「状態」か
ら当てる
l 直前までの⽂脈情報が埋
め込まれている雰囲気
l http://rnnlm.org
9
⽂字、単語
時刻 t-1 の隠れ層
隠れ層 次の⼊⼒
の予測
コピー

10. Skip-gramモデル (word2vec) [Mikolov+13]
l 周辺単語を予測するモデル
l 単語の意味の⾜し引きがで
きるようになった
l 実装（word2vec）が公開
されて⼀気に話題に
10

11. Long Short-Term Memory (LSTM)
l RNNに記憶のようなものをもたせたモデル
l 2014年に流⾏が始まったが、最初に提案された
のは90年台
11
Input gate
tanh
sigmoid
Output gate
sigmoid
sigmoid
Forget gate

12. Sequence-to-sequence learning (seq2seq)
[Sutskever+14] [Vinyals+15b] [Vinyals+15c]
l ⼊⼒⽂をRNNで符号化して、そこからRNNで出
⼒⽂を⽣成する
l 機械翻訳、構⽂解析、対話などに応⽤
12
入力文
出力文
[Sutskever+14]より

13. 注意付きニューラル翻訳 [Bahdanau+15]
l 次の単語を予測するときに、符号化時のベクト
ルに対して重要度の重み付けする
13
重みの⼤きさが、単語
の対応を表現

14. 技術的な詳細な内容は・・・
14
機械学習プロフェッショナルシリーズ（講談社）
「深層学習による⾃然⾔語処理」
4⽉刊⾏予定

15. 深層学習の登場で何が変わったのか？
1. 表現ベクトルの学習が可能になった
2. ⼀気通貫の学習が可能になった
3. より応⽤よりの研究が増えている
15

16. 深層学習の登場で何が変わったのか？
1. 表現ベクトルの学習が可能になった
2. ⼀気通貫の学習が可能になった
3. より応⽤よりの研究が増えている
16

17. 単語の埋め込みベクトルの学習[Mikolov+13]
l 各単語の「意味」を表現するベクトルを作るはなし
l vec(Berlin) – vec(German) + vec(France) と⼀番近い単
語を探したら、vec(Paris)だった
17
Berlin
German
France
Paris!!

18. これまで単語の意味の扱いはどうしていた？
18宮尾祐介「自然言語処理における 構文解析と言語理論の関係」より

19. 意味の「程度」がベクトル空間中に埋め込まれる
[Kim+13]
l “good”と”best”の真ん中に、”better”が存在
19
[Kim+13a]より

20. ⾔語間の翻訳辞書ができる [Mikolov+13c]
l 単⾔語のコーパスで作られた表現ベクトルは似ている
l 少ない対訳辞書で作った、表現ベクトル空間の線形変換
を作る
20
英語 スペイン語
[Mikolov+13c]より

21. 複数の情報を結びつける研究が出現
21
⾔語と画像
Vinyals, et.al. Show and Tell: A Neural Image
Caption Generator Ren, et.al. Exploring Models and Data
for Image QuestionAnswering
⾔語と操作
Yu, et.al. Video Paragraph Captioning Using
Hierarchical Recurrent Neural Networks
⾔語と映像
Wan, et.al. Learning Language Games through
Interaction

22. マルチモーダルの研究がやりやすい
l ベクトル同⼠の⽐較の問題に定式化できる
l 画像も⾳も映像も⾔語も，固定⻑ベクトルに変換す
るネットワークを組むことができる
l ベクトル間の関係を学習すればよい
l 急速に新しいタスクが⽣まれる
l 画像の説明⽂⽣成，動画の説明⽂⽣成，画像質問応
答といった新しい先進的なタスクが次々に提案され
ている
22

23. 深層学習の登場で何が変わったのか？
1. 表現ベクトルの学習が可能になった
2. ⼀気通貫の学習が可能になった
3. より応⽤よりの研究が増えている
23

24. ⾃然⾔語処理のパイプライン
24
単語分割
品詞タグ付け
構⽂解析
意味解析
問題を細分化

25. 符号化復号化モデル（encoder-decoder model）
25
符号化
ネットワーク
復号化
ネットワーク
中間表現
英語 ⽇本語
⼀気通貫の学習

26. ネットワークを容易に⼊れ替えられる
26
符号化
ネットワーク 復号化
ネットワーク
中間表現

27. 異なる情報源を容易に利⽤できる
27
符号化
ネットワーク
復号化
ネットワーク
中間表現

28. ⼀気通貫型の学習の何が嬉しいのか？
l 問題特化の⼯夫を⼊れやすい
l 試⾏錯誤の余地が広がって，沢⼭⼿を動
かす⼈が勝つようになってきた
28

29. 初めて深層学習に触る⼈でも成果が出る
29
https://pbs.twimg.com/media/C3jjuROUoAEXXsP.jpg

30. 深層学習の登場で何が変わったのか？
1. 表現ベクトルの学習が可能になった
2. ⼀気通貫の学習が可能になった
3. より応⽤よりの研究が増えている
30

31. ⼀気通貫型の学習の応⽤タスクへの適⽤が注⽬され
ている
l 機械翻訳
l 要約
l 対話
l 質問応答
31

32. 減少するパソコン、増加するスマートフォン
総務省平成27年度版情報通信白書より
http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h27/html/nc372110.html

33. ⾳声インターフェイス: Siri、しゃべってコンシェル、
⾳声アシスト
33
https://www.apple.com/jp/ios/siri/ http://v-assist.yahoo.co.jp/
https://www.nttdocomo.co.jp/service/information/shabette_concier/

34. スマートフォン時代にブレークした技術（1/2）
l 予測⼊⼒
l 1970年代にはアイデアがあったが、PC向けには普及
しなかった
l 携帯電話の普及に合わせて普及
l ⾳声⼊⼒
l ⾳声⼊⼒ソフトは2000年前後に⼀⻫に発売されたが、
結局キーボードを置き換えなかった
l ところが、スマホからの⾳声検索や⾳声インター
フェースになって花開く
34

35. スマートフォン時代にブレークした技術（2/2）
l 情報収集技術
l RSSリーダーをはじめ、情報収集アプリは2000年台
前半には存在した
l ⼤々的に普及するようになったのはつい最近
l 機械翻訳（これから）
l 機械翻訳ソフトは2000年前後に⼀⻫に発売されたが、
結局普及しなかった
l ⼗分な翻訳リソースの得られない旅⾏シーンなどで
役に⽴つはず
35

36. デバイスの変化と特質の変化
36
入力の
自由度
出力の
自由度 即応性 常備性
不⾃由な⼊出⼒ いつも持っている

37. ブレークした技術はデバイスの特徴を捉えている
l 予測⼊⼒
l 不⾃由な携帯電話の⼊⼒インターフェース
l ⾳声⼊⼒
l 不⾃由な携帯電話の⼊⼒インターフェース
l 検索などの短いクエリーの⼊⼒をサポート
l 情報収集技術
l 細かい検索条件を⼊⼒しなくていい
l 開いた時間に利⽤する
l 機械翻訳
l ⽇常の最低限の翻訳が必要なときつかえる
37

38. 38

39. 対話するのはロボットだけではない
39
http://www.pcworld.com/article/2865478/mercedes-
benzs-f015-concept-is-a-self-driving-hydrogen-
powered-living-room.html

40. 制限されたデバイスではコンテキストを読む必要が
ある
l 細かい条件の⼊⼒はより困難になる
l 利⽤者の状況を読み取り、補完する必要がある
40
天気
予定
所持金
時間

41. インターフェースとしての⾃然⾔語
l コトバは⼈間に情報を伝える重要なツール
l ⾳声のデータは、⽂字におこして初めて理解できる
l 映像情報のままでは検索もままならない
l ヒトの存在する限り重要性は変わらない
l ⼈間とのインターフェースとして必要性がなくなる
ことはない
l 逆にヒトが排除されて⾃動化されていく領域では、
コトバの重要度が下がる可能性もある
41

42. 42
村⼭富市⾸相は年頭にあたり
⾸相官邸で内閣記者会と・・・
l 1995年1⽉2⽇の毎⽇新聞の記事
l 最も有名なNLPのデータである京⼤コーパスの⼀節

43. 時代とともにデータが変化してきた
l ~90年台
l 新聞記事，社内⽂書
l ~2000年台
l インターネットの普及，Web記事
l CGMデータの出現
l ~2010年代
l SNSデータ
l スマートフォンの普及
l ~今
l チャットアプリの普及
l ⾳声対話ロボット
43

44. l データの総量が急増
l 書き⼿の数が急増
l ⽂体がチャット⾔葉・話し⾔葉へ
44

45. 書き⾔葉と話し⾔葉の⽐較
書き⾔葉
l 余計な単語が少ない
l ⽐較的⽂が⻑く，複雑な
構造をとることもある
l ⼀⽂でも複雑な情報を表
現する
話し⾔葉
l ⾔い間違いや⾔いよどみ
l ⽂は短く，単純
l 単体では意味をなさない
発話も多く，複数の発話
の関係が重要になる
45

46. 話し⾔葉やチャット⾔葉こそ深層学習が⽣きる（か
もしれない）
l ⾔いよどみや崩れた表現などのせいで，既存の
解析器は機能しづらい
l 構造が単純なので複雑な情報抽出よりも，多様
な表現にロバストなことが求められる
46

47. 1. 1歳
2. 3歳
3. 5歳
4. 10歳
47
「⼈⼯知能」の⾔語の理解度は何歳？

48. PFDeNAでの取り組み
まず，コミュニケーションできることを⽬指す
48

49. 短い発話の意図をある程度識別できる
49

50. 50

51. まとめ
l 年によって技術トレンドが変わっている
l 深層学習の利点は⼀気通貫の学習と，表
現の学習ができること
l 基礎から応⽤へ，書き⾔葉から話し⾔葉
へ
51