Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

深層学習による機械とのコミュニケーション

10,950 views

Published on

DeNA TechCon 2017での講演資料です

Published in: Technology
  • Hello! Get Your Professional Job-Winning Resume Here - Check our website! https://vk.cc/818RFv
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here

深層学習による機械とのコミュニケーション

  1. 1. 深層学習による 機械とのコミュニケーション (株)Preferred Networks 海野 裕也 2017/02/10 DeNA TechCon 2017
  2. 2. ⾃⼰紹介 海野 裕也 l -2008 東⼤情報理⼯修⼠ l ⾃然⾔語処理 l 2008-2011 ⽇本アイ・ビー・エム(株)東京基礎研 l 2011-2016 (株)プリファードインフラストラク チャー l 2016- (株)プリファードネットワークス l ⾃然⾔語処理、機械学習、テキストマイニング l ChainerなどのOSS開発 l 対話処理など NLP若⼿の会共同委員⻑(2014-) 「オンライン機械学習」(2015, 講談社) 2
  3. 3. 宣伝:NLP若⼿の会(YANS) l YANSシンポジウム(9⽉) l 若⼿研究者(40歳未満くらい)の若⼿研究者が、⾃ ⾝の研究を進めるための集まり l 学⽣や企業エンジニアの参加も歓迎 l 昨年も合宿でした! l YANS懇(3⽉) l ⾔語処理学会全国⼤会期間中に懇親会をします l 単なる飲み会です J l 今年は秋葉原で開催(学会は筑波⼤) 3
  4. 4. ⾃然⾔語処理 4
  5. 5. ⾃然⾔語処理とは ⾃然⾔語(⼈の⾔葉)を計算機で処理する技術 l 主な応⽤:⽇本語⼊⼒、機械翻訳、⾃動要約など l ⾔語学、機械学習、最適化、統計などと関わりが深い 5 古⽂書 仕様書 電子カルテ twitter
  6. 6. 深層学習 6
  7. 7. 深層学習とは l 層の深いニューラルネット l それに端を発する,複雑な構造の⽬的関数を 持った機械学習⼿法全般のトレンド 7 Szegedy, et.al. Going Deeper with Convolutions. He, et.al. Deep Residual Learning for Image Recognition Krizhevsky, et.al. ImageNet Classification with Deep ConvolutionalNeural Networks
  8. 8. ⾃然⾔語処理における深層学習のトレンド推移 l 2012年 l ⽊構造再帰ネットワーク,⾔語モデル l 2013年 l 埋め込みベクトルの学習 l 2014年 l LSTM,符号化復号化モデル l 2015年 l 注意機構 l 2016年 l 畳み込みネットワーク,記憶のモデル化 8
  9. 9. Recurrent Neural Network Language Model (RNNLM) [Mikolov+10] l t-1⽂字読んだときの「状 態」をベクトル化して、t ⽂字⽬をその「状態」か ら当てる l 直前までの⽂脈情報が埋 め込まれている雰囲気 l http://rnnlm.org 9 ⽂字、単語 時刻 t-1 の隠れ層 隠れ層 次の⼊⼒ の予測 コピー
  10. 10. Skip-gramモデル (word2vec) [Mikolov+13] l 周辺単語を予測するモデル l 単語の意味の⾜し引きがで きるようになった l 実装(word2vec)が公開 されて⼀気に話題に 10
  11. 11. Long Short-Term Memory (LSTM) l RNNに記憶のようなものをもたせたモデル l 2014年に流⾏が始まったが、最初に提案された のは90年台 11 Input gate tanh sigmoid Output gate sigmoid sigmoid Forget gate
  12. 12. Sequence-to-sequence learning (seq2seq) [Sutskever+14] [Vinyals+15b] [Vinyals+15c] l ⼊⼒⽂をRNNで符号化して、そこからRNNで出 ⼒⽂を⽣成する l 機械翻訳、構⽂解析、対話などに応⽤ 12 入力文 出力文 [Sutskever+14]より
  13. 13. 注意付きニューラル翻訳 [Bahdanau+15] l 次の単語を予測するときに、符号化時のベクト ルに対して重要度の重み付けする 13 重みの⼤きさが、単語 の対応を表現
  14. 14. 技術的な詳細な内容は・・・ 14 機械学習プロフェッショナルシリーズ(講談社) 「深層学習による⾃然⾔語処理」 4⽉刊⾏予定
  15. 15. 深層学習の登場で何が変わったのか? 1. 表現ベクトルの学習が可能になった 2. ⼀気通貫の学習が可能になった 3. より応⽤よりの研究が増えている 15
  16. 16. 深層学習の登場で何が変わったのか? 1. 表現ベクトルの学習が可能になった 2. ⼀気通貫の学習が可能になった 3. より応⽤よりの研究が増えている 16
  17. 17. 単語の埋め込みベクトルの学習[Mikolov+13] l 各単語の「意味」を表現するベクトルを作るはなし l vec(Berlin) – vec(German) + vec(France) と⼀番近い単 語を探したら、vec(Paris)だった 17 Berlin German France Paris!!
  18. 18. これまで単語の意味の扱いはどうしていた? 18宮尾祐介「自然言語処理における 構文解析と言語理論の関係」より
  19. 19. 意味の「程度」がベクトル空間中に埋め込まれる [Kim+13] l “good”と”best”の真ん中に、”better”が存在 19 [Kim+13a]より
  20. 20. ⾔語間の翻訳辞書ができる [Mikolov+13c] l 単⾔語のコーパスで作られた表現ベクトルは似ている l 少ない対訳辞書で作った、表現ベクトル空間の線形変換 を作る 20 英語 スペイン語 [Mikolov+13c]より
  21. 21. 複数の情報を結びつける研究が出現 21 ⾔語と画像 Vinyals, et.al. Show and Tell: A Neural Image Caption Generator Ren, et.al. Exploring Models and Data for Image QuestionAnswering ⾔語と操作 Yu, et.al. Video Paragraph Captioning Using Hierarchical Recurrent Neural Networks ⾔語と映像 Wan, et.al. Learning Language Games through Interaction
  22. 22. マルチモーダルの研究がやりやすい l ベクトル同⼠の⽐較の問題に定式化できる l 画像も⾳も映像も⾔語も,固定⻑ベクトルに変換す るネットワークを組むことができる l ベクトル間の関係を学習すればよい l 急速に新しいタスクが⽣まれる l 画像の説明⽂⽣成,動画の説明⽂⽣成,画像質問応 答といった新しい先進的なタスクが次々に提案され ている 22
  23. 23. 深層学習の登場で何が変わったのか? 1. 表現ベクトルの学習が可能になった 2. ⼀気通貫の学習が可能になった 3. より応⽤よりの研究が増えている 23
  24. 24. ⾃然⾔語処理のパイプライン 24 単語分割 品詞タグ付け 構⽂解析 意味解析 問題を細分化
  25. 25. 符号化復号化モデル(encoder-decoder model) 25 符号化 ネットワーク 復号化 ネットワーク 中間表現 英語 ⽇本語 ⼀気通貫の学習
  26. 26. ネットワークを容易に⼊れ替えられる 26 符号化 ネットワーク 復号化 ネットワーク 中間表現
  27. 27. 異なる情報源を容易に利⽤できる 27 符号化 ネットワーク 復号化 ネットワーク 中間表現
  28. 28. ⼀気通貫型の学習の何が嬉しいのか? l 問題特化の⼯夫を⼊れやすい l 試⾏錯誤の余地が広がって,沢⼭⼿を動 かす⼈が勝つようになってきた 28
  29. 29. 初めて深層学習に触る⼈でも成果が出る 29 https://pbs.twimg.com/media/C3jjuROUoAEXXsP.jpg
  30. 30. 深層学習の登場で何が変わったのか? 1. 表現ベクトルの学習が可能になった 2. ⼀気通貫の学習が可能になった 3. より応⽤よりの研究が増えている 30
  31. 31. ⼀気通貫型の学習の応⽤タスクへの適⽤が注⽬され ている l 機械翻訳 l 要約 l 対話 l 質問応答 31
  32. 32. 減少するパソコン、増加するスマートフォン 総務省平成27年度版情報通信白書より http://www.soumu.go.jp/johotsusintokei/whitepaper/ja/h27/html/nc372110.html
  33. 33. ⾳声インターフェイス: Siri、しゃべってコンシェル、 ⾳声アシスト 33 https://www.apple.com/jp/ios/siri/ http://v-assist.yahoo.co.jp/ https://www.nttdocomo.co.jp/service/information/shabette_concier/
  34. 34. スマートフォン時代にブレークした技術(1/2) l 予測⼊⼒ l 1970年代にはアイデアがあったが、PC向けには普及 しなかった l 携帯電話の普及に合わせて普及 l ⾳声⼊⼒ l ⾳声⼊⼒ソフトは2000年前後に⼀⻫に発売されたが、 結局キーボードを置き換えなかった l ところが、スマホからの⾳声検索や⾳声インター フェースになって花開く 34
  35. 35. スマートフォン時代にブレークした技術(2/2) l 情報収集技術 l RSSリーダーをはじめ、情報収集アプリは2000年台 前半には存在した l ⼤々的に普及するようになったのはつい最近 l 機械翻訳(これから) l 機械翻訳ソフトは2000年前後に⼀⻫に発売されたが、 結局普及しなかった l ⼗分な翻訳リソースの得られない旅⾏シーンなどで 役に⽴つはず 35
  36. 36. デバイスの変化と特質の変化 36 入力の 自由度 出力の 自由度 即応性 常備性 不⾃由な⼊出⼒ いつも持っている
  37. 37. ブレークした技術はデバイスの特徴を捉えている l 予測⼊⼒ l 不⾃由な携帯電話の⼊⼒インターフェース l ⾳声⼊⼒ l 不⾃由な携帯電話の⼊⼒インターフェース l 検索などの短いクエリーの⼊⼒をサポート l 情報収集技術 l 細かい検索条件を⼊⼒しなくていい l 開いた時間に利⽤する l 機械翻訳 l ⽇常の最低限の翻訳が必要なときつかえる 37
  38. 38. 38
  39. 39. 対話するのはロボットだけではない 39 http://www.pcworld.com/article/2865478/mercedes- benzs-f015-concept-is-a-self-driving-hydrogen- powered-living-room.html
  40. 40. 制限されたデバイスではコンテキストを読む必要が ある l 細かい条件の⼊⼒はより困難になる l 利⽤者の状況を読み取り、補完する必要がある 40 天気 予定 所持金 時間
  41. 41. インターフェースとしての⾃然⾔語 l コトバは⼈間に情報を伝える重要なツール l ⾳声のデータは、⽂字におこして初めて理解できる l 映像情報のままでは検索もままならない l ヒトの存在する限り重要性は変わらない l ⼈間とのインターフェースとして必要性がなくなる ことはない l 逆にヒトが排除されて⾃動化されていく領域では、 コトバの重要度が下がる可能性もある 41
  42. 42. 42 村⼭富市⾸相は年頭にあたり ⾸相官邸で内閣記者会と・・・ l 1995年1⽉2⽇の毎⽇新聞の記事 l 最も有名なNLPのデータである京⼤コーパスの⼀節
  43. 43. 時代とともにデータが変化してきた l ~90年台 l 新聞記事,社内⽂書 l ~2000年台 l インターネットの普及,Web記事 l CGMデータの出現 l ~2010年代 l SNSデータ l スマートフォンの普及 l ~今 l チャットアプリの普及 l ⾳声対話ロボット 43
  44. 44. l データの総量が急増 l 書き⼿の数が急増 l ⽂体がチャット⾔葉・話し⾔葉へ 44
  45. 45. 書き⾔葉と話し⾔葉の⽐較 書き⾔葉 l 余計な単語が少ない l ⽐較的⽂が⻑く,複雑な 構造をとることもある l ⼀⽂でも複雑な情報を表 現する 話し⾔葉 l ⾔い間違いや⾔いよどみ l ⽂は短く,単純 l 単体では意味をなさない 発話も多く,複数の発話 の関係が重要になる 45
  46. 46. 話し⾔葉やチャット⾔葉こそ深層学習が⽣きる(か もしれない) l ⾔いよどみや崩れた表現などのせいで,既存の 解析器は機能しづらい l 構造が単純なので複雑な情報抽出よりも,多様 な表現にロバストなことが求められる 46
  47. 47. 1. 1歳 2. 3歳 3. 5歳 4. 10歳 47 「⼈⼯知能」の⾔語の理解度は何歳?
  48. 48. PFDeNAでの取り組み まず,コミュニケーションできることを⽬指す 48
  49. 49. 短い発話の意図をある程度識別できる 49
  50. 50. 50
  51. 51. まとめ l 年によって技術トレンドが変わっている l 深層学習の利点は⼀気通貫の学習と,表 現の学習ができること l 基礎から応⽤へ,書き⾔葉から話し⾔葉 へ 51

×