自然言語処理のためのDeep Learning

75,676 views

Published on

Published in: Technology, Education

自然言語処理のためのDeep Learning

  1. 1. 自然言語処理のための Deep Learning 東京工業大学 奥村・高村研究室 D1 菊池悠太 @kiyukuta at 2013/09/11 Deep Learning for Natural Language Processing 13年9月28日土曜日
  2. 2. 13年9月28日土曜日
  3. 3. 2つのモチベーション  - NLPでニューラルネットを  - 言語の意味的な特徴を NN→多層×→pretraining→breakthrough !! 焦って早口過ぎてたら 教えて下さい A yet another brief introduction to neural networks http://www.slideshare.net/yutakikuchi927/a-yet-another-brief-introduction-to-neural- networks-26023639 13年9月28日土曜日
  4. 4. Neural networkベースの話 RBMとか苦しい 13年9月28日土曜日
  5. 5. Deep Learning for NLP 13年9月28日土曜日
  6. 6. Deep Learning Deep Learning概要 Neural Networkふんわり Deepへの難しさ Pretrainingの光 Stacked Autoencoder , DBN for NLP 13年9月28日土曜日
  7. 7. Deep Learning for NLP 13年9月28日土曜日
  8. 8. Deep Learning Deep Learning概要 Neural Networkふんわり Deepへの難しさ Pretrainingの光 Stacked Autoencoder , DBN 13年9月28日土曜日
  9. 9. Deep Learning Unsupervised Representation Learning 生データ 生データ 特徴抽出 学習器- 特徴抽出器 - 人手設計 答え! 答え!Deep Learning 従来 Deep Learning 13年9月28日土曜日
  10. 10. Deep Learning 結論からいうと Deep Learningとは 良い初期値を(手に入れる方法を) 手に入れた 多層Neural Networkです 13年9月28日土曜日
  11. 11. Deep Learning ⽣生画像から階層毎に階層的な特徴を ラベル無しデータから教師なしで学習 13年9月28日土曜日
  12. 12. 生画像 高次な特徴は,より低次な特徴 の組み合わせで表現 13年9月28日土曜日
  13. 13. = = = 低次レベルの特徴は共有可能 将来のタスクが未知でも 起こる世界は今と同じ 13年9月28日土曜日
  14. 14. Deep Learning Deep Learning概要 Neural Networkふんわり Deepへの難しさ Pretrainingの光 Stacked Autoencoder , DBN 13年9月28日土曜日
  15. 15. A yet another brief introduction to Neural Networks 菊池 悠太 13年9月28日土曜日
  16. 16. Neural Network 入力層x 隠れ層z 出力層y 13年9月28日土曜日
  17. 17. 入力層x 隠れ層z 出力層y 生データ,抽出した素性 予測 Neural Network 13年9月28日土曜日
  18. 18. 入力層x 隠れ層z 出力層y 例えば,手書き数字認識 784次元 10次元 MNIST (28*28の画像) 3!! [0.05, 0.05, 0.05, 0.40, 0.05, 0.05, 0.15, 0.05, 0.15, 0.05] 10次元の確率分布 (左から,入力画像が,   0である確率,    1である確率    ...    9である確率) 28*28= 784次元の数値ベクトル 13年9月28日土曜日
  19. 19. 入力層x 隠れ層z 出力層y Neuron 隠れユニットjの 入力層に対する重み W1 隠れユニットj 13年9月28日土曜日
  20. 20. 隠れユニットjの 入力層に対する重み W1 隠れユニットj 出力ユニットk 出力ユニットkの 隠れ層に対する重みW2 入力層x 隠れ層z 出力層y Neuron 13年9月28日土曜日
  21. 21. 入力層x 隠れ層z 出力層y W1 W2 行列で表現 層間の重みを行列で表現 13年9月28日土曜日
  22. 22. Neural Networkの処理 - Forward propagation - Back propagation - Parameter update 13年9月28日土曜日
  23. 23. Neural Networkの処理 - Forward propagation - Back propagation - Parameter update 13年9月28日土曜日
  24. 24. Forward Propagation 入力層x 隠れ層z 出力層y 入力に対し出力を出す input x output y 13年9月28日土曜日
  25. 25. 入力層x 隠れ層z 出力層y z = f(W1x + b1) 入力層から隠れ層への情報の伝播 非線形活性化関数f( ) tanh とか sigmoid とか f(x0) f(x1) f(x2) f(x3) f(x) = 13年9月28日土曜日
  26. 26. 入力層x 隠れ層z 出力層y z = f(W1x + b1) 入力層から隠れ層への情報の伝播 非線形活性化関数f( ) tanh,sigmoid reLU, maxout... f(x0) f(x1) f(x2) f(x3) f(x) = f( ) 13年9月28日土曜日
  27. 27. 入力層x 隠れ層z 出力層y z = f(W1x + b1) f( ) 入力層から隠れ層への情報の伝播 ⼊入⼒力力の情報を 重み付きで受け取る 隠れユニットが出す 出⼒力力値が決まる 13年9月28日土曜日
  28. 28. 入力層x 隠れ層z 出力層y z = f(W1x + b1) 入力層から隠れ層への情報の伝播 f( ) 非線形活性化関数f( ) tanh,sigmoid reLU, maxout... f(x0) f(x1) f(x2) f(x3) f(x) = 13年9月28日土曜日
  29. 29. 入力層x 隠れ層z 出力層y 出⼒力力層⽤用の 非線形活性化関数σ( )    タスク依存 隠れ層から出力層への情報の伝播 y = (W2z + b2) 13年9月28日土曜日
  30. 30. 入力層x 隠れ層z 出力層y 出⼒力力層⽤用の 非線形活性化関数σ( )    タスク依存 隠れ層から出力層への情報の伝播 y = (W2z + b2) 13年9月28日土曜日
  31. 31. 入力層x 隠れ層z 出力層y タスク依存の出力層 解きたいタスクによって σが変わる - 回帰 - 二値分類 - 多値分類 - マルチラベリング y = (W2z + b2) 13年9月28日土曜日
  32. 32. 実数 入力層x 隠れ層z 出力層y 回帰のケース 出力に値域はいらない 恒等写像でそのまま出力 (a) = a y = (W2z + b2) 13年9月28日土曜日
  33. 33. [0:1] 二値分類のケース 出力層は確率 σは0.0~1.0であって欲しい (a) = 1 1+exp( a) Sigmoid関数入力層x 隠れ層z 出力層y y = (W2z + b2) 13年9月28日土曜日
  34. 34. 入力層x 隠れ層z 出力層y 多値分類のケース 出力は確率分布 各ノード0以上,総和が1 Softmax関数 sum( 0.2 0.7 0.1 )=1.0 (a) = exp(a) exp(a) y = (W2z + b2) 13年9月28日土曜日
  35. 35. 入力層x 隠れ層z 出力層y マルチラベリングのケース 各々が独立に二値分類 (a) = 1 1+exp( a) element-wiseで Sigmoid関数 [0:1] [0:1] [0:1] y = (W2z + b2) 13年9月28日土曜日
  36. 36. ちなみに多層になった場合 ... 出力層だけタスク依存 隠れ層はぜんぶ同じ 出力層 隠れ層1 隠れ層N ... 13年9月28日土曜日
  37. 37. Forward Propagation 入力層x 隠れ層z 出力層y z = f(W1x + b1) y = (W2z + b2) 13年9月28日土曜日
  38. 38. Neural Networkの処理 - Forward propagation - Back propagation - Parameter update 13年9月28日土曜日
  39. 39. Back Propagation 入力層x 隠れ層z 出力層y 正解t NNが入力に対する出力の 予測を間違えた場合 正解するように修正したい 13年9月28日土曜日
  40. 40. Back Propagation 入力層x 隠れ層z 出力層y 正解t NNが入力に対する出力の 予測を間違えた場合 正解するように修正したい 修正対象: 層間の重み z = f(W1x + b1) ↑と,バイアス y = (W2z + b2) 13年9月28日土曜日
  41. 41. Back Propagation 入力層x 隠れ層z 出力層y 正解t 誤差関数を最⼩小化するよう修正 E( ) = 1 2 y( ) t 2 E = K k=1 tk log yk E = t log y (1 t) log(1 y) E = K k=1 t log y + (1 t) log(1 y) いずれも予測と正解が 違うほど⼤大きくなる 13年9月28日土曜日
  42. 42. Back Propagation 入力層x 隠れ層z 出力層y 正解t  出力ラベルと正解の差 ノードの誤差を計算 y = y t 13年9月28日土曜日
  43. 43. Back Propagation 入力層x 隠れ層z 出力層y 正解t ノードの誤差を計算  出力ラベルと正解の差 自分が情報を伝えた先の 誤差が伝播してくる z = WT 2 yf (az) y = y t 13年9月28日土曜日
  44. 44. Back Propagation 入力層x 隠れ層z 出力層y 正解t y = y t z = WT 2 yf (az)  出力ラベルと正解の差 ノードの誤差を計算 自分の影響で上で発生した誤差 13年9月28日土曜日
  45. 45. Back Propagation 入力層x 隠れ層z 出力層y 正解t 重みの勾配を計算 ⾃自分が上に伝えた 情報で発⽣生した誤差 En W2 = yzT En W1 = zxT 13年9月28日土曜日
  46. 46. Back Propagation 入力層x 隠れ層z 出力層y 正解t 重みの勾配を計算 ⾃自分が上に伝えた 情報で発⽣生した誤差 En W2 = yzT En W1 = zxT 13年9月28日土曜日
  47. 47. Neural Networkの処理 - Forward propagation - Back propagation - Parameter update 13年9月28日土曜日
  48. 48. Update parameters 入力層x 隠れ層z 出力層y 正解t 重みの更新 W1 = W1 En W1 W2 = W2 En W2 13年9月28日土曜日
  49. 49. Update parameters 入力層x 隠れ層z 出力層y 正解t 重みの更新 W1 = W1 En W1 W2 = W2 En W2 -Gradient Descent -Stochastic Gradient Descent -SGD with mini-batch   修正するタイミングの違い 13年9月28日土曜日
  50. 50. Neural Network の処理まとめ 13年9月28日土曜日
  51. 51. Forward Propagation 入力層x 隠れ層z 出力層y z = f(W1x + b1) y = (W2z + b2) 入力から予測 input x output y 13年9月28日土曜日
  52. 52. Back Propagation 入力層x 隠れ層z 出力層y 正解t 誤差と勾配を計算 z = WT 2 yf (az) y = y t En W2 = yzT En W1 = zxT 13年9月28日土曜日
  53. 53. Update parameters 入力層x 隠れ層z 出力層y 正解t 勾配方向へ重み更新 W1 = W1 En W1 W2 = W2 En W2 13年9月28日土曜日
  54. 54. ちなみにAutoencoder Neural Networkの特殊系 1. 入力と出力の次元が同じ 2. 教師信号が入力そのもの 入力を圧縮※1して復元 ※1 圧縮(隠れ層が入力層より少ない)でなくても,適切に正則化すればうまくいく 13年9月28日土曜日
  55. 55. Neural Networkの特殊系 Autoencoder z = f(W1x + b1) y = (W2z + b2) 13年9月28日土曜日
  56. 56. Neural Networkの特殊系 Autoencoder y = (W2z + b2) (a) = 1 1+exp( a) element-wiseで Sigmoid関数 マルチラベリングのケースに該当 画像の場合,各画素(ユニット)ごとに 明るさ(0.0:黒, 1.0:白)を判定するため 13年9月28日土曜日
  57. 57. Autoencoderの学習するもの 13年9月28日土曜日
  58. 58. Denoising Autoencoder add noise denoise 正則化法の一つ,再構築+ノイズの除去 13年9月28日土曜日
  59. 59. Deep Learning Deep Learning概要 Neural Networkふんわり Deepへの難しさ Pretrainingの光 Stacked Autoencoder , DBN 13年9月28日土曜日
  60. 60. Deepになると? many figures from http://www.cs.toronto.edu/~fleet/courses/cifarSchool09/slidesBengio.pdf 13年9月28日土曜日
  61. 61. 仕組み的には同じ 隠れ層が増えただけ 13年9月28日土曜日
  62. 62. 問題は初期化 NNのパラメータ 初期値は乱数 多層(Deep)になってもOK? 13年9月28日土曜日
  63. 63. 乱数だとうまくいかない NNはかなり複雑な変化をする関数なので 悪い局所解にいっちゃう Learning Deep Architectures for AI (2009) 13年9月28日土曜日
  64. 64. 乱数だとうまくいかない NN自体が表現力高いので 上位二層分のNNだけで訓練データを 再現するには事足りちゃう ただしそれは汎化能力なし 過学習 inputのランダムな写像だが, inputの情報は保存している Greedy Layer-Wise Training of Deep Networks [Bengio+, 2007] 13年9月28日土曜日
  65. 65. Deep Learning Deep Learning概要 Neural Networkふんわり Deepへの難しさ Pretrainingの光 Stacked Autoencoder , DBN 13年9月28日土曜日
  66. 66. 2006年,ブレークスルー(Hinton+,2006) Greedy Layer-wise unsupervised pretraining 13年9月28日土曜日
  67. 67. 層ごとにまずパラメータを更新 層ごとに学習 13年9月28日土曜日
  68. 68. 層ごとにまずパラメータを更新 どうやって? Autoencoder !! RBMも [Bengio,2007] [Hinton,2006] 13年9月28日土曜日
  69. 69. 層ごとにまずパラメータを更新 どうなるの? 良い初期値を 得られるようになりました! Why does Unsupervised Pre-training Help Deep Learning ? [Erhan+, 2010] [Bengio+, 2007] なぜpre-trainingが良いのか,諸説あり 13年9月28日土曜日
  70. 70. Deep Learningとは 良い初期値を(手に入れる方法を) 手に入れた※1 Neural Network※2 つまり ※1 諸説あり Why does Unsupervised Pre-training Help Deep Learning ? [Erhan+, 2010] ※2 stacked autoencoderの場合 13年9月28日土曜日
  71. 71. Deep Learning Deep Learning概要 Neural Networkふんわり Deepへの難しさ Pretrainingの光 Stacked Autoencoder , DBN 13年9月28日土曜日
  72. 72. Autoencoder Neural Networkの特殊系 1. 入力と出力の次元が同じ 2. 教師信号が入力そのもの 訓練データ中の 本質的な情報を捉える 入力を圧縮して復元 13年9月28日土曜日
  73. 73. Neural Networkの特殊系 圧縮ということは隠れ層は 少なくないといけないの? そうでなくても, 正則化などでうまくいく Autoencoder 13年9月28日土曜日
  74. 74. Autoencoderの学習するもの これは,正確にはdenoising autoencoderの図 http://kiyukuta.github.io/2013/08/20/hello_autoencoder.html 13年9月28日土曜日
  75. 75. Stacked Autoencoder 13年9月28日土曜日
  76. 76. このNNの各層を, その層への⼊入⼒力力を再構築するAutoencoder として,事前学習 Stacked Autoencoder 13年9月28日土曜日
  77. 77. Deep Learning Deep Learning概要 Neural Networkふんわり Deepへの難しさ Pretrainingの光 Stacked Autoencoder , DBN 13年9月28日土曜日
  78. 78. Deep Learning for NLP 13年9月28日土曜日
  79. 79. 画像処理のように Deeeeeeepって感じではない Neural Network-based くらいのつもりで 13年9月28日土曜日
  80. 80. Deep Learning for NLP 13年9月28日土曜日
  81. 81. Hello world. My name is Tom. 2 4 MNIST 784 (28 x 28) 28 x 28= ??? size Input size ... ... ...... Image Sentence ... ... ... ... 任意の⻑⾧長さの⽂文を⼊入⼒力力とするには?? 単語(句句や⽂文も)をどうやって表現する?? 13年9月28日土曜日
  82. 82. Hello world. My name is Tom. 2 4 MNIST 784 (28 x 28) 28 x 28= ??? size Input representation ... ... ...... Image Sentence ... ... ... ... 任意の⻑⾧長さの⽂文を⼊入⼒力力とするには?? 単語(句句や⽂文も)をどうやって表現する?? 13年9月28日土曜日
  83. 83. 言い換えると 任意の⻑⾧長さの⽂文を⼊入⼒力力とするには?? 単語(句句や⽂文も)をどうやって表現する?? NLPでNNを使いたい 単語の特徴をうまく捉えた表現の学習 13年9月28日土曜日
  84. 84. Keywords 任意の⻑⾧長さの⽂文を⼊入⼒力力とするには?? 単語(句句や⽂文も)をどうやって表現する?? Distributed  word   representation -‐‑‒  convolutional-‐‑‒way -‐‑‒  recursive-‐‑‒way Neural  language   model phrase,  sentence-‐‑‒level representation 13年9月28日土曜日
  85. 85. 任意の⻑⾧長さの⽂文を⼊入⼒力力とするには?? 単語(句句や⽂文も)をどうやって表現する?? Distributed  word   representation -‐‑‒  convolutional-‐‑‒way -‐‑‒  recursive-‐‑‒way Neural  language   model phrase,  sentence-‐‑‒level representation Keywords 13年9月28日土曜日
  86. 86. 任意の⻑⾧長さの⽂文を⼊入⼒力力とするには?? 単語(句句や⽂文も)をどうやって表現する?? Distributed  word   representation -‐‑‒  convolutional-‐‑‒way -‐‑‒  recursive-‐‑‒way Neural  language   model phrase,  sentence-‐‑‒level representation Keywords 13年9月28日土曜日
  87. 87. 任意の⻑⾧長さの⽂文を⼊入⼒力力とするには?? 単語(句句や⽂文も)をどうやって表現する?? Distributed  word   representation -‐‑‒  convolutional-‐‑‒way -‐‑‒  recursive-‐‑‒way Neural  language   model phrase,  sentence-‐‑‒level representation Keywords 13年9月28日土曜日
  88. 88. Keywords 任意の⻑⾧長さの⽂文を⼊入⼒力力とするには?? 単語(句句や⽂文も)をどうやって表現する?? Distributed  word   representation -‐‑‒  convolutional-‐‑‒way -‐‑‒  recursive-‐‑‒way Neural  language   model phrase,  sentence-‐‑‒level representation 13年9月28日土曜日
  89. 89. Word representation 自然言語処理における 単語の表現方法 ベクトル (Vector Space Model, VSM) 13年9月28日土曜日
  90. 90. 単語の意味をベクトルで表現 単語 → ベクトル dog いろいろな方法 - One-hot - Distributional - Distributed ... 本題 Word representation 13年9月28日土曜日
  91. 91. One-hot representation 各単語に個別IDを割り当て表現 dog 辞書V 0 1 2 236 237 3043 : the : a : of : dog : sky : cat ......... ......... cat 0 |V| 1 00... ...000... 0 1 00... 000... 0 スパースすぎて訓練厳しい 汎化能力なくて未知語扱えず 13年9月28日土曜日
  92. 92. Distributional representation 単語の意味は,周りの文脈によって決まる Standardな方法 13年9月28日土曜日
  93. 93. Distributed representation dense, low-dimensional, real-valued dog k k |V| ... Neural Language Model により学習 = Word embedding 構文的,意味的な情報 を埋め込む 13年9月28日土曜日
  94. 94. Distributed Word representation Distributed Phrase representation Distributed Sentence representation Distributed Document representation recursive勢の一強? さて... 13年9月28日土曜日
  95. 95. Neural Language Model Distributed Word Representation の学習 13年9月28日土曜日
  96. 96. Neural Language Model 言語モデルとは P(“私の耳が昨日からじんじん痛む”) P(“私を耳が高くに拡散して草地”) はぁ? うむ 与えられた文字列の 生成確率を出力するモデル 13年9月28日土曜日
  97. 97. Neural Language Model N-gram言語モデル 単語列の出現確率を N-gram ずつに分解して近似 次元の呪いを回避 13年9月28日土曜日
  98. 98. Neural Language Model N-gram言語モデルの課題 1. 実質的には長い文脈は活用できない   せいぜいN=1,2 2. “似ている単語”を扱えない    P(house|green) 13年9月28日土曜日
  99. 99. Neural Language Model とは Neural Networkベースの言語モデル  - 言語モデルの学習  - Word Embeddingsの学習 同時に学習する 13年9月28日土曜日
  100. 100. Neural Language Model 単語そのもの その単語のembedding |辞書|次元の確率分布 どの単語が次に 出てくるかを予測 A Neural Probabilistic Language Model (bengio+, 2003) 13年9月28日土曜日
  101. 101. Neural Language Model n語の文脈が与えられた時 次にどの単語がどのく らいの確率でくるか 13年9月28日土曜日
  102. 102. Neural Language Model 似ている単語に似たembeddingを与えられれば, NN的には似た出力を出すはず    語の類似度を考慮した言語モデルができる 13年9月28日土曜日
  103. 103. Ranking language model[Collobert & Weston,2008] 仮名 単語列に対しスコアを出すNN 正しい単語列 最後の単語をランダムに入れ替え > となるように学習 他の主なアプローチ 13年9月28日土曜日
  104. 104. Recurrent Neural Network [Mikolov+, 2010] t番⽬目の単語の⼊入⼒力力時に 同時にt-‐‑‒1番⽬目の内部状態を⽂文脈として⼊入⼒力力 1単語ずつ⼊入⼒力力 出⼒力力は同じく 語彙上の確率率率分布 word2vecの人 他の主なアプローチ 13年9月28日土曜日
  105. 105. Recurrent Neural Network [Mikolov+, 2010] t番⽬目の単語の⼊入⼒力力時に 同時にt-‐‑‒1番⽬目の内部状態を⽂文脈として⼊入⼒力力 1単語ずつ⼊入⼒力力 出⼒力力は同じく 語彙上の確率率率分布 word2vecの人 他の主なアプローチ 13年9月28日土曜日
  106. 106. word2vec https://code.google.com/p/word2vec/ 研究 進展 人生 → 苦悩 人生 恋愛 研究 → 進展 他に... 13年9月28日土曜日
  107. 107. word2vec https://code.google.com/p/word2vec/ 単語間の関係のoffsetを捉えている仮定 king - man + woman ≒ queen 単語の意味についてのしっかりした分析 13年9月28日土曜日
  108. 108. Keywords 任意の⻑⾧長さの⽂文を⼊入⼒力力とするには?? 単語(句句や⽂文も)をどうやって表現する?? Distributed  word   representation -‐‑‒  convolutional-‐‑‒way -‐‑‒  recursive-‐‑‒way Neural  language   model phrase,  sentence-‐‑‒level representation 13年9月28日土曜日
  109. 109. 先ほどは,単語表現を学習するためのモデル (Bengio’s, C&W’s, Mikolov’s) 以降は,NNで言語処理のタスクに 取り組むためのモデル (結果的に単語ベクトルは学習されるが    おそらくタスク依存なものになっている) 13年9月28日土曜日
  110. 110. Keywords 任意の⻑⾧長さの⽂文を⼊入⼒力力とするには?? 単語(句句や⽂文も)をどうやって表現する?? Distributed  word   representation -‐‑‒  convolutional-‐‑‒way -‐‑‒  recursive-‐‑‒way Neural  language   model phrase,  sentence-‐‑‒level representation 13年9月28日土曜日
  111. 111. Collobert & Weston[2008] convolutional-‐‑‒way はじめに 2008年の論文 文レベルの話のとこだけ 他に Multi-task learning Language model の話題がある 13年9月28日土曜日
  112. 112. Collobert & Weston[2008] convolutional-‐‑‒way はじめに ここは 2層Neural Network 入力 隠れ層 出力層 13年9月28日土曜日
  113. 113. convolutional-‐‑‒way はじめに Neural Networkに 入力するために どうやって 固定次元に変換するか 任意の長さの文 Collobert & Weston[2008] 13年9月28日土曜日
  114. 114. convolutional-‐‑‒way Collobert & Weston[2008] 13年9月28日土曜日
  115. 115. convolutional-‐‑‒way 単語をd次元ベクトルに (word embedding + α) Collobert & Weston[2008] 13年9月28日土曜日
  116. 116. convolutional-‐‑‒way 3単語をConvolutionして localな特徴を得る Collobert & Weston[2008] 13年9月28日土曜日
  117. 117. convolutional-‐‑‒way 共通の重み( ) Collobert & Weston[2008] 13年9月28日土曜日
  118. 118. max(       ) convolutional-‐‑‒way 各次元の最大値を取得 max(       ) max(       ) 次元固定のキモ Collobert & Weston[2008] 13年9月28日土曜日
  119. 119. convolutional-‐‑‒way 固定次元の入力 任意サイズの入力 Neural Networkで学習 Collobert & Weston[2008] 13年9月28日土曜日
  120. 120. Keywords 任意の⻑⾧長さの⽂文を⼊入⼒力力とするには?? 単語(句句や⽂文も)をどうやって表現する?? Distributed  word   representation -‐‑‒  convolutional-‐‑‒way -‐‑‒  recursive-‐‑‒way Neural  language   model phrase,  sentence-‐‑‒level representation 13年9月28日土曜日
  121. 121. Keywords 任意の⻑⾧長さの⽂文を⼊入⼒力力とするには?? 単語(句句や⽂文も)をどうやって表現する?? Distributed  word   representation -‐‑‒  convolutional-‐‑‒way -‐‑‒  recursive-‐‑‒way Neural  language   model phrase,  sentence-‐‑‒level representation 13年9月28日土曜日
  122. 122. Richard Socher一派 recursive-‐‑‒way Recursive Neural Network Recursive Autoencoder Parsing Natural Scenes and Natural Language with Recursive Neural Networks (ICML2011) Semi-Supervised Recursive Autoencoders for Predicting Sentiment Distributions (EMNLP2011) 13年9月28日土曜日
  123. 123. Richard Socher一派 recursive-‐‑‒way Recursive Neural Network Recursive Autoencoder Parsing Natural Scenes and Natural Language with Recursive Neural Networks (ICML2011) Semi-Supervised Recursive Autoencoders for Predicting Sentiment Distributions (EMNLP2011) 13年9月28日土曜日
  124. 124. recursive-‐‑‒way Recursive Autoencoder 感情分布の推定 Semi-Supervised Recursive Autoencoders for Predicting Sentiment Distributions (EMNLP2011) 13年9月28日土曜日
  125. 125. recursive-‐‑‒way Recursive Autoencoder Distributed Representation Autoencoder 感情分布の推定 Semi-Supervised Recursive Autoencoders for Predicting Sentiment Distributions (EMNLP2011) 13年9月28日土曜日
  126. 126. recursive-‐‑‒way Recursive Autoencoder 2つを1つに圧縮用の共通の Autoencoderを再帰的に適用 Stacked Autoencoderは 階層毎に別のものを訓練 Semi-Supervised Recursive Autoencoders for Predicting Sentiment Distributions (EMNLP2011) 13年9月28日土曜日
  127. 127. recursive-‐‑‒way Recursive Autoencoder 感情分布の推定 Semi-Supervised Recursive Autoencoders for Predicting Sentiment Distributions (EMNLP2011) 13年9月28日土曜日
  128. 128. Richard Socher一派 recursive-‐‑‒way Recursive Neural Network Recursive Autoencoder Parsing Natural Scenes and Natural Language with Recursive Neural Networks (ICML2011) Semi-Supervised Recursive Autoencoders for Predicting Sentiment Distributions (EMNLP2011) 13年9月28日土曜日
  129. 129. recursive-‐‑‒way Recursive Neural Network Parsing Parsing Natural Scenes and Natural Language with Recursive Neural Networks (ICML2011) 13年9月28日土曜日
  130. 130. recursive-‐‑‒way Recursive Neural Network Neural Network Parsing Parsing Natural Scenes and Natural Language with Recursive Neural Networks (ICML2011) 13年9月28日土曜日
  131. 131. recursive-‐‑‒way Recursive Neural Network Parsing Natural Scenes and Natural Language with Recursive Neural Networks (ICML2011) :モデル出力の最大スコア :正解構文木のスコア Parsing 構文木中の全非終端ノードのsの総和 13年9月28日土曜日
  132. 132. Socher+’s ほかの 13年9月28日土曜日
  133. 133. Compositional semantics Semantic Compositionality through Recursive Matrix-Vector Spaces (EMNLP2012) 各単語にベクトルと行列を割り当て 意味 隣接語への影響 not, very ... 13年9月28日土曜日
  134. 134. Paraphrase 入力: 二つの文 出力: 二つの文が同じ意味か否か Dynamic Pooling and Unfolding Recursive Autoencoders for Paraphrase Detection (NIPS2011) - Unfolding RAEで文の意味 - Dynamic poolingで任意の長さの2文を比べる 13年9月28日土曜日
  135. 135. Keywords 任意の⻑⾧長さの⽂文を⼊入⼒力力とするには?? 単語(句句や⽂文も)をどうやって表現する?? Distributed  word   representation -‐‑‒  convolutional-‐‑‒way -‐‑‒  recursive-‐‑‒way Neural  language   model phrase,  sentence-‐‑‒level representation 単語の表現⽅方法としての 密で低次元な連続値ベクトル(word  embedding) 13年9月28日土曜日
  136. 136. Keywords Distributed  word   representation -‐‑‒  convolutional-‐‑‒way -‐‑‒  recursive-‐‑‒way Neural  language   model phrase,  sentence-‐‑‒level representation word  embeddingsを学習するためのアプローチ ex) Bengio’s, recurrent, ranking 任意の⻑⾧長さの⽂文を⼊入⼒力力とするには?? 単語(句句や⽂文も)をどうやって表現する?? 13年9月28日土曜日
  137. 137. Keywords 任意の⻑⾧長さの⽂文を⼊入⼒力力とするには?? 単語(句句や⽂文も)をどうやって表現する?? Distributed  word   representation -‐‑‒  convolutional-‐‑‒way -‐‑‒  recursive-‐‑‒way Neural  language   model phrase,  sentence-‐‑‒level representation 文ごとに長さが異なるのを扱うアプローチ 13年9月28日土曜日
  138. 138. Keywords 任意の⻑⾧長さの⽂文を⼊入⼒力力とするには?? 単語(句句や⽂文も)をどうやって表現する?? Distributed  word   representation -‐‑‒  convolutional-‐‑‒way -‐‑‒  recursive-‐‑‒way Neural  language   model phrase,  sentence-‐‑‒level representation Recursiveな方は途中のphraseやsentenceに おける単語ベクトルも保存 13年9月28日土曜日
  139. 139. 2つのモチベーション  - NLPでニューラルネットを  - 言語の意味的な特徴を NN→多層×→pretraining→breakthrough !! 焦って早口過ぎてたら 教えて下さい 具体例の説明が重くなりすぎたかも... 13年9月28日土曜日
  140. 140. 2つのモチベーション  - NLPでニューラルネットを  - 言語の意味的な特徴を NN→多層×→pretraining→breakthrough !! 焦って早口過ぎてたら 教えて下さい 具体例の説明が重くなりすぎたかも... 13年9月28日土曜日
  141. 141. Distributed (Word|Phrase|Sentence|Document) Representation Recursive Autoencoder一強 他の枠組みは? どうする? よりよい単語の表現 Neural Language Model 意味?? Compositional Semanticsという タスク自体は,deep learning 以外でも最近盛ん 13年9月28日土曜日
  142. 142. 既存タスクへの応用 単語類似度,分類,構造学習... 要約,翻訳,推薦, ...? - 学習された単語のembeddingを追加素性に使う 他の方法は? 13年9月28日土曜日
  143. 143. おわり 13年9月28日土曜日

×