静岡大学の山本研究室で行った機械学習の勉強会のスライドです。

1. ゼロから始める深層学習
梅田浩郎
静岡大学 大学院 総合科学技術研究科 情報学専攻
umeda@design.inf.shizuoka.ac.jp
2019年10月31日
定期勉強会

2. この勉強会では
自然言語処理で耳にするRNN/LSTMは
どういったものなのか？
技術的なことを省いて勉強する

3. RNN/LSTMの位置付け

4. 機械学習と深層学習の関係
機械学習と深層学習は包括関係
機械学習
深層学習

5. 機械学習の学習と手法
3つの学習方法と手法の例
ニューラルネットワークの拡張が深層学習
• サポートベクターマシン（SVM）
• ランダムフォレスト
• ニューラルネットワーク（NN）
教師あり学習
• 階層型クラスタリング
• 非階層型クラスタリング
教師なし学習
強化学習

6. NNと深層学習の関係
先ほどの包括関係は下のようになる
機械学習
NN
深層学習

7. NN
入力層、中間層（隠れ層）、出力層から
成り立つ
出力が教師データと照合され、一致度が
高くなるように重みを調整する

8. 深層学習
中間層が多層化したNNのこと

9. NN・深層学習の特徴
大量の教師データを与えることで
コンピュータ自ら特徴量を学習する
NN・深層学習では教師データをもとに特徴量を決定
データによると「赤、丸い、果梗あり」はりんごだ
SVMなどでは判別のための特徴量を人間が指定
「赤、丸い、果梗あり」に注目しろ
特徴量
• 赤
• 丸い
• 果梗あり

10. RNN
時系列データ（音声や文章）を扱える
入力と前状態をもとに出力を決定する

11. LSTM
RNNの改良版
状態の伝播の取捨選択を行う
必要なことだけを伝えるためRNNに比べ
長期記憶データが扱える

12. ニューラルネットワーク・深層
学習

13. NN（再掲）
入力層、中間層（隠れ層）、出力層から
成り立つ
出力が教師データと照合され、一致度が
高くなるように重みを調整する

14. 入力部分
取り扱う問題によって入力数は変化する
下のような手書き画像の分類問題の場合、
ピクセルの数だけ入力が存在する
28
28
1
784
・
・
・
入力層

15. 中間層への受け渡し・重み付け
入力ごとに重みがかけられる
それを全て加算したものが中間層へ渡る
中間層の数だけ行われる
𝑋1
𝑋784
・
・
・
𝑊1
𝑊784
・
・
・
重み：W入力：𝑋n
×
×
ℎ1 = 𝑥1 𝑤1 + ⋯ + 𝑥784 𝑤784ℎ1
中間：ℎ
ℎ2
・
・
・
ℎ2 = 𝑥1 𝑤785 + ⋯ + 𝑥784 𝑤1568

16. 中間層での処理・活性化関数の適用
入力から渡された値をある程度の範囲に
収める
これを行うのが活性化関数
ℎ1 = 𝑥1 𝑤1 + ⋯ + 𝑥784 𝑤784の結果に応じて
出力層に渡す値を変化させる
ℎ1
中間：ℎ 出力：𝑦
𝑦1
ℎ ≥ 0 ∶ 1
ℎ < 0 ∶ 0

17. 出力層 出力の数
出力の数は解きたい問題によって変化
– 分類問題なら分類したい数が出力の数となる
– 手書き文字の分類問題は1~9を分類するので出力の数
は9となる
出力層の値と教師データの比較を行い、
各重みを調整する（次ページに続く）
出力：𝑦
𝑦1
𝑦9
𝑦5
教師データ
0
0
1
５の判別にあたる𝑦5は1に
９の判別にあたる𝑦9は0に
なってほしい

18. 出力層 出力層の処理
損失関数を用いて正解データと比較
損失関数が小さくなるように重みを調整
重み調整の方法を誤差逆伝播法という
損失関数:L

19. NN・深層学習のまとめ
入力層、中間層（隠れ層）、出力層から
成り立つ
出力が教師データと照合され、一致度が
高くなるように重みを調整する
出力とデータの照合に損失関数を用いる
重みの調整には誤差逆伝播法を用いる

20. RNNとLSTM

21. RNNとLSTMの基本構造（再掲）
入力と前状態をもとに出力を決定する

22. RNN/LSTMはNNから何が変わったのか？
可変長の時系列データを扱えるようになる
単語の予測に以前の入力を使える
“公園を”だけでは次に来る候補が多数考えらえる
１つ前の入力“私は”も使うことで“歩く”を予測できる

23. RNNの欠点
長すぎる時系列データを扱うと重みの調整
ができなくなる
例えば下の文の空白部分を予測する問題
Tom was watching TV in his room.
Mary came into the room.
Mary said hi to ________ .

24. RNNの欠点
RNN
embedding
affine
Softmax
withloss
RNN
embedding
affine
Softmax
withloss
RNN
embedding
affine
Softmax
withloss
LOSS
Tom was to
正解ラベル
Tom

25. RNNの欠点
RNN
embedding
affine
Softmax
withloss
RNN
embedding
affine
Softmax
withloss
RNN
embedding
affine
Softmax
withloss
LOSS
Tom was to
正解ラベル
Tom
時系列の初期の方の重みの調整ができなくなる
（勾配消失・勾配爆発）

26. RNNの改善 LSTM
LSTMha必要な情報のみを伝えることが で
きるようになったRNN
– RNNでは必要のない情報も伝えていた
– LSTMでは必要な情報の取捨選択を行うゲートが
組み込まれている
– ゲートは勾配消失などに対応する
LSTM LSTM LSTM
このLSTM以前の状態が必要性が少ない時、
ゲートが伝播を調整する

27. RNN/LSTMのまとめ
時系列データを扱える
基本的な動作はRNNとLSTMで同じ
LSTMは、RNNが苦手な長期に渡る時系列
データを扱える

28. 参考文献
 ゼロから作るDeep Learning
 ゼロから作るDeep Learning2
 再帰型ニューラルネットワークの「基礎の基礎」を理解する ～
ディープラーニング入門｜第3回 https://www.imagazine.co.jp/
再帰型ニューラルネットワークの「基礎の基礎」/
 総務省 ICTスキル総合取得教材 3-5:人工知能と機械学習
http://www.soumu.go.jp/ict_skill/pdf/ict_skill_3_5.pdf
 ニューラルネットワークの基礎解説：仕組みや機械学習・ディープ
ラーニングとの関係とは https://www.sbbit.jp/article/cont1/33345
 やさしい深層学習の原理 http://gagbot.net/machine-
learning/ml4
 Deep Learning入門：ニューラルネットワーク設計の基礎
https://www.youtube.com/watch?v=O3qm6qZooP0&t=168s