ラビットチャレンジレポート　深層学習Day1-2

1. ラビットチャレンジレポート
深層学習Day1
2021/6月

2. 入力層～中間層
入力層からの入力は重みWとバイアスbとの線形結合で
表現される

3. 入力層～中間層 実装演習
入力層の入力を重みWおよびバイアスbを使って中間層の活性化関数への入力値に変換
確認テストの回答
まとめ：
活性化関数への入力は重みと入力の内積とバイアスbの和で計算できる

4. 活性化関数
活性化関数：ニューラルネットワークにおいて、次の層への出力の大きさを決める非線形の関数。
入力値の値によって、次の層への信号のON/OFFや強弱を定める働きをもつ
活性化関数

5. 活性化関数
中間層用活性化関数
①ステップ関数
課題：0～1の間を表現できず、線形分離可能なものしか学習できない

6. 活性化関数
中間層用活性化関数
②シグモイド関数
課題：大きな値では出力の変化が微小なため、勾配消失問題を引き起こすことがあった。

7. 活性化関数
中間層用活性化関数
②RELU関数：今最も使われている活性化関数。勾配消失問題の回避とスパース化に貢献。

8. 活性化関数 実装演習
活性化関数RELU関数に入力を代入して出力値を得る
↑確認テスト(活性関数により出力値を演算するソースコードを抜き出せ)の解答
考察：Relu関数により出力値を変換。sigmoid関数の場合、勾配が小さくなり勾配
消失問題が発生したが、Relu関数は一定の勾配値を得られるため勾配消失問題を
解消できる

9. 出力層
出力層：欲しい形式の変換をする
例：犬・猫・ネズミを分類したい場合、出力層では犬、猫、ネズミである確率を出力する

10. 出力層
誤差関数：出力層の出力と正解値との差分を数値化する関数
代表的な誤差関数：二乗誤差

11. 出力層 確認テスト
解答：
・誤差を常に正の値するため
・計算負荷を下げるため微分したときに1になるように1/2を付けている(本質的な意味はない)

12. 出力層
タスクと出力層の種類、誤差関数

13. 出力層 確認テスト
入力値を転置
入力値の最大値で正規化
ソフトマックス関数の演算

14. 出力層 実装演習
多いクラス分類問題
重み、バイアスの設定
重みとバイアスを使って総入力を計算
活性化関数(Relu）に通して出力値に変換
１層目の出力を2層目の入力値に変換
ソフトマックス関数に通して多クラス分類問題に適した出力に変換

15. 勾配降下法
誤差を最小化するパラメータwを見つける方法
w:重み
E:誤差
ε:学習率(ハイパーーパラメータ)
【確認テスト】該当するソースコードを探してみよう
↑重み ↑学習率 ↑誤差関数の微分値

16. 勾配降下法
学習率の大きさによって学習時の挙動が変わる
学習率大：収束せず発散する
学習率小：収束までに時間がかかる
⇒学習率の決定、収束性向上のためのアルゴ理済みについて複数の論文が公開されよく利用されている
・Momentum
・AdaGrad
・Adadelta
・Adam
※詳細はDay2にて

17. 勾配降下法
確率的勾配降下法
特徴
・データが冗長な場合の計算コストを軽減
・望まない局所極小解に収束するリスクを軽減
・オンライン学習ができる
【確認テスト】オンライン学習とは
学習データがはいってくるたびにその都度、新たに入ってきたデータのを使って学習を行う。学習
を行う際に1からモデルを作り直すのではなく、今あるモデルのパラメータを随時更新していく。
引用：https://dev.classmethod.jp/articles/online-batch-learning/

18. 勾配降下法
ミニバッチ勾配降下法
特徴
・確率的勾配降下法のメリットを損なわず、計算機の計算資源を有効利用できる
→CPUを利用したスレッド並列化やGPUを利用したSIMD並列化

19. 誤差逆伝播法
誤差逆伝播法：算出された誤差を出力層側から順に微分し、前の層、前の層へと伝播。
最小限の計算で各パラメータの微分値を解析的に計算する手法

20. 誤差逆伝播法
【確認テスト】
誤差逆電波法では不要な再帰的処理を避けることができる。
既に行った計算結果を保持しているソースコードを抽出せよ。

21. 勾配降下法 誤差逆伝播法 実装演習
ネットワーク作成 順伝播計算 逆伝播計算
重み初期化
重み初期化
総入力値
活性化関数(Relu)
総入力値
活性化関数(ソフ
トマックス)

22. 勾配降下法 誤差逆伝播法 実装演習
メイン
訓練データ設定
正解値設定
学習率設定
出力値演算
誤差演算
(クロスエントロピー)
誤差逆伝播
重み更新

23. ラビットチャレンジレポート
深層学習Day2
2021/6月

24. 勾配消失問題
勾配消失問題：誤差逆伝播法が下位層に進んでいくに連れて、勾配がどんどん緩やかにやっていく。その
ため、勾配降下法による更新では下位層のパラメータはほとんど変わらず、訓練は最適値に収束しなくな
る
シグモイド関数の値は０～1なので下位層に行くほど誤差はどんどん小さくなっていく

25. 勾配消失問題
勾配消失の解決法
①活性化関数の選択
②重みの初期値設定
③バッチ正規化

26. 勾配消失問題 ①活性化関数の選択
活性化関数にReLU関数を採用することで微分値1となり勾配消失問題を抑制できる
また、入力が負の場合は微分値が0になるので、必要な重みを選択的に残すことができる(スパース化)

27. 勾配消失問題 ②重みの初期値設定
◆Xavier
重みの要素を、前の層のノード数の平方根で除算した値とする
◆He
重みの要素を、前の層のノード数の平方根で除算しあ値に対し√2を掛け合
わせた値とする
Xavierで初期値を設定するのに適した活性化関数
・ReLU関数、シグモイド関数、双曲線正接関数
Heで初期値を設定するのに適した活性化関数
・ReLU関数

28. 勾配消失問題 ②重みの初期値設定 確認テスト
すべての重みが均一に更新されるため正しく学習できなくなる

29. 勾配消失問題 ③バッチ正規化
◆バッチ正規化とは
ミニバッチ単位で入力値のデータの偏りを抑制する手法
活性化関数に値を渡す前後にバッチ正規化の処理を加える

30. 勾配消失問題 ③バッチ正規化 確認テスト
・中間層の更新が安定するので学習が早くなる
・極端なデータのばらつきが抑えられるので過学習が抑制される

31. 勾配消失問題 重みの初期値設定 実装演習#1
シグモイド活性関数のネットワークに対しXavierにより初期値を設定する
重みの初期化のモードをXavierに設定
class MultiLayerNet
標準正規分布を前の層のノード数
の平方根で割る

32. 勾配消失問題 重みの初期値設定 実装演習#2
シグモイド活性関数のネットワークに対しXavierにより初期値を設定する
誤差関数の勾配演算
重みの更新
(勾配降下法)
トレーニング誤差
とテスト誤差のリ
アルタイム表示
実行結果
Xavierで重みの初期を設定することで学習が安定

33. 学習率最適化手法 モメンタム
モメンタム
誤差をパラメータで微分したものと学習率の積を減算した後、現在の重みに前回の重みを減算した値と慣
性の積を加算する
メリット
・局所最適解にはならず、大域的最適解となる
・谷間についてから最も低い位置にいくまでの時間が早い

34. 学習率最適化手法 AdaGrad
AdaGrad
誤差をパラメータで微分したものと再定義した学習率の積を減算する
メリット
・緩やかな斜面に対して最適値に近づける
課題
学習率が徐々に小さくなるの、鞍点問題を引き起こすことがある

35. 学習率最適化手法 RMSProp
RMSProp
誤差をパラメータで微分したものと再定義した学習率の積を減算する
メリット
・局所最適解にはならず大域的最適解となる
・ハイパーパラメータの調整が必要な場合が少ない
現在の勾配の二乗との移動平均

36. 学習率最適化手法 Adam
Adam
モメンタムとRMSPropのメリットを孕んだアルゴリズム
メリット
・モメンタムとRMSPropのいいとこどり
引用：https://qiita.com/omiita/items/1735c1d048fe5f611f80
モメンタムの効果
RMSPropの効果

37. 学習率最適化手法 実装演習
Adamにより学習率を調整し学習を実行
モーメンタムの効果をもたらす項
RMSPropの効果をもたらす項
学習率の更新
実行結果
Adamの場合 学習率一定の場合
Adamで学習率を最適化することで学習が安定して進行

38. 過学習
過学習とは
テスト誤差と訓練誤差とで学習曲線が乖離すること
原因
パラメータの数が多い、パラメータの値が適切でない、ノードが多いetc
⇒ネットワークの自由度が高い

39. 過学習 正則化
正則化とは
ネットワークの自由度を制約すること
L1正則化、L2正則化
誤差関数に、ノルムを加える
p=1のときL1正則化(Lasso正則化)
p=2のときL2正則化(Ridge正則化)
特定のパラメータを0に落とす
特定のパラメータを0に近づける

40. 過学習 正則化
ドロップアウト
ランダムにノードを削除して学習させること
メリット
データ量を変化させずに異なるモデルを学習させていると解釈できる

41. 過学習 確認テスト
特定のパラメータを0に
落とすように制約がかかる

42. 過学習 実装演習
L2正則化
訓練データのミニバッチ化
L2ノルムの微分値
正則化係数設定
罰則項
ロス関数に罰則項を加える

43. 過学習 実装演習
L1正則化
訓練データのミニバッチ化
L1ノルムの微分値
正則化係数設定
L1罰則項の演算
ロス関数に罰則項を加える

44. 畳み込みニューラルネットワークの概念
畳み込み プーリング 畳み込み プーリング
畳み込み層とプーリング層を繰り返すことで特徴量を抽出していく
画像認識などの処理に適したネットワーク

45. 畳み込みニューラルネットワーク 畳み込み層
入力値にフィルターをかけて出力する。フィルターは全結合でいう重みに該当

46. 畳み込みニューラルネットワーク プーリング層
対象領域のMAX値や平均値などの代表値を取得する

47. 畳み込みニューラルネットワーク 確認テスト
(6(画像サイズ)+1*2(パディング)-2(フィルタサイズ))/1(ストライド) + 1 = 7
出力画像サイズは7×7

48. 畳み込みニューラルネットワーク 実装演習
畳み込み→Relu→プーリング→畳み込み→Relu→プーリング
CNNモデルの作成

49. 畳み込みニューラルネットワーク 実装演習
学習の実行 実行結果
誤差勾配計算
重みの更新

50. 最新のCNN
AlexNet
“Hinton 教授らのチームによって発表された物体認識のためのモデル.
画像分類チャレンジコンテスト（ILSVRC）において、AlexNet が飛躍てきな性能を果たした。
人が特徴量を設計しなくても、十分なデータさえ存在すれば、機械自身が特徴量を見つけ出すことが
AlexNet によってで示された。
画像データの少なさを解決すべく、既存の画像データを反転したり、回転したりして、画像の水増し
（augmentation）が行われていた。さらに、過学習を防ぐために dropout と呼ばれる概念が取り入れ
られていた。” 引用：https://axa.biopapyrus.jp/deep-learning/cnn/image-classification/alexnet.html
Krizhevsky A, Sutskever I, Hinton GE. ImageNet classification with deep convolutional neural networks. NeurIPS. 2012. DOI: 10.1145/3065386