ゼロつく4章の自習ノート（だいぶ昔。。。）

1. 第4章 ニューラルネットワークの学習
keyword
・特徴量- SIFT、SURF、HOG
・識別機- SVM、KNN
・損失関数- 2乗和誤差、交差エントロピー誤差
・微分- 数値微分、解析的な微分
・偏微分
・勾配法

2. 4.1. データから学習する
ニューラルネットワークの学習
指標：損失関数
目的：損失関数が最も小さくなるパラメータを探し出す
手法：勾配法

3. 4.1. データから学習する
ニューラルネットワークの特徴 = データから学習できる
ニューラルネットワークの特徴= 重みパラメータの値をデータの学習により自動で決定できる

4. 4.1.1. データ駆動
データ駆動(data driven)…計算機科学における計算モデルの一つ
一つの計算によって生成されるデータが次の計算を起動し、
次々に一連の計算が実行される

5. 4.1.1. データ駆動
画像認識のイメージ
特徴量を抽出(ex.SIFT、SURF、HOG)
特徴量を用いて画像内の物体を分類するモデルを作成 (ex.SVM、KNN)

6. 4.1.1. データ駆動
■特徴量の例
SIHT、SURF、HOGなど
https://www.slideshare.net/mobile/lawmn/siftsurf
■識別器の例
SVM…教師あり学習を用いるパターン認識モデルの一つ。現在最も優秀らしい
KNN…機械学習アルゴリズム内でも、もっとも単純

7. 4.1.1. データ駆動
KNN(k近傍法)
分類したいデータ(緑の●)の同心円内にある
データの数で、どちらに分類するか決定する方法
円の半径によりどちらに分類されるかきまるらしい。
→だから何なのか。。。
またの機会に勉強しよう。。。

8. 4.1.1. データ駆動
ニューラルネットワーク
・すべての問題を同じ流れで解くことができる
・対象とする問題に関係なく，データをそのまま生データとして，"end-to-end"で学習できる

9. 4.1.2. 訓練データとテストデータ
訓練データ(教師データ)…学習を行い、最適なパラメータを探索するのに使用する
テストデータ…訓練したモデルの評価を行う
※モデルの汎化能力を正しく評価するため、訓練データとテストデータを分ける必要

10. 4.2. 損失関数(loss function)
現在のニューラルネットワークが教師データに対して、どれだけ性能が悪いかを示す。
2乗和誤差、交差エントロピー誤差などが知られる。

11. 4.2. 損失関数
2乗和誤差
ykはニューラルネットワークの出力，tkは正解ラベル，kはデータの次元数を表す

12. 4.2. 損失関数
交差エントロピー誤差
ykはニューラルネットワークの出力，tkは正解ラベル，kはデータの次元数を表す
tkは正解ラベルとなるインデックスだけが1で，その他は0であるとするため、
実質的に正解ラベルが1に対応する出力の自然 対数を計算するだけ
→正解ラベルのみを評価に利用するので、
結果がはっきり出やすいけど分類問題にしか使えないらしい

13. 4.2.3. ミニバッチ学習
実際の機械学習の問題では、訓練データすべての損失関数の和を利用する必要がある
↓交差エントロピー誤差の場合
訓練データが多い場合(MNISTだと60,000個)、
全て計算するとかなり時間がかかってしまう。
→ミニバッチ学習を用いる

14. 4.3. 数値微分
数値微分と、解析的な微分は厳密には異なる
以下の工夫をすることで、いい感じに。。。
・h(xの変化量)の値は丸め誤差を回避する為、10-4を使用する
・中心差分を使用する

15. 4.3.3. 偏微分
変数が複数ある関数で、どれか一つの変数(パラメータ)について微分する。
※特定のパラメータ以外は定数と見なして微分するところがミソ！

16. 4.4. 勾配
全ての変数(パラメータ)の偏微分を、ベクトルとしてまとめたもの
勾配は、各地点で、より低くなる方向を指す(ベクトル = 矢印)

17. 4.4. 勾配法(gradient method)
勾配方向(関数の値を最も減らす方向)に、
一定の距離だけ進むことを繰り返し、関数の値を徐々に減らす方法
(一定の距離 =学習率)
要は、損失関数の最小値を、ちょっとずつパラメータを変更しながらて探すってこと
式：
学習率(learning rate)…一回でどれだけパラメータを更新するか
学習率はハイパーパラメータ(人の手で調整する)

18. まとめ
●機械学習で使用するデータセットは，訓練データとテストデータに分けて使用する
●訓練データで学習を行い，学習したモデルの汎化能力をテストデータで評価する
●ニューラルネットワークの学習は，損失関数を指標として，損失関数の値が
小さくなるように，重みパラメータを更新する
●重みパラメータを更新する際には，重みパラメータの勾配を利用して，
勾配方向に重みの値を更新する作業を繰り返す
●微小な値を与えたときの差分によって微分を求めることを数値微分という
●数値微分によって，重みパラメータの勾配を求めることができる