More Related Content
What's hot
What's hot (20)
Recently uploaded
Recently uploaded (8)
DeepLearning 5章
- 8. 評価指標 モデルの能力を評価するために、定量的な尺度の設計が必要！ →モデルの 精度 や 誤差率 の測定 5.1学習アルゴリズム 8
- 10. 経験E 機械学習アルゴリズムは、学習過程においてどのような経験を獲得 するかによって、大きく 教師あり学習 と 教師なし学習 に分類でき る 5.1学習アルゴリズム 10
- 14. ex.線形回帰 = w x xから を予測する 入力:ベクトルx ∈ R 出力:スカラー ∈ R パラメータ:w ∈ R ...各特徴量が予測に対しどれくらい影響を与えるか？ 重み の集合 y^ T y^ n y^ n 5.1学習アルゴリズム 14
- 15. = w x これをどのように評価するか？→ 平均二乗誤差 y^ T 5.1学習アルゴリズム 15
- 16. 平均二乗誤差 MSE = ( − y ) ∣∣x∣∣ = より ∣∣ − y ∣∣ = MSE = ∣∣ − y ∣∣ test m 1 i ∑ y^test test 2 2 √ (x )∑i i 2 y^test test 2 √ ( − y )∑i y^test test 2 test m 1 y^test test 2 2 5.1学習アルゴリズム 16
- 17. MSE の最小化...勾配が0となる点を求めれば良い ∇wMSE = 0 ⇒ ∇w ∥y − y ∥ = 0 ⇒ ∇w∥X w − y ∥ = 0 ⇒ ∇w(X w − y ) − (X w − y ) ⇒ ∇w(w X w − 2wX y + y y ) = 0 ⇒ 2X X w − 2X y = 0 ⇒ w = (X X ) X y ...正規方程式 train train m 1 train train 2 2 m 1 (train) train 2 2 train train T train train T trainT train train train train train train train train train train −1 train train 5.1学習アルゴリズム 17
- 18. ちなみに 一般的に「線形回帰」といったときのモデル = w x + b b:バイアスパラメータ 入力が全くないときに出力がbによるため y^ T 5.1学習アルゴリズム 18
- 20. 機械学習の課題:未知の入力に対してもアルゴリズムは良い性能を 発揮しなければならない... 汎化 訓練データとは別の テスト集合 に対して性能評価を行う！ 訓練データもテストデータも同じ データ生成過程 (データ酒豪の確 率分布)から生成される 5.2容量、過剰適合、過少適合 20
- 22. TrainingerrorとTesterror Trainingerror...訓練誤差 ∥X w − y ∥ Testerror...汎化誤差 ∥X w − y ∥ 訓練誤差を小さくする→訓練誤差と汎化誤差の差を小さくする mtrain 1 train train 2 2 mtest 1 test test 2 2 5.2容量、過剰適合、過少適合 22
- 23. モデルの表現容量 = wx + bよりも = w x + w x + bのほうが表現の幅が 広がる!! 単純に表現容量をあげればいいというわけではない y^ y^ 1 2 2 5.2容量、過剰適合、過少適合 23
- 27. 理想的なモデル...データを生成する真の確率分布を知っている神託 (オラクル) 神託（しんたく、英語: Oracle） 神の意を伺う事。また、その時伝えられた言葉。道具により神の意を推し 測る占いに近いものと、トランス状態になったシャーマンの口から 伝えられるものとに分けられるが、何かを媒介にする点では同じである。 ??? ...しかし、その確率分布にもノイズが含まれている可能性がある 真の確率分布から神託が予測した際に生じる誤差を ベイズ誤差 と 呼ぶ 5.2容量、過剰適合、過少適合 27
- 32. 重み減衰 学習アルゴリズムにおいて、その仮設空間内にあるある解を他の解 より優先させる J(w) = MSE + λw w 重み減衰λw wを含めた最小二乗誤差を最小化する！ train T T 5.2容量、過剰適合、過少適合 32
- 33. 正則化 もっと一般的に言うと、 正規化項 と呼ばれるペナルティをコスト 関数に追加することで、学習するモデルを 正則化 することができ る テスト誤差を減少させる目的で学習アルゴリズムに加えられる 過学習を防ぐ！ 5.2容量、過剰適合、過少適合 33
- 36. これを回避するために、 検証集合(Validation set) を用いてハ イパーパラメータの最適化を行う!! ValidationData (注)検証データにテストデータを使ってはいけない! 5.3ハイパーパラメーターと検証集合 36
- 37. 与えられたデータセットが小さすぎる時、小さいテスト集合の損失 Lの平均値は分散が大きくなる→過学習 そんなときに 交差検証 (k‑分割交差検証アルゴリズム) 5.3ハイパーパラメーターと検証集合 37
- 40. 点推定量 点推定...入力変数と出力変数の関係の推定 パラメータθ の点推定 → {x , ⋯ , x } ...m個の独立同一分布のデータ点から成る集合 点推定量 ...データの任意の関数 = g(x , ⋯ , x ) 良好な推定量は、訓練データを生成した真の潜在的なθ に近い出力 を持つ関数！！ θ^ (1) (m) θ^m (1) (m) 5.4推定量、バイアス、バリアンス 40
- 41. バイアス 推定量のバイアス(偏り) の期待値からθを引く bias( ) = E( ) − θ バリアンス 推定量の分散 V ar(θ) θ^m θ^m θ^m 5.4推定量、バイアス、バリアンス 41
- 42. ex.ベルヌーイ分布 平均がθであるベルヌーイ分布に従う集合{x , ..., x } ベルヌーイ分布...P(x ; θ) = θ (1 − θ) 推定量 = x (...式5.23‑5.28参照) bias( ) = 0 になる よって推定量 は 不偏 である 1 m i xi (1−x )i θ^m m 1 ∑i=1 m i θ^m θ^ 5.4推定量、バイアス、バリアンス 42
- 43. 不偏性 推定量に偏りがあるかどうか？ bias( ) = 0のとき、 不偏 lim E θ = 0のとき、 漸近不偏 θ^m m→∞ ( m) 5.4推定量、バイアス、バリアンス 43
- 44. 一致性 データの数を無限大に増やしたときに点推定量が収束するかどうか p = θ m→∞ lim θ^m 5.4推定量、バイアス、バリアンス 44
- 45. 5.5最尤推定 与えられたデータからそれが従う確率分布の母数を点推定する方法 最も尤度が高くなる推定を探す θ = argmaxp (X; θ) θ = argmaxE [log (x; θ)] ML model ML x∼p^data p^model 5.5最尤推定 45
- 46. KLダーバージェンス 2つの分布間の距離 D ( ∣∣p ) =E [log (x) − log (x)]KL p^data model x∼p^data p^data p^model 5.5最尤推定 46
- 47. つまり、KLダイバージェンスの最小化=尤度の最大化という解釈が できる 尤度の最大化 θ = argmaxE [log (x; θ)] KLダイバージェンスの最小化 D ( ∣∣p ) =E [log (x) − log (x)] ML x∼p^data p^model KL p^data model x∼p^data p^data p^model 5.5最尤推定 47
- 50. MAP推定(最大事後確率推定) 事後確率の最大化！ θ = argmaxp(θ∣x) = argmax log p(θ∣x) + log p(θ) ⇆さっきまでの最尤推定 θ = argmaxE [log (x; θ)] MAP ML x∼p^data p^model 5.6ベイズ統計 50
- 62. 具体的に、どのくらい計算量が増えるのか？ 訓練データの負の条件付き対数尤度 J(θ) = E L(x, y, θ) = L(x , y , θ) 事例毎の損失 L(x, y, θ) = − log p(y∣x; θ) 勾配を求めるための計算コスト:O(m) (データ数による増え方が単純にデータ数に依存) ...訓練データの事例集が多いほど、 1回の勾配を求めるステップにかかる時間が長くなる! x,y∼p^data m 1 i=1 ∑ m i i 5.9確率的勾配降下法 62
- 63. そこで 確率的勾配降下法 教師データを全部見ずに一部(ミニバッチ)だけ見て勾配を計算する ミニバッチB = {x , ⋯ , x } ...1~数百くらいのサイズ Step1:勾配の推定値gを算出 g = ∇ L(x , y , θ) Step2:推定された勾配を下る方向へ進む θ ← θ − ϵg 1 m′ m 1 θ i=1 ∑ m′ i i 5.9確率的勾配降下法 63
- 64. 学習率 learningrate(p.63)...ステップ幅を決める正のスカラー値 wの更新毎にランダムにミニバッチを選ぶことで、訓練データの大 きさmに依存しない! 5.9確率的勾配降下法 64
- 67. ほぼすべてのDLアルゴリズムは、単純な手法の掛け合わせ! データセット ・ コスト関数 ・ 最適化手順 ・ モデル ex.線形回帰...y = w x + bT 5.10機械学習アルゴリズムの構築 67