Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

入門パターン認識と機械学習3章

664 views

Published on

入門パターン認識と機械学習3章

Published in: Engineering
  • Be the first to comment

  • Be the first to like this

入門パターン認識と機械学習3章

  1. 1. 入門パターン認識と機械学習 @hiro5585 Chapter 3 線形識別の方法
  2. 2. 3.1 線形識別器とパーセプトロン 入力がどのクラスに属するかを線形識別関数で求める 線形識別関数 2 ・・・(3.1) ・・・(3.4)
  3. 3. 2クラス分類を考えたとき各クラスの線形識別関数を考える 上記の式の正負によってクラス1かクラス2か識別する 3 3.1 線形識別器とパーセプトロン ・・・(3.5) PRML
  4. 4. 3.1 線形識別器とパーセプトロン 重みの学習の方法 入力と対応する正解のクラスが与えられているとする 線形分離可能な場合、以下の更新で分離境界を求めれる 線形演算と最大化で識別を行う方法をパーセプトロンと呼ぶ 4 ・・・(3.6)
  5. 5. 3.2 フィッシャーの線形判別方法 分離平面の法線で表される軸上に入力を射影して分類する クラス内分散に対しクラス間分散を最大化する平面を求める 5 PRML
  6. 6. 3.2 フィッシャーの線形判別方法 クラスCiの平均 クラスCiの分散 6 ・・・(3.13) ・・・(3.14)
  7. 7. 3.2 フィッシャーの線形判別方法 クラス内分散 クラス間分散 7 ・・・(3.18) ・・・(3.19)
  8. 8. 3.2 フィッシャーの線形判別方法 フィッシャーの評価基準 上記の評価関数を偏微分し、値が最大となる重みを求める 8 ・・・(3.20) ・・・(3.23)
  9. 9. 3.3 誤差評価関数による線形識別器の獲得 パーセプトロンはクラス間の重なりがあるような線形分離不 可能な場合には学習が収束しない(重みを無限に更新する) →識別誤りを許容する識別器を構成する必要がある 2乗誤差が最小になるような重みを求める 各クラスにおける、ある入力に対する正解の出力との誤差 9 ・・・(3.33)
  10. 10. 3.3.1 2乗誤差評価に基づくウエイト推定 全ての入力に対する2乗誤差 10 ・・・(3.34) ・・・(3.39)
  11. 11. 3.3.1 2乗誤差評価に基づくウエイト推定 偏微分を行い誤差を最小とするような重みを求める 最小二乗解 しかし、次元が大きくなった場合など逆行列が計算できない 11 ・・・(3.42)
  12. 12. 3.3.2 Widrow-Hoffの学習規則 最急降下法 評価関数の勾配を用いて重みを繰り返し更新する 更新が十分に行われると勾配が0に近くなる ここでは、全ての入力に対する誤差評価関数Jの勾配を用 いて重みを更新する(バッチ的) 12 ・・・(3.43)
  13. 13. 3.3.2 Widrow-Hoffの学習規則 確率的降下法 1つの入力ごとに誤差評価関数Jpの勾配を用い更新を行う 学習データが1つずつ与えられたときに、少しずつフィッティ ングを行う方法をWidrow-Hoffの学習規則と呼ぶ Jpの最小化がJの最小化になることが理論的に分かってる 13 ・・・(3.44) ・・・(3.46)

×