Download to read offline
![ラベルが３のデータ：183枚 ラベルが8のデータ：174枚
データセット [F. Pedregosa+2011]
4
データサイズ：8画素 × 8画素 64次元](https://image.slidesharecdn.com/pythonsvm-160424151525/75/SVM-5-2048.jpg)
![パターン認識手法の一種
【マージン最大化】という基準で、
2クラスのパターン識別器を構成する
非線形SVMもあるが、今回は線形SVMに関して
SVMとは [Bishop2012]
6参考：http://home.hiroshima-u.ac.jp/tkurita/lecture/svm.pdf
Support Vector Machineの略称](https://image.slidesharecdn.com/pythonsvm-160424151525/75/SVM-7-2048.jpg)
![結果 (1/2)
24
グループ 1 2 3 4 5
混同行列
[ [ 41 0 ]
[ 0 31 ] ]
[ [ 31 0 ]
[ 1 40 ] ]
[ [ 30 0 ]
[ 0 42 ] ]
[ [ 40 0 ]
[ 0 32 ] ]
[ [ 37 0 ]
[ 0 35 ] ]
正解率 1.0 0.99 1.0 1.0 1.0](https://image.slidesharecdn.com/pythonsvm-160424151525/75/SVM-25-2048.jpg)
![結果 (2/2)
25
99.7 %
汎化能力
[ [ 190 0 ]
[ 1 169 ] ]
混同行列
T
r
u
e
predict
3 8
3
8](https://image.slidesharecdn.com/pythonsvm-160424151525/75/SVM-26-2048.jpg)
![Infinite SVM [改] - ICML 2011 読み会](https://cdn.slidesharecdn.com/ss_thumbnails/isvm-icml11a-110719050617-phpapp02-thumbnail.jpg?width=640&height=640&fit=bounds)
SVM
- 1.
- 2. 1. 課題テーマ 1.1. 課題の内容 1.2.データセット 2. SVMについて 2.1. SVMとは 2.2. 識別面の決定 2.3. マージン最大化 マージン最大化の条件 2.4. ソフトマージンSVM 3. コード説明と結果 3.1. コードの説明 3.2. 交差検定 3.3. 結果 4. まとめ アジェンダ 1
- 3.
- 4.
- 5. ラベルが３のデータ：183枚 ラベルが8のデータ：174枚 データセット [F.Pedregosa+2011] 4 データサイズ：8画素 × 8画素 64次元
- 6.
- 7.
- 8.
- 9. ・学習サンプル群： 𝒙 𝒙 𝒙= 𝒙1, 𝒙2, … , 𝒙 𝑛 ・教師信号： 𝑦 各サンプルは 𝑦𝑖 = +1と𝑦𝑖 = −1に ラベルを振り分けておく 𝑖 = 1,2, … , 𝑛 𝑦𝑖 = −1 𝑦𝑖 = +1 識別面の決定 (2/4) 8
- 10. 𝑔 𝑥 =0 : 識別面 𝑔 𝑥 > +1 : クラスAと判定 𝑔 𝑥 < −1 : クラスBと判定 𝑔 𝑥 = −1𝑔(𝑥) = 1 𝑔(𝑥) = 0 クラスB𝑔(𝑥) = 𝒘 𝑇 𝒙 + 𝑏 線形識別関数 𝑔 𝑥 𝑤：重みベクトル 𝑥 ：学習サンプル 𝑏 ：ベクトル項 クラスA 識別面の決定 (3/4) 9
- 11. 𝑔(𝑥) = 𝒘𝑇 𝒙 + 𝑏 線形識別関数 𝑔 𝑥 クラスB 𝑤：重みベクトル 𝑥 ：学習サンプル 𝑏 ：ベクトル項 以上の条件を満たす 𝒘と 𝑏を 学習によって求める 𝑔 𝑥 = −1𝑔(𝑥) = 1 クラスA 𝑔(𝑥) = 0 識別面の決定 (4/4) 10
- 12.
- 13.
- 14. クラスA クラスB 𝑦𝒊(𝒘 𝑇 𝒙𝒊+ 𝑏) ≥ 1 線形識別の識別面が 存在するための条件 𝑦𝑖 = −1 𝑦𝑖 = 1 𝑔 𝑥 = −1𝑔(𝑥) = 1 𝑔(𝑥) = 0 𝒈(𝒙)を決定するための パラメータの候補は無数に存在する 一意に求まるように条件を定義する 制約条件 マージン最大化の条件 (1/3) 13
- 15. 𝑔 𝑥 =−1𝑔(𝑥) = 1 𝑔(𝑥) = 0 𝒘 𝑇 (𝒙 𝐴 − 𝒙 𝐵) = 2 (𝒙 𝐴 − 𝒙 𝐵) = 2 𝒘 𝟏 𝒘 マージンの距離： ൝ 𝒘 𝑇 𝒙 𝐴 + 𝑏 = +1 𝒘 𝑇 𝒙 𝐵 + 𝑏 = −1 マージン マージン最大化の条件 (2/3) 𝑔(𝑥) = 𝒘 𝑇 𝒙 + 𝑏 14 𝟏 ｗ
- 16. 𝑔(𝑥) = 0 𝑦𝑖(𝒘𝑇 𝒙𝒊 + 𝑏) ≥ 1 𝟏 𝒘 マージンの距離 を最大化するために、 を小さくする 制約条件 のもと、 𝒘 重みベクトル (計算方法については今回はやらない) マージン 𝟏 ｗ マージン最大化の条件 (3/3) 15
- 17.
- 18.
- 19.
- 20.
- 21. コードの解説 (2/4) さきほどのデータ data_three ,data_eight label_three , label_eight を連結 交差検定 のためにデータを分割 20
- 22. データを複数に分割し、 その中の1つをテストデータ、 残りを訓練データとして評価を行う １ ２ ３… Ｋ １２ ３ … Ｋ 訓練データ テストデータ １ ２ ３ … Ｋ … … 交差検定 ２１ ３ … Ｋ 21
- 23.
- 24.
- 25. 結果 (1/2) 24 グループ 12 3 4 5 混同行列 [ [ 41 0 ] [ 0 31 ] ] [ [ 31 0 ] [ 1 40 ] ] [ [ 30 0 ] [ 0 42 ] ] [ [ 40 0 ] [ 0 32 ] ] [ [ 37 0 ] [ 0 35 ] ] 正解率 1.0 0.99 1.0 1.0 1.0
- 26. 結果 (2/2) 25 99.7 % 汎化能力 [[ 190 0 ] [ 1 169 ] ] 混同行列 T r u e predict 3 8 3 8
- 27.
- 28.