SVMについて自分なりにまとめて，授業でプレゼンしたもの．時間的に間に合わなかったりして内容が不完全だったりするけども，読めば線形SVMの実装ぐらいはできるかも．独学なので間違いがある可能性も．

1. SVM(サポートベクターマシン)
Theme
について
筑波技術大学大学院：産業技術学セミナー

2. 自己紹介
• @mikenov22（Twitter）
• 専門
• パターン認識と機械学習（PRML）
• 画像処理
• 物体認識
• 所属
• 筑波技術大学大学院 M2
• 研究テーマ「距離情報を用いた指文字認識」
• その他
• 耳に障害があるため補聴器つけてます
• 日常会話レベルなら特に問題なし
2

3. 発表の流れ
• 1：SVMの概要
• 2：線形SVMの理論と計算方法
• 3：その他のSVM
• ソフトマージンSVM
• 非線形SVM
• 4：まとめ
3

4. Chapter:1
SVMの概要

5. SVMとは何か
• SVM（Support Vector Machine）とは何か
• ニューロンモデルとして最も簡単なモデルの改良による
学習を用いた認識
• 単純パーセプトロン
• 線形しきい素子
• 入力層と出力のみからなる2層のネットワークモデル
入力層 出力層
Ｘ w Y
…
5

6. SVMの利点・欠点
• 利点
• データの特徴の次元が大きくなっても識別精度が良い
• 最適化すべきパラメータが尐ない
• パラメータの算出が容易
• 欠点
• 学習データが増えると計算量が膨大になる
（「次元の呪い」の影響が顕著）
• 基本的には2クラスの分類にしか使えない
6

7. SVMによる識別：2クラス分類
• 2クラスを分ける識別面を考える
• どの識別面が一番良いか？
• 条件を満たすものは複数考えられる
• 最も良い識別面とは
クラスB
• 未知の入力に対する識別誤差は
最小にすべき
• 何らかの基準で識別面を評価する
必要がある
マージンの最大化 クラスA
7

8. SVMによる識別：マージン最大化
• マージンを引く
• 識別面から最近傍サンプルまでの
ユークリッド距離
• マージンを最大化するような クラスB
識別面を決める
• サポートベクタ
• 識別面の最近傍サンプル点
• サポートベクタのみを用いて
クラスA
識別面を決定する
8

9. Chapter:2
線形SVMの理論と計算方法
識別関数やパラメータの求め方など

10. 識別関数
•
クラスB
クラスA
10

11. 線形SVMの識別面
•
クラスB
クラスA
11

12. 条件を満たすためには
•
クラスB
クラスA
12

13. 超平面からの距離（マージン）
•
13

14. 境界超平面の決定（1/3）
•
線形識別の超平面が存在するための
制約条件
14

15. 境界超平面の決定（2/3）
•
15

16. 境界超平面の決定（3/3）
•
16

17. 双対問題の説明にあたって
• 使用する定理
• 説明するにあたって，次の定理を用いるため，これらの考え方に
ついて説明する
• ラグランジュ未定乗数法
• 目的関数の，極値の最大化や最小化を行う際に用いられる
数学的手法
• KKT条件
• 最小化問題を解く際に，極値が満たさなければならない条件
• Karush-Kuhn-Tucker条件
17

18. ラグランジュ未定乗数法（1/3）
•
18

19. ラグランジュ未定乗数法（2/3）
•
19

20. ラグランジュ未定乗数法（3/3）
•
20

21. ラグランジュ未定乗数法（補足）
• 制約条件について
• 通常，ラグランジュの未定乗数法は，
制約条件が等式の場合
に適用される手法である
• 不等式の制約条件への拡張
• 次のスライドからは，不等式の制約条件を持つ目的関数に
適用させるための考え方について述べる
• KKT条件の考え方を用いる
21

22. KKT条件（1/3）
•
22

23. KKT条件（2/3）
•
23

24. KKT条件（3/3）
•
各項の微分結果の総和が0
KKT条件
24

25. 双対問題（1/4）
•
主問題
補問題
25

26. 双対問題（2/4)
•
26

27. 双対問題（3/4)
•
27

28. 双対問題（4/4)
•
識別関数の最適なwとbを求める問題が
最適なλを求める双対問題へと帰着できた
28

29. 識別関数のパラメータの決定
•
29

30. 最適化問題
•
30

31. 最急降下法による最適化（1/2）
•
31

32. 最急降下法による最適化（2/2）
•
32

33. これまでのまとめ（1/2）
•
33

34. これまでのまとめ（2/2）
•
34

35. Chapter:3
その他のSVM
ソフトマージンSVM，非線形SVM

36. ソフトマージンSVM（1/8）
• ハードマージンSVMの問題点
• 識別器構成時，サンプルが綺麗に分離できない場合がある
• データにノイズが含まれる場合
• データの分布がオーバーラップしている場合
クラスB
クラスB
クラスAとBに分類した クラスAとBが分布し
が，ノイズのせいでお互 ている領域が，互い
いの領域にサンプルが にかぶってしまった
入ってしまった
クラスA クラスA
36

37. ソフトマージンSVM（2/8）
• クラスを線形分離できない場合…
• 無意味な識別面ができてしまう
• そもそも識別面が構成できない
？ ？ クラスB
クラスB
？
クラスA クラスA
37

38. ソフトマージンSVM（3/8）
• ソフトマージンSVMでの解決方法
• 次のような感じで，制約条件を緩めることで対応
：マージンが最大である必要がないようにする
：超平面で分離に失敗するデータがあっても許容する
クラスB
クラスB
クラスA クラスA
38

39. ソフトマージンSVM（4/8）
•
39

40. ソフトマージンSVM（5/8）
•
誤った領域に存在してし
まったデータに対するペナ
ルティを表す
40

41. ソフトマージンSVM（6/8)
•
41

42. ソフトマージンSVM（7/8）
•
ハードマージンSVMの時と
全く同じ形の式を導くことができる 42

43. ソフトマージンSVM（8/8）
•
C→0
存在を許容
クラスB
クラスA C→∞
存在を許さない
43

44. 非線形SVM（1/5）
• ソフトマージンSVMの問題点
• 線形分離不可能な場合でも柔軟に対応ができるが，
必ずしも良い識別器が構成されるとは限らない
S- S-SVM…?
SVM クラスB クラスB
クラスA クラスA
どんな分布になっても 超平面自体は線形なので
識別面を決定できるようになった 分布によっては分離性能に難あり
44

45. 非線形SVM（2/5）
•
サンプル空間 高次空間 元の次元
クラスB クラスB クラスB
クラスA クラスA クラスA
このままでは分類不可能 非線形写像先で線形分類をする 分類情報を保ったまま元の次元へ
45

46. 非線形SVM（3/5）
•
ハードマージンSVMの式との違い
46

47. 非線形SVM（4/5）
•
47

48. 非線形SVM（5/5）
•
48

49. Chapter:4
まとめ

50. 説明した内容
• SVMの概要
• 線形SVMの理論
• 超平面およびサポートベクタの存在条件
• ラグランジュの未定乗数法とKKT条件
• 双対問題による定式化
• 最適化問題の紹介
• ソフトマージンSVMと非線形SVM
• スラック変数ξとパラメータCによる制約条件の調整
• それぞれの手法の定式化
• カーネルトリック
50

51. 参考文献
• 栗田多喜夫：サポートベクターマシン入門
• http://www.neurosci.aist.go.jp/~kurita/lecture/svm/svm.html
• 津田宏治：サポートベクターマシンとは何か，電子情報通信学会誌，vol.83, No.6, pp.460-
466(2000)
• 前田英作,痛快！サポートベクターマシン:情報処理学会誌,Vol.42, No.7, pp.676-683(2001)
• 直江健介：サポートベクターマシンについて考えてみる
• http://web.sfc.keio.ac.jp/~naoe/security/documents/naoe/Support_Vector_Machine_ver2.pd
f
• Support Vector Machine って，なに？
• http://www.neuro.sfc.keio.ac.jp/~masato/study/SVM/index.htm
• 森信介：パターン認識特論 その2
• http://www.ar.media.kyoto-u.ac.jp/members/mori/lec-2007/bilingual-patrec-2.pdf
• 山川佳洋：疎な解を持つカーネルマシン
• http://www.ppt2txt.com/r/e3f07461/
• サポートベクターマシン入門(共立出版，2005年)：Nello Cristianini, John Share-Taylor 著
大北剛 訳
• ラグランジュの未定乗数法
• http://szksrv.isc.chubu.ac.jp/lagrange/l1.html
51