Submit Search
Upload
サポートベクトルマシン(SVM)の勉強
•
5 likes
•
4,521 views
K
Kazuki Adachi
Follow
研究室の輪講で発表したものです。
Read less
Read more
Technology
Report
Share
Report
Share
1 of 27
Download now
Download to read offline
Recommended
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
SVMについて
SVMについて
mknh1122
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
Kenyu Uehara
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Yasunori Ozaki
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
Ohsawa Goodfellow
はじパタ8章 svm
はじパタ8章 svm
tetsuro ito
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
Recommended
ようやく分かった!最尤推定とベイズ推定
ようやく分かった!最尤推定とベイズ推定
Akira Masuda
SVMについて
SVMについて
mknh1122
ベイズ統計学の概論的紹介
ベイズ統計学の概論的紹介
Naoki Hayashi
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
サポートベクターマシン(SVM)の数学をみんなに説明したいだけの会
Kenyu Uehara
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Yasunori Ozaki
PRML上巻勉強会 at 東京大学 資料 第1章後半
PRML上巻勉強会 at 東京大学 資料 第1章後半
Ohsawa Goodfellow
はじパタ8章 svm
はじパタ8章 svm
tetsuro ito
変分推論法(変分ベイズ法)(PRML第10章)
変分推論法(変分ベイズ法)(PRML第10章)
Takao Yamanaka
PRML 8.2 条件付き独立性
PRML 8.2 条件付き独立性
sleepy_yoshi
星野「調査観察データの統計科学」第1&2章
星野「調査観察データの統計科学」第1&2章
Shuyo Nakatani
「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料
「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料
Ken'ichi Matsui
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
統計的学習の基礎6章前半 #カステラ本
統計的学習の基礎6章前半 #カステラ本
Akifumi Eguchi
パターン認識と機械学習入門
パターン認識と機械学習入門
Momoko Hayamizu
統計的学習の基礎_3章
統計的学習の基礎_3章
Shoichi Taguchi
変分推論と Normalizing Flow
変分推論と Normalizing Flow
Akihiro Nitta
階層モデルの分散パラメータの事前分布について
階層モデルの分散パラメータの事前分布について
hoxo_m
One Class SVMを用いた異常値検知
One Class SVMを用いた異常値検知
Yuto Mori
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
PRML輪読#3
PRML輪読#3
matsuolab
機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門
hoxo_m
勾配降下法の最適化アルゴリズム
勾配降下法の最適化アルゴリズム
nishio
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
PRML上巻勉強会 at 東京大学 資料 第1章前半
PRML上巻勉強会 at 東京大学 資料 第1章前半
Ohsawa Goodfellow
今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシン
Shinya Shimizu
クラシックな機械学習の入門 9. モデル推定
クラシックな機械学習の入門 9. モデル推定
Hiroshi Nakagawa
ベイズ統計入門
ベイズ統計入門
Miyoshi Yuya
PRML 6.1章 カーネル法と双対表現
PRML 6.1章 カーネル法と双対表現
hagino 3000
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
More Related Content
What's hot
PRML 8.2 条件付き独立性
PRML 8.2 条件付き独立性
sleepy_yoshi
星野「調査観察データの統計科学」第1&2章
星野「調査観察データの統計科学」第1&2章
Shuyo Nakatani
「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料
「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料
Ken'ichi Matsui
グラフィカルモデル入門
グラフィカルモデル入門
Kawamoto_Kazuhiko
統計的学習の基礎6章前半 #カステラ本
統計的学習の基礎6章前半 #カステラ本
Akifumi Eguchi
パターン認識と機械学習入門
パターン認識と機械学習入門
Momoko Hayamizu
統計的学習の基礎_3章
統計的学習の基礎_3章
Shoichi Taguchi
変分推論と Normalizing Flow
変分推論と Normalizing Flow
Akihiro Nitta
階層モデルの分散パラメータの事前分布について
階層モデルの分散パラメータの事前分布について
hoxo_m
One Class SVMを用いた異常値検知
One Class SVMを用いた異常値検知
Yuto Mori
深層生成モデルと世界モデル
深層生成モデルと世界モデル
Masahiro Suzuki
PRML輪読#3
PRML輪読#3
matsuolab
機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門
hoxo_m
勾配降下法の最適化アルゴリズム
勾配降下法の最適化アルゴリズム
nishio
変分ベイズ法の説明
変分ベイズ法の説明
Haruka Ozaki
PRML上巻勉強会 at 東京大学 資料 第1章前半
PRML上巻勉強会 at 東京大学 資料 第1章前半
Ohsawa Goodfellow
今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシン
Shinya Shimizu
クラシックな機械学習の入門 9. モデル推定
クラシックな機械学習の入門 9. モデル推定
Hiroshi Nakagawa
ベイズ統計入門
ベイズ統計入門
Miyoshi Yuya
PRML 6.1章 カーネル法と双対表現
PRML 6.1章 カーネル法と双対表現
hagino 3000
What's hot
(20)
PRML 8.2 条件付き独立性
PRML 8.2 条件付き独立性
星野「調査観察データの統計科学」第1&2章
星野「調査観察データの統計科学」第1&2章
「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料
「内積が見えると統計学も見える」第5回 プログラマのための数学勉強会 発表資料
グラフィカルモデル入門
グラフィカルモデル入門
統計的学習の基礎6章前半 #カステラ本
統計的学習の基礎6章前半 #カステラ本
パターン認識と機械学習入門
パターン認識と機械学習入門
統計的学習の基礎_3章
統計的学習の基礎_3章
変分推論と Normalizing Flow
変分推論と Normalizing Flow
階層モデルの分散パラメータの事前分布について
階層モデルの分散パラメータの事前分布について
One Class SVMを用いた異常値検知
One Class SVMを用いた異常値検知
深層生成モデルと世界モデル
深層生成モデルと世界モデル
PRML輪読#3
PRML輪読#3
機械学習のためのベイズ最適化入門
機械学習のためのベイズ最適化入門
勾配降下法の最適化アルゴリズム
勾配降下法の最適化アルゴリズム
変分ベイズ法の説明
変分ベイズ法の説明
PRML上巻勉強会 at 東京大学 資料 第1章前半
PRML上巻勉強会 at 東京大学 資料 第1章前半
今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシン
クラシックな機械学習の入門 9. モデル推定
クラシックな機械学習の入門 9. モデル推定
ベイズ統計入門
ベイズ統計入門
PRML 6.1章 カーネル法と双対表現
PRML 6.1章 カーネル法と双対表現
Recently uploaded
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
sugiuralab
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
Recently uploaded
(14)
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
サポートベクトルマシン(SVM)の勉強
1.
サポートベクトルマシン
2.
目次 • Support Vector
Machine(SVM)とは • SVMの特徴 • マージン最大化 • ソフトマージンSVM • カーネル法 2
3.
Support Vector Machine
(SVM)とは • 教師あり学習で2クラス(正例,負例)の識別を行う – 教師あり学習: • 事前に学習データと正解(どのクラスに属するか)が与えられ, それを基に学習を行う • 未知のデータに対しても分類を行えるようにする • SVMでは,特徴空間上で学習データを分離する 識別超平面を求める(線形分離) 3 正例 負例 識別超平面
4.
SVMの特徴 • 線形モデルで識別するため学習データに特化し過ぎない • マージン最大化を行う –
学習データを分離できる超平面は無数にあるが, マージンが最大となるものを選択 – 学習データから少しずれた未知データが誤分類されにくい →汎用性の高い学習 – マージン: • 識別面に最も近いデータ (サポートベクトル)と識別面の距離 4 マージン サポートベクト ル 識別面 正例 負例 識別面
5.
マージン最大化 – 定式化(1) •
学習データの定義 – 数値特徴ベクトル 𝒙𝑖 – 正解情報(正例:1 or 負例:-1) 𝑦𝑖 – データの個数 𝑁 𝑖 = 1, … , 𝑁 – 特徴空間の次元数 𝑑 • 超平面 – 平面の概念を高次元に拡張したもの – 2次元空間の平面(=直線)→1次元 3次元空間の平面→2次元 𝑑次元空間の超平面→ 𝑑 − 1 次元 5 内積 超平面の方程式 … 法線ベクトル 識別面
6.
マージン最大化 – 定式化(2) •
学習データ𝒙𝑖が正例のとき 負例のとき となるようにする • 𝒙𝑖と識別面の距離Dist 𝒙𝑖 • 識別面に最も近い(サポートベクトル)𝒙𝑖 に対して 以下のように𝒘, 𝑤0を調整 6
7.
マージン最大化 – 定式化(3) •
Dist 𝒙𝑖 の最小値=マージンは となる • マージン最大化= 𝒘 最小化 • wの条件は識別面がすべての学習データを識別できること 正例・負例両方の条件がまとめて表せている 7
8.
マージン最大化 – 定式化(4) •
微分を用いて解析を行うため,扱いやすいように 𝒘 の代わりに 𝒘 2/2の最小化を考える 8 条件:
9.
マージン最大化 – ラグランジュの未定乗数法 •
ラグランジュの未定乗数法を用いる • 目的関数𝑓 𝒙 を条件𝑔1 𝒙 , … , 𝑔 𝑁 𝒙 ≥ 0の下で最適化 (主問題) – ラグランジュ関数の導入 – Lの極値を調べる問題に置き換わる – 最終的に,Lの𝝀に関する最大化問題になる(双対問題) – 双対問題を解くことで主問題の解を求める 9
10.
マージン最大化 – KKT条件 •
L(x,l)が極値を取るとき,以下のKarush-Kuhn-Tucker条件 (KKT条件)が成り立つ 10 相補性条件 制約 𝑓 𝒙 と𝑔𝑖 𝒙 の勾配ベクトルの向きが一致
11.
マージン最大化 – 識別面の計算(1) •
マージン最大化問題(主問題)にラグランジュの 未定乗数法を適用 • KKT条件より,Lが極値を取るとき 11 目的関数: 条件: :ラグランジュ乗数
12.
マージン最大化 – 識別面の計算(2) •
計算すると となる • これをLに代入 aの関数になる 12
13.
マージン最大化 – 識別面の計算(3) •
マージン最大化問題が𝐿 𝜶 を最大化する問題に置き換わる (双対問題) • aに関する2次計画問題 • 最急降下法などのアルゴリズムで求まる – 適当な初期値から始める – 勾配方向に少しずつ移動する – 「少し」=学習係数hとすると,更新式は – 更新を繰り返し,更新量が一定値以下になったら終了 13 最大
14.
マージン最大化 – 識別面の計算(4) •
サポートベクトルに対応する𝛼𝑖のみ𝛼𝑖 ≠ 0 それ以外は𝛼𝑖 = 0 – 識別面を決めるのはサポートベクトル – 相補性条件に対応 • KKT条件の式からwが求まる 14
15.
マージン最大化 – 識別面の計算(5) •
𝑤0も求める – 正例のサポートベクトル𝒙+ – 負例のサポートベクトル𝒙− • マージンが最大になる識別面が求まった 15
16.
ソフトマージンSVM(1) • いつも超平面で学習データを完全に分離できるとは限らない • 誤識別されているデータがあっても良いことにするが, 識別面から大きく離れないようにする (完全に分離する場合:ハードマージンSVM) 16 正例 負例 識別超平面
17.
ソフトマージンSVM(2) • 制約を弱める • 𝜉𝑖
≥ 0 :スラック変数 – 𝜉𝑖 = 0のとき,正しく識別できている – 0 ≤ 𝜉𝑖 ≤ 1のとき,データが マージン内に入り込んでいる – 1 ≤ 𝜉𝑖のとき, 間違って識別されている • 𝜉𝑖が大きいほど正しい分類から外れる→小さいほうが良い • マージン最大化(= 𝒘 2/2最小化)問題に付け加える 17 マージン 識別面
18.
ソフトマージンSVM(3) • 主問題 • C:制約を満たさないデータのペナルティ –
Cが大きいと影響が大きい(厳しい) – Cが小さいと影響が小さい(緩い) 18 条件:
19.
ソフトマージンSVM(4) • ハードマージンSVMと同様にラグランジュの未定乗数法を 適用すると同じ式になる →最大化(双対問題) • 制約0
≤ 𝐶 ≤ 𝛼𝑖が加わる • 後はハードマージンSVMの場合と同様 →できるだけ誤分類データが識別面から離れないような 識別面が得られる(𝐶 → ∞でハードマージンSVMと一致) 19
20.
カーネル法(1) • 特徴空間の次元数dが大きいと,データを分離できる 識別超平面が存在する可能性が高くなる • 特徴ベクトルを高次元空間に写像してからSVMで識別面を 求める 20 識別超平面 元の空間
高次元空間 元の空間
21.
カーネル法(2) • 識別に無関係な特徴をむやみに増やしても 本来の分布の性質が壊れるだけで意味は無い • 元の空間でのデータの分布の性質が保たれる =距離関係が保存されるような非線形写像が良い •
そのような非線形写像𝜙は? 21
22.
カーネル法(3) • カーネル関数𝐾 𝒙,
𝒙′ の導入 – 元の空間上の2点𝒙, 𝒙′の距離に基いて定義 • 非線形写像𝜙に対して を仮定 – カーネル関数により元の空間での2点間の距離の情報を 高次元空間での内積として保存 • 写像後の空間での識別関数 22
23.
カーネル法(4) KKT条件 を代入 23
24.
カーネル法(5) • マージン最大化の問題は の最大化問題になる • 𝐿
𝜶 からも𝑔 𝜙 𝒙 からも𝜙が消えた →Kを定めれば非線形変換を求めなくてよい →高次元ベクトルの内積計算もしなくて良い (カーネルトリック) • 文書分類やバイオインフォマティックスなどに応用される 24
25.
カーネル法(6) • Kが正定値性という条件を満たす(ある特徴空間での 内積として解釈できる)とき𝜙が存在 • カーネル関数の例 –
多項式カーネル関数 – ガウシアンカーネル関数 25 (𝑝:自然数) (σ:バンド幅)
26.
まとめ • 以下の3つについて説明した – SVMの原理・マージン最大化 –
ソフトマージンSVM – カーネル法 • 特にカーネル法は強力な手法である – 非線形写像を求めなくて済む – 高次元のベクトルの内積の計算を回避できる 26
27.
参考 荒木 雅弘:”フリーソフトではじめる機械学習入門”, 森北出版株式会社,2014年,pp. 115-127 27
Download now