Semi-Supervised SVM

1. サポートベクトルマシン
第12章 弱ラベル学習のためのサポートベクトルマシン
瀬戸山 幸大郎

2. 12.1 弱ラベルデータとは
→ 出力ラベルが部分的で不十分な場合のデータ
※出力ラベルは専門家が人手で与える場合もあり，コストがかかる
・半教師あり学習
一部のデータにのみ入力特徴xと出力ラベルyが与えられ
，残りの大部分は入力特徴xのみが与えられる学習
・マルチインスタンス学習
個々の事例でなく，事例の集合にラベル情報が与えられ
る学習

3. 12.2 半教師あり学習のための
SVM
ラベルあり事例
ラベルなし事例
L:ラベルあり事例の添字の集合
U:ラベルなし事例の添字の集合
線形2クラス分類を例として考える．
入力 出力
決定関数
・決定関数fに加えてラベルなし事例のラベル も推定する
・クラスバランスの制約を導入す
る

4. ・クラスバランスの制約
ラベルなし事例のクラス比はラベルあり事例のクラス比と等しくなけれ
ばならない．
ラベルあり事例の正クラスの割合
緩和して
（12.2）
のとき，
問題設定
1. 未知データの分類を目的とした決定関数fの推定
2. ラベルなし事例のラベル推定が目的で汎化性能は気にしない（トランスダクティブ学習
）
と固定する
．
参考1 http://www.kurims.kyoto-u.ac.jp/~kyodo/kokyuroku/contents/pdf/1829-04.pdf>
参考2 http://www.gatsby.ucl.ac.uk/aistats/fullpapers/198.pdf

5. ・半教師ありSVM
ラベルあり事例に対する正則化パラメータ
ラベルなし事例に対する正則化パラメータ
Cが大きい = ハードマージンに近づく
yの値が既に判明しているデータを重視して決定境界を引く
ただし，(12.4)は に関して離散最適化問題となって
いるので，小規模のデータでない限り，最適解を得るのは困難
．

6. 仮に決定関数fが決まっていた場合…
離散最適化問題ではなくなったが，これは非凸最適化問題である
．→ 大域的最適解を得るのは困難なため，局所最適解をCCCP法
を用いて求める．
参考 http://ibisforest.org/index.php?CCCP

7. 目的関数を凸関数と凹関数に分解する．
凸：convex
凹：concave
凸関数と線形関数の和は凸関数であるので，各ステップの式(12.7)は凸最
適化問題となる．
凸関数 に凹関数 の線形近似を加えたものを最小化する

8. ・なぜ式(12.7)の最適化が式(12.6)の最適化になるのか？
(12.7)より，
凸関数 凹関数

9. (12.9)，(12.10)より
(12.8)を代入して，
となり，確かに式(12.7)で求まる最適解は式(12.6)の最適解になっている．

10. 12.3 マルチインスタンス学習のための
SVM
マルチインスタンス学習とは…
個々の訓練集合にラベルが与えられるのでなく，バッグ（bag）と呼ばれ
る訓練事例の集合に対してラベルが与えられる．
・各バッグは複数の事例から構成される．
・各事例は正事例か負事例に属している．
・バッグが正事例を一つでも含んでいれば正バッグと呼ぶ．
・バッグが負事例のみを含んでいれば負バッグと呼ぶ．
ラベルが与えられたとき，
負バッグの場合は，含まれる事例がすべて負事例だとわかる．
正バッグの場合は，正事例と負事例の判断ができない．
→ 正バッグに含まれる事例のラベルを推定しつつ，分類境界を求める

11. エイが写っていない エイが写っている
バッグ：写真
事例：写真に写っている生物
ラベル：エイが写っているかどうか

12. エイが写っていない エイが写っている
エイではない どれがエイだろうか？
どの生き物がエイなのかの判断も含めて学習する．

13. ・マルチインスタンスSVM
バッグの数：
事例の総数：
入力ベクトル：
( )
個々のバッグの訓練データ：
番目のバッグに含まれる事例の添字の集合
はバッグのラベル
正バッグの集合：
負バッグの集合：
正バッグの事例の集合：
負バッグの事例の集合：
マルチインスタンスSVMのアプローチ
1.mi-SVM：すべての事例のラベルを推定し，各事例のラベルに基づい
て学習を行う．
2.MI-SVM：各バッグの代表事例を決め，代表事例とバッグのラベルを
用いて学習を行う．

14. (1) mi-SVM
(12.12a)は決定関数fと正バッグ事例
について最適化している
．
(12.12b)は正バッグに含まれる事例の少なくとも一つは正事例であるという条件
半教師ありSVMと同じで，離散最適化問題であり，正バッグの事例のラベル
と決定関数が鶏卵の関係
正事例のラベルに関する制約条件があるため，ラベルは以下のように場合分け
して推定する．
参考 https://www.robots.ox.ac.uk/~vgg/rg/papers/andrews_etal_NIPS02.pdf

15. 各事例のラベルはバッグのラベルで
初期化することが推奨されている
正バッグ事例を固定して決定関数fを
得る
ある正バッグか，すべて正バッグに
含まれるすべての事例のラベルが不
変だった場合に停止では？

16. (2) MI-SVM
マルチインスタンス学習では，決定関数fが与えられたとき，ラベルは
と与えられる．マルチインスタンス学習をバッグのラベル推定問題とみな
すと，各バッグにおいて が最大となる事例を代表事例とみなして、
式(12.15b)で各バッグにおいて が最大となるiを推定し に代入．
式(12.15a)で代表事例についてのみ最適化を行う．
負バッグの事例のラベルはすべて負になるので，正バッグのみに制約条件
を課した次のような定式化がより有効．

17. に， と を代入して，

18. あるバッグに関して， （代表値）が不変だった場合に終了する
各事例のラベルをバッグのラベルで
初期化して決定関数を得て， （代表値）
の初期値を決定する
目的関数の代表値を固定すれば，
fに関する最適化問題となる

19. 参考文献
[1] 竹内一郎，小川晃平，杉山将．機械学習における非凸最適化問題に対するパラメトリック計画法
を用いたアプローチ，2013 <http://www.kurims.kyoto-u.ac.jp/~kyodo/kokyuroku/contents/pdf/1829-
04.pdf>
[2] O. Chapelle and A. Zien. Semi-supervised classification by low density separation.
Tenth International Workshop on Artificial Intelligence and Statzstics, 2005. <
http://www.gatsby.ucl.ac.uk/aistats/fullpapers/198.pdf >
[3] S. Andrews, I. Tsochantaridis, T. Hofmann. Support Vector Machines for Multiple-Instance
Learning. NIPS 2002 < https://www.robots.ox.ac.uk/~vgg/rg/papers/andrews_etal_NIPS02.pdf >
[4] 朱鷺の社 Wiki．CCCP < http://ibisforest.org/index.php?CCCP >