1. Semi-Supervised Active Learning
Survey
Presenter: Yo Ehara
@niam
http://yoehara.com/
1

2. Semi-supervised active learning
半教師あり能動学習
能動学習：
学習器の性能（精度）が良くなるようなデータ点
（ラベルなし）をある基準に従って選ぶ
– 例：SVMの識別平面に近い方（基準）から…
• 半教師あり能動学習 surveyed in [Wang+, TIST 2011]
– 2タイプに分けられる（たぶん）
1. 学習器が半教師あり学習器の場合．
– （ラベル伝搬＋能動学習）
2. 「基準」に（学習器とデータ点の関係に加えて）
データ点間の関係が含まれている場合．
– （Experimental Design）
2

3. 1. 学習器が半教師あり学習器の場合
ラベル伝搬＋能動学習
• GRF+active learning [Xiaojin Zhu+, ICML workshop 2003]
– ラベル伝搬法GRF(Gaussian random fields) [Zhu+, ICML2003]の拡張
– 基準：期待汎化誤差
– 応用：[Hoi+, CVPR2005], 類似手法：[Bao+, MM2009]
• [江原+,NLP2012]もラベル伝搬＋能動学習の１つ
と見なせる（本会議初日，3月14日(水) 9:00～，F1-1)
– ただ，主旨は「他の方法（ブートストラッピング
法）に対する能動学習のフレームワークの提案」
で，その結果がラベル伝搬＋能動学習と見なせる
手法に帰着したという話なので，直接の比較は
していない． 3

4. 2.「基準」にデータ点間の関係が
含まれている場合． 下線はジャーナル
• TED(transductive experiment design) [Kai Yu+, ICML 2006]
– 統計のExperimental Designを機械学習に持ち込む
– 基準：重みベクトルの共分散行列
• （結果的に）ラベルを見ない手法になっている
– NP-hard．
• non-convexだがsuboptimalな解は早く求まる連続緩和
• convexな連続緩和：[Yu+, SIGIR 2008]
– 改良：Active subspace learning [He+, ICCV2009]
• → Locally Linear Reconstruction [Zhang+, PAMI 2011]
– ラベルを見る形に改良：SED [Zhen+, SIGIR2010]
• →ハッシュに応用：Active hashing [Zhen+, DMKD 2012]
このスライドの話． 4

5. Experimental Design
Active Learning = 統計ではExperimental Design
y：ラベル
V=
サンプル 全データ
共分散行列：
ラベルｙの情報が消えてる！
5

6. Experimental Designの基準
• A-experimental Design トレースを見る
これはSDP
[Boyd+, 2004]
• mj:全データV中でvjが選ばれる回数
• D-experimental Design
行列Aの2-norm:
– minimizes log (det Cw)
• E-experimental Design
– minimizes ||Cw||2＝ Cwの最大固有値
6

7. TED (transductive experiment
design) [Yu+, ICML 2006]
wの共分散行列が見たいんじゃなくて
のfの共分散行列が見たいんじゃないの？
SDPも嫌だし…
これの共分散行列
←こっちを見よう
7

8. TED: 結局，最適化問題は…
V:全データ
X:サンプル
定数
8

9. TED: 最適化問題の書き換え
この最適化問題と以下の最適化問題は等価．
全データVを線形和で上手く近似できるように，
Vのm個のサンプルXと係数ベクトルaiを上手く
選んでやる問題．NP-hard 9

10. 凸な連続緩和 [Yu+, SIGIR2008]
• [Yu+, ICML2006]では非凸な連続緩和で解い
ている．ここでは同著者によるconvexな連
続緩和を紹介．
記法変更
V（全データ）→XP
X（サンプル）→XA
XC：候補集合
10

11. 凸な連続緩和 [Yu+, SIGIR2008]
βj=0の時，∀i;, ai,j=0
βjが，j番目のデータを採用するかを表す
スイッチになっている．これはβとαに関して凸
11

12. 更新式の導出 [Yu+, SIGIR2008]
相加平均と相乗平均の関係（懐かしい…）
等号成立：
βを止めれば(7)は解析的に解けるから…
交互に
繰り返す
12

13. Convex TED [Yu+, SIGIR2008]
13

14. 実験結果 [Yu+, SIGIR2008]
タスク：
文書分類
Simple
Margin:
SVM+
least Margin
14

15. SED [Zhen+, SIGIR2010]
• Convex TEDには，結局，ラベルyの情報は
入っていない→入れてみよう
Convex TED:
f:現在の訓練集合で例えばSVMを回して求めた 15
各データの不確実性（？）解き方はConvex TEDと同じ．

16. SED実験結果 [Zhen+, SIGIR2010]
タスク：文書分類
16

17. Sequential TED [Yu+, SIGIR2008]
17

18. SED実験結果
18

19. まとめと考察
• Experiment Designとしての能動学習を[Yu+,
ICML2006]から[Zhen+, SIGIR2010]まで紹介．
考察：
• 本質的にILPぽいがILPは使われてない
• なぜ共分散からラベルの情報が消える？
– 各ラベルごとの分散を考えていないから
– 線形＆ガウスノイズだから．
• SEDでは，この計算がO(N3)と書いてあったけどス
パース性仮定すればもっと早くなるんじゃ．
19

20. 文献リスト
• [Yu+, ICML2006] TEDの最初の論文
• [Yu+, SIGIR2008] Convex TED
• [Zhen+, SIGIR2010] SED
• [Zhang+, PAMI2011] 既存研究のまとめとして良い
• [Wang+, TIST2011] 能動学習サーベイ
おまけ：
[Gao+, KDD2011]
– ラベル伝搬を統一的にまとめ，さらに，Map-Reduceに
乗るようにした論文．ラベル伝搬の必読論文（[Zhou+,
ICML2005]など）を多くたどれる．
20

21. ご清聴ありがとうございました
21