SlideShare a Scribd company logo

PRML14.3 Boosting

S
S

PRML読書会#17 (最終回) 14.3 ブースティング 発表資料

PRML14.3 Boosting

1 of 28
Download to read offline
PRML#17 (最終回)
14.3 ブースティング

      2010-09-11
  YOSHIHIKO SUHARA
    id:sleepy_yoshi
     @sleepy_yoshi
目次
• 14.3 ブースティング
 – 指数誤差の最小化
 – ブースティングのための誤差関数




                     1
本節の概要
• ブースティング
 – AdaBoostアルゴリズム


• 指数誤差最小化の導出

• 指数誤差最小化の意味




                    2
14.3
ブースティング



          3
ブースティング
• 複数の「ベース」分類器を統合する手法
 – 弱学習機 (weak learner) とも呼ばれる

• 様々な手法が提案されている
 – 本節では最も有名なAdaBoostを紹介


• ベース分類器を逐次的に学習
 – バギングでは独立した訓練データからモデルを学習
 – 並列化が困難 


                                4
AdaBoostのイメージ
試行回数    訓練データ
                    ベース分類器

 1          ×        y1


                          y1が苦手とする事例を
       重み付き訓練データ              適切に分類

 2      ×       ×
                     y2

                             ベース分類器を
                               重み付け和
                     …
            …
 …




       重み付き訓練データ


 M                   yM        分類器
                                        5

Recommended

TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++
TokyoNLP#7 きれいなジャイアンのカカカカ☆カーネル法入門-C++sleepy_yoshi
 
TokyoNLP#5 パーセプトロンで楽しい仲間がぽぽぽぽ~ん
TokyoNLP#5 パーセプトロンで楽しい仲間がぽぽぽぽ~んTokyoNLP#5 パーセプトロンで楽しい仲間がぽぽぽぽ~ん
TokyoNLP#5 パーセプトロンで楽しい仲間がぽぽぽぽ~んsleepy_yoshi
 
CVIM#11 3. 最小化のための数値計算
CVIM#11 3. 最小化のための数値計算CVIM#11 3. 最小化のための数値計算
CVIM#11 3. 最小化のための数値計算sleepy_yoshi
 
ML: Sparse regression CH.13
 ML: Sparse regression CH.13 ML: Sparse regression CH.13
ML: Sparse regression CH.13Daisuke Yoneoka
 
第4回MachineLearningのための数学塾資料(浅川)
第4回MachineLearningのための数学塾資料(浅川)第4回MachineLearningのための数学塾資料(浅川)
第4回MachineLearningのための数学塾資料(浅川)Shin Asakawa
 

More Related Content

What's hot

パターン認識 05 ロジスティック回帰
パターン認識 05 ロジスティック回帰パターン認識 05 ロジスティック回帰
パターン認識 05 ロジスティック回帰sleipnir002
 
Infinite SVM [改] - ICML 2011 読み会
Infinite SVM [改] - ICML 2011 読み会Infinite SVM [改] - ICML 2011 読み会
Infinite SVM [改] - ICML 2011 読み会Shuyo Nakatani
 
2015年度春学期 画像情報処理 第9回 離散フーリエ変換と離散コサイン変換 (2015. 6. 17)
2015年度春学期 画像情報処理 第9回 離散フーリエ変換と離散コサイン変換 (2015. 6. 17)2015年度春学期 画像情報処理 第9回 離散フーリエ変換と離散コサイン変換 (2015. 6. 17)
2015年度春学期 画像情報処理 第9回 離散フーリエ変換と離散コサイン変換 (2015. 6. 17)Akira Asano
 
Infinite SVM - ICML 2011 読み会
Infinite SVM - ICML 2011 読み会Infinite SVM - ICML 2011 読み会
Infinite SVM - ICML 2011 読み会Shuyo Nakatani
 
20170327_レムニスケートにまつわる色々な計算
20170327_レムニスケートにまつわる色々な計算20170327_レムニスケートにまつわる色々な計算
20170327_レムニスケートにまつわる色々な計算matsumoring
 
2013年度春学期 画像情報処理 第9回「離散フーリエ変換と離散コサイン変換」
2013年度春学期 画像情報処理 第9回「離散フーリエ変換と離散コサイン変換」2013年度春学期 画像情報処理 第9回「離散フーリエ変換と離散コサイン変換」
2013年度春学期 画像情報処理 第9回「離散フーリエ変換と離散コサイン変換」Akira Asano
 
070 統計的推測 母集団と推定
070 統計的推測 母集団と推定070 統計的推測 母集団と推定
070 統計的推測 母集団と推定t2tarumi
 
20150922_楕円関数とおもしろい応用
20150922_楕円関数とおもしろい応用20150922_楕円関数とおもしろい応用
20150922_楕円関数とおもしろい応用matsumoring
 
ディジタル信号処理 課題解説(その3) 2014年度版
ディジタル信号処理 課題解説(その3) 2014年度版ディジタル信号処理 課題解説(その3) 2014年度版
ディジタル信号処理 課題解説(その3) 2014年度版dsp_kyoto_2014
 
第8章 ガウス過程回帰による異常検知
第8章 ガウス過程回帰による異常検知第8章 ガウス過程回帰による異常検知
第8章 ガウス過程回帰による異常検知Chika Inoshita
 
パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)Yukara Ikemiya
 
カラーチャートを用いた複数の再撮モニタ とカメラの最適色補正論文
カラーチャートを用いた複数の再撮モニタ とカメラの最適色補正論文カラーチャートを用いた複数の再撮モニタ とカメラの最適色補正論文
カラーチャートを用いた複数の再撮モニタ とカメラの最適色補正論文doboncho
 
StanとRでベイズ統計モデリング 11章 離散値をとるパラメータ
StanとRでベイズ統計モデリング 11章 離散値をとるパラメータStanとRでベイズ統計モデリング 11章 離散値をとるパラメータ
StanとRでベイズ統計モデリング 11章 離散値をとるパラメータMiki Katsuragi
 
今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシン今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシンShinya Shimizu
 

What's hot (20)

パターン認識 05 ロジスティック回帰
パターン認識 05 ロジスティック回帰パターン認識 05 ロジスティック回帰
パターン認識 05 ロジスティック回帰
 
Infinite SVM [改] - ICML 2011 読み会
Infinite SVM [改] - ICML 2011 読み会Infinite SVM [改] - ICML 2011 読み会
Infinite SVM [改] - ICML 2011 読み会
 
PRML 第4章
PRML 第4章PRML 第4章
PRML 第4章
 
2015年度春学期 画像情報処理 第9回 離散フーリエ変換と離散コサイン変換 (2015. 6. 17)
2015年度春学期 画像情報処理 第9回 離散フーリエ変換と離散コサイン変換 (2015. 6. 17)2015年度春学期 画像情報処理 第9回 離散フーリエ変換と離散コサイン変換 (2015. 6. 17)
2015年度春学期 画像情報処理 第9回 離散フーリエ変換と離散コサイン変換 (2015. 6. 17)
 
Infinite SVM - ICML 2011 読み会
Infinite SVM - ICML 2011 読み会Infinite SVM - ICML 2011 読み会
Infinite SVM - ICML 2011 読み会
 
20170327_レムニスケートにまつわる色々な計算
20170327_レムニスケートにまつわる色々な計算20170327_レムニスケートにまつわる色々な計算
20170327_レムニスケートにまつわる色々な計算
 
2013年度春学期 画像情報処理 第9回「離散フーリエ変換と離散コサイン変換」
2013年度春学期 画像情報処理 第9回「離散フーリエ変換と離散コサイン変換」2013年度春学期 画像情報処理 第9回「離散フーリエ変換と離散コサイン変換」
2013年度春学期 画像情報処理 第9回「離散フーリエ変換と離散コサイン変換」
 
回帰
回帰回帰
回帰
 
070 統計的推測 母集団と推定
070 統計的推測 母集団と推定070 統計的推測 母集団と推定
070 統計的推測 母集団と推定
 
20150922_楕円関数とおもしろい応用
20150922_楕円関数とおもしろい応用20150922_楕円関数とおもしろい応用
20150922_楕円関数とおもしろい応用
 
PRML chapter7
PRML chapter7PRML chapter7
PRML chapter7
 
ディジタル信号処理 課題解説(その3) 2014年度版
ディジタル信号処理 課題解説(その3) 2014年度版ディジタル信号処理 課題解説(その3) 2014年度版
ディジタル信号処理 課題解説(その3) 2014年度版
 
PRML_titech 8.1 - 8.2
PRML_titech 8.1 - 8.2PRML_titech 8.1 - 8.2
PRML_titech 8.1 - 8.2
 
Zetavalue
ZetavalueZetavalue
Zetavalue
 
Python opt
Python optPython opt
Python opt
 
第8章 ガウス過程回帰による異常検知
第8章 ガウス過程回帰による異常検知第8章 ガウス過程回帰による異常検知
第8章 ガウス過程回帰による異常検知
 
パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)パターン認識と機械学習6章(カーネル法)
パターン認識と機械学習6章(カーネル法)
 
カラーチャートを用いた複数の再撮モニタ とカメラの最適色補正論文
カラーチャートを用いた複数の再撮モニタ とカメラの最適色補正論文カラーチャートを用いた複数の再撮モニタ とカメラの最適色補正論文
カラーチャートを用いた複数の再撮モニタ とカメラの最適色補正論文
 
StanとRでベイズ統計モデリング 11章 離散値をとるパラメータ
StanとRでベイズ統計モデリング 11章 離散値をとるパラメータStanとRでベイズ統計モデリング 11章 離散値をとるパラメータ
StanとRでベイズ統計モデリング 11章 離散値をとるパラメータ
 
今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシン今さら聞けないカーネル法とサポートベクターマシン
今さら聞けないカーネル法とサポートベクターマシン
 

Viewers also liked

NIPS2010読み会: A New Probabilistic Model for Rank Aggregation
NIPS2010読み会: A New Probabilistic Model for Rank AggregationNIPS2010読み会: A New Probabilistic Model for Rank Aggregation
NIPS2010読み会: A New Probabilistic Model for Rank Aggregationsleepy_yoshi
 
PRML 3.5.2, 3.5.3, 3.6
PRML 3.5.2, 3.5.3, 3.6PRML 3.5.2, 3.5.3, 3.6
PRML 3.5.2, 3.5.3, 3.6Kohei Tomita
 
Chap12 4 appendix_suhara
Chap12 4 appendix_suharaChap12 4 appendix_suhara
Chap12 4 appendix_suharasleepy_yoshi
 
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
SEXI2013読み会: Adult Query Classification for Web Search and RecommendationSEXI2013読み会: Adult Query Classification for Web Search and Recommendation
SEXI2013読み会: Adult Query Classification for Web Search and Recommendationsleepy_yoshi
 
14.05.25 大阪PRML読書会 第2章 2.3.3-2.3.6 (pp.88-100)
14.05.25 大阪PRML読書会 第2章 2.3.3-2.3.6 (pp.88-100)14.05.25 大阪PRML読書会 第2章 2.3.3-2.3.6 (pp.88-100)
14.05.25 大阪PRML読書会 第2章 2.3.3-2.3.6 (pp.88-100)由来 藤原
 
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじPRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじsleepy_yoshi
 
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじPRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじsleepy_yoshi
 
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)Itaru Otomaru
 
PRML読み会第一章
PRML読み会第一章PRML読み会第一章
PRML読み会第一章Takushi Miki
 
SIGIR2012勉強会 23 Learning to Rank
SIGIR2012勉強会 23 Learning to RankSIGIR2012勉強会 23 Learning to Rank
SIGIR2012勉強会 23 Learning to Ranksleepy_yoshi
 
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじPRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじsleepy_yoshi
 
PRML復々習レーン#11 前回までのあらすじ
PRML復々習レーン#11 前回までのあらすじPRML復々習レーン#11 前回までのあらすじ
PRML復々習レーン#11 前回までのあらすじsleepy_yoshi
 
Chap12 4 appendix_suhara
Chap12 4 appendix_suharaChap12 4 appendix_suhara
Chap12 4 appendix_suharasleepy_yoshi
 
PRML 1.6 情報理論
PRML 1.6 情報理論PRML 1.6 情報理論
PRML 1.6 情報理論sleepy_yoshi
 
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1Len Matsuyama
 
KDD2013読み会: Direct Optimization of Ranking Measures
KDD2013読み会: Direct Optimization of Ranking MeasuresKDD2013読み会: Direct Optimization of Ranking Measures
KDD2013読み会: Direct Optimization of Ranking Measuressleepy_yoshi
 
A novel method for discovering local spatial clusters of genomic regions with...
A novel method for discovering local spatial clusters of genomic regions with...A novel method for discovering local spatial clusters of genomic regions with...
A novel method for discovering local spatial clusters of genomic regions with...弘毅 露崎
 

Viewers also liked (20)

NIPS2010読み会: A New Probabilistic Model for Rank Aggregation
NIPS2010読み会: A New Probabilistic Model for Rank AggregationNIPS2010読み会: A New Probabilistic Model for Rank Aggregation
NIPS2010読み会: A New Probabilistic Model for Rank Aggregation
 
PRML 3.5.2, 3.5.3, 3.6
PRML 3.5.2, 3.5.3, 3.6PRML 3.5.2, 3.5.3, 3.6
PRML 3.5.2, 3.5.3, 3.6
 
Chap12 4 appendix_suhara
Chap12 4 appendix_suharaChap12 4 appendix_suhara
Chap12 4 appendix_suhara
 
生命を記述する数学
生命を記述する数学生命を記述する数学
生命を記述する数学
 
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
SEXI2013読み会: Adult Query Classification for Web Search and RecommendationSEXI2013読み会: Adult Query Classification for Web Search and Recommendation
SEXI2013読み会: Adult Query Classification for Web Search and Recommendation
 
14.05.25 大阪PRML読書会 第2章 2.3.3-2.3.6 (pp.88-100)
14.05.25 大阪PRML読書会 第2章 2.3.3-2.3.6 (pp.88-100)14.05.25 大阪PRML読書会 第2章 2.3.3-2.3.6 (pp.88-100)
14.05.25 大阪PRML読書会 第2章 2.3.3-2.3.6 (pp.88-100)
 
PRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじPRML復々習レーン#9 前回までのあらすじ
PRML復々習レーン#9 前回までのあらすじ
 
PRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじPRML復々習レーン#7 前回までのあらすじ
PRML復々習レーン#7 前回までのあらすじ
 
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
 
PRML読み会第一章
PRML読み会第一章PRML読み会第一章
PRML読み会第一章
 
SIGIR2012勉強会 23 Learning to Rank
SIGIR2012勉強会 23 Learning to RankSIGIR2012勉強会 23 Learning to Rank
SIGIR2012勉強会 23 Learning to Rank
 
PRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじPRML復々習レーン#15 前回までのあらすじ
PRML復々習レーン#15 前回までのあらすじ
 
PRML復々習レーン#11 前回までのあらすじ
PRML復々習レーン#11 前回までのあらすじPRML復々習レーン#11 前回までのあらすじ
PRML復々習レーン#11 前回までのあらすじ
 
Chap12 4 appendix_suhara
Chap12 4 appendix_suharaChap12 4 appendix_suhara
Chap12 4 appendix_suhara
 
PRML 1.6 情報理論
PRML 1.6 情報理論PRML 1.6 情報理論
PRML 1.6 情報理論
 
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
PRML上巻勉強会 at 東京大学 資料 第5章5.1 〜 5.3.1
 
KDD2013読み会: Direct Optimization of Ranking Measures
KDD2013読み会: Direct Optimization of Ranking MeasuresKDD2013読み会: Direct Optimization of Ranking Measures
KDD2013読み会: Direct Optimization of Ranking Measures
 
A novel method for discovering local spatial clusters of genomic regions with...
A novel method for discovering local spatial clusters of genomic regions with...A novel method for discovering local spatial clusters of genomic regions with...
A novel method for discovering local spatial clusters of genomic regions with...
 
PRML chapter5
PRML chapter5PRML chapter5
PRML chapter5
 
PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講PRML第3章@京大PRML輪講
PRML第3章@京大PRML輪講
 

More from sleepy_yoshi

KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on TwitterKDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twittersleepy_yoshi
 
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじPRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじsleepy_yoshi
 
PRML復々習レーン#13 前回までのあらすじ
PRML復々習レーン#13 前回までのあらすじPRML復々習レーン#13 前回までのあらすじ
PRML復々習レーン#13 前回までのあらすじsleepy_yoshi
 
PRML復々習レーン#12 前回までのあらすじ
PRML復々習レーン#12 前回までのあらすじPRML復々習レーン#12 前回までのあらすじ
PRML復々習レーン#12 前回までのあらすじsleepy_yoshi
 
ICML2013読み会: Distributed training of Large-scale Logistic models
ICML2013読み会: Distributed training of Large-scale Logistic modelsICML2013読み会: Distributed training of Large-scale Logistic models
ICML2013読み会: Distributed training of Large-scale Logistic modelssleepy_yoshi
 
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-sleepy_yoshi
 
SMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装するSMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装するsleepy_yoshi
 
PRML復々習レーン#10 前回までのあらすじ
PRML復々習レーン#10 前回までのあらすじPRML復々習レーン#10 前回までのあらすじ
PRML復々習レーン#10 前回までのあらすじsleepy_yoshi
 
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#10 7.1.3-7.1.5PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#10 7.1.3-7.1.5sleepy_yoshi
 
PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1sleepy_yoshi
 
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5sleepy_yoshi
 
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...sleepy_yoshi
 
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5sleepy_yoshi
 
PRML復々習レーン#3 前回までのあらすじ
PRML復々習レーン#3 前回までのあらすじPRML復々習レーン#3 前回までのあらすじ
PRML復々習レーン#3 前回までのあらすじsleepy_yoshi
 
SVM実践ガイド (A Practical Guide to Support Vector Classification)
SVM実践ガイド (A Practical Guide to Support Vector Classification)SVM実践ガイド (A Practical Guide to Support Vector Classification)
SVM実践ガイド (A Practical Guide to Support Vector Classification)sleepy_yoshi
 
PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7sleepy_yoshi
 
WSDM2012読み会: Learning to Rank with Multi-Aspect Relevance for Vertical Search
WSDM2012読み会: Learning to Rank with Multi-Aspect Relevance for Vertical SearchWSDM2012読み会: Learning to Rank with Multi-Aspect Relevance for Vertical Search
WSDM2012読み会: Learning to Rank with Multi-Aspect Relevance for Vertical Searchsleepy_yoshi
 
Collaborative Ranking: A Case Study on Entity Ranking (EMNLP2011読み会)
Collaborative Ranking: A Case Study on Entity Ranking (EMNLP2011読み会)Collaborative Ranking: A Case Study on Entity Ranking (EMNLP2011読み会)
Collaborative Ranking: A Case Study on Entity Ranking (EMNLP2011読み会)sleepy_yoshi
 
SIGIR2011読み会 3. Learning to Rank
SIGIR2011読み会 3. Learning to RankSIGIR2011読み会 3. Learning to Rank
SIGIR2011読み会 3. Learning to Ranksleepy_yoshi
 
ACL2011読み会: Query Weighting for Ranking Model Adaptation
ACL2011読み会: Query Weighting for Ranking Model AdaptationACL2011読み会: Query Weighting for Ranking Model Adaptation
ACL2011読み会: Query Weighting for Ranking Model Adaptationsleepy_yoshi
 

More from sleepy_yoshi (20)

KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on TwitterKDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
KDD2014勉強会: Large-Scale High-Precision Topic Modeling on Twitter
 
PRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじPRML復々習レーン#14 前回までのあらすじ
PRML復々習レーン#14 前回までのあらすじ
 
PRML復々習レーン#13 前回までのあらすじ
PRML復々習レーン#13 前回までのあらすじPRML復々習レーン#13 前回までのあらすじ
PRML復々習レーン#13 前回までのあらすじ
 
PRML復々習レーン#12 前回までのあらすじ
PRML復々習レーン#12 前回までのあらすじPRML復々習レーン#12 前回までのあらすじ
PRML復々習レーン#12 前回までのあらすじ
 
ICML2013読み会: Distributed training of Large-scale Logistic models
ICML2013読み会: Distributed training of Large-scale Logistic modelsICML2013読み会: Distributed training of Large-scale Logistic models
ICML2013読み会: Distributed training of Large-scale Logistic models
 
計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-計算論的学習理論入門 -PAC学習とかVC次元とか-
計算論的学習理論入門 -PAC学習とかVC次元とか-
 
SMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装するSMO徹底入門 - SVMをちゃんと実装する
SMO徹底入門 - SVMをちゃんと実装する
 
PRML復々習レーン#10 前回までのあらすじ
PRML復々習レーン#10 前回までのあらすじPRML復々習レーン#10 前回までのあらすじ
PRML復々習レーン#10 前回までのあらすじ
 
PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#10 7.1.3-7.1.5PRML復々習レーン#10 7.1.3-7.1.5
PRML復々習レーン#10 7.1.3-7.1.5
 
PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1PRML復々習レーン#9 6.3-6.3.1
PRML復々習レーン#9 6.3-6.3.1
 
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
DSIRNLP#3 LT: 辞書挟み込み型転置インデクスFIg4.5
 
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularizat...
 
PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5PRML復々習レーン#3 3.1.3-3.1.5
PRML復々習レーン#3 3.1.3-3.1.5
 
PRML復々習レーン#3 前回までのあらすじ
PRML復々習レーン#3 前回までのあらすじPRML復々習レーン#3 前回までのあらすじ
PRML復々習レーン#3 前回までのあらすじ
 
SVM実践ガイド (A Practical Guide to Support Vector Classification)
SVM実践ガイド (A Practical Guide to Support Vector Classification)SVM実践ガイド (A Practical Guide to Support Vector Classification)
SVM実践ガイド (A Practical Guide to Support Vector Classification)
 
PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7PRML復々習レーン#2 2.3.6 - 2.3.7
PRML復々習レーン#2 2.3.6 - 2.3.7
 
WSDM2012読み会: Learning to Rank with Multi-Aspect Relevance for Vertical Search
WSDM2012読み会: Learning to Rank with Multi-Aspect Relevance for Vertical SearchWSDM2012読み会: Learning to Rank with Multi-Aspect Relevance for Vertical Search
WSDM2012読み会: Learning to Rank with Multi-Aspect Relevance for Vertical Search
 
Collaborative Ranking: A Case Study on Entity Ranking (EMNLP2011読み会)
Collaborative Ranking: A Case Study on Entity Ranking (EMNLP2011読み会)Collaborative Ranking: A Case Study on Entity Ranking (EMNLP2011読み会)
Collaborative Ranking: A Case Study on Entity Ranking (EMNLP2011読み会)
 
SIGIR2011読み会 3. Learning to Rank
SIGIR2011読み会 3. Learning to RankSIGIR2011読み会 3. Learning to Rank
SIGIR2011読み会 3. Learning to Rank
 
ACL2011読み会: Query Weighting for Ranking Model Adaptation
ACL2011読み会: Query Weighting for Ranking Model AdaptationACL2011読み会: Query Weighting for Ranking Model Adaptation
ACL2011読み会: Query Weighting for Ranking Model Adaptation
 

PRML14.3 Boosting

  • 1. PRML#17 (最終回) 14.3 ブースティング 2010-09-11 YOSHIHIKO SUHARA id:sleepy_yoshi @sleepy_yoshi
  • 2. 目次 • 14.3 ブースティング – 指数誤差の最小化 – ブースティングのための誤差関数 1
  • 3. 本節の概要 • ブースティング – AdaBoostアルゴリズム • 指数誤差最小化の導出 • 指数誤差最小化の意味 2
  • 5. ブースティング • 複数の「ベース」分類器を統合する手法 – 弱学習機 (weak learner) とも呼ばれる • 様々な手法が提案されている – 本節では最も有名なAdaBoostを紹介 • ベース分類器を逐次的に学習 – バギングでは独立した訓練データからモデルを学習 – 並列化が困難  4
  • 6. AdaBoostのイメージ 試行回数 訓練データ ベース分類器 1 × y1 y1が苦手とする事例を 重み付き訓練データ 適切に分類 2 × × y2 ベース分類器を 重み付け和 … … … 重み付き訓練データ M yM 分類器 5
  • 7. Algorithm: AdaBooost (1) 1. n=1,…,Nのデータの重み {wn} を ������������ = 1/������ で初期化 2. m=1,…,Mについて以下を繰り返す: (a) 分類器 ������������ ������ を,以下の誤差関数を最小化するように学習 ������ ������ ������������ = ������������ ������(������������ (������������ ) ≠ ������������ ) (14.15) ������=1 (b) ������������ の値を計算し,������������ を求める ������ ������ ������=1 ������������ ������(������������ (������������ ) ≠ ������������ ) 1 − ������������ ������������ = (������) (14.16) ������������ = ln (14.17) ������ ������������ ������=1 ������������ (c) データ点の重みを以下の式で更新 (������+1) (������) ������������ = ������������ exp*������������ ������(������������ (������������ ) ≠ ������������ )+ (14.18) 3. 以下の式で最終モデルの予測を構成 ������ ������������ = sign ������������ ������������ (������) (14.19) 6 ������=1
  • 9. 決定株 (decision stump) • ベース分類器の訓練に利用 • ひとつの素性でクラスを決定するような分類器 – 重み付き誤差を最小にするような株を選ぶ -1 +1 x1 8
  • 10. 補足: 事例の重みを利用できない場合 • Q. 重み付き訓練データを利用できない学習アル ゴリズムを用いてベース分類器を生成する方法 は? • A. 事例の重みに基づいて復元抽出することによ り,ベース分類器の訓練データを作成する なかなか記述を見つけられない… 9 [Hastie 02]に記述があった記憶が…
  • 13. 指数誤差の最小化 • 指数誤差関数 ������ ������ = exp⁡ −������������ ������������ (������������ )+ * (14.20) ������=1 • fmはベース分類器の線形結合で表現 ������ 1 ������������ ������ = ������������ ������������ (������) (14.21) 2 ������=1 重み係数αlとylのパラメータについて 誤差関数を最小化したい 12
  • 14. 最適化の方針 (1/2) • α1…αm-1とy1…ym-1が固定されていると仮定し, αm,ymのみについて最小化を行う ������ 1 ������ = exp −������������ ������������−1 ������������ − ������������ ������������ ������������ (������������ ) 2 ������=1 ������ (������) 1 = ������������ exp − ������������ ������������ ������������ (������������ ) (14.22) 2 ������=1 ここで ������������ = exp −������������ ������������−1 ������������ (������) 13
  • 15. 最適化の方針 (2/2) • ym(x)により正しく分類されるデータ点の集合をTmとし, 残りの誤分類される点をMmとする (������) (������) ������ = ������ −������������ /2 ������������ + ������ ������������ /2 ������������ ������∈������������ ������∈������������ 正解 不正解 ������ ������ ������������ ������������ ������������ − 2 ������ − 2 (������) ������ = ������ 2 − ������ ������������ ������ ������������ ������������ ≠ ������������ + ������ ������������ (14.23) ������=1 ������=1 (14.15) • ym(x)に関する最小化 ⇔ (14.15)の最小化 • αmに関する最小化 (演習14.6) 14
  • 16. 演習14.6 • αmについての最小化を考える ������ ������ = 0 – (14.23)をαmについて微分して0とおく ������������������ ������ ������ 1 ������������ 1 −������������ ������ 1 −������������ ������ ������ 2 + ������ 2 ������������ ������ ������������ ������������ ≠ ������������ − ������ 2 ������������ =0 2 2 2 ������=1 ������=1 ������ ������ ������������ ������������ ������������ − 2 ������ − 2 ������ ������ 2 + ������ ������������ ������ ������������ ������������ ≠ ������������ = ������ ������������ ������=1 ������=1 ������������ ������ ������ − 2 ������=1 ������������ ������ ������������ ������������ ≠ ������������ ������ 1 ������ = ������������ ������ = ������ ������ ������=1 ������������ ������ 2 + − ������ ������ 2 ������ ������ + 1 ������������ 1 1 − ������������ 1 − ������������ ������������ = ������ ������ ������������ = ∴ ������������ = ln ������ ������ + 1 ������������ ������������ 15
  • 17. データ点の重み更新 • (14.22)に基づき,得られたαm,ym(x)を利用してデー タ点の重みを更新する (������+1) (������) 1 ������������ = ������������ exp − ������������ ������������ ������������ (������������ ) (14.24) 2 過去のベース分類器の (������) エラーの情報を保持 参考:⁡������������ = exp −������������ ������������−1 ������������ 今までのエラーの蓄積 ������������ ������������ ������������ = 1 − 2������(������������ (������������ ) ≠ ������������ ) (14.25) (14.25)を利用すると (������+1) (������) ������������ = ������������ exp −������������ /2 exp*������������ ������(������������ (������������ ) ≠ ������������ )+ (14.26) これより(14.18)を得る 16
  • 18. データ点の分類 • 全てのベース分類器の訓練が終われば (14.21) の符号 によって分類できる – 符号に影響を与えない1/2を省略すると(14.19)を得る ������ ������������ = sign ������������ ������������ (������) (14.19) ������=1 17
  • 20. 指数誤差再考 • AdaBoostで用いられている指数誤差を考える ������������,������ exp −������������ ������ = exp −������������ ������ ������ ������ ������ ������ ������ ������������ (14.) ������ • AdaBoostは逐次的な最適化という制約の下,最良の対 数オッズ比の近似を探索する (演習14.7) 1 ������(������ = 1|������) ������ ������ = ln 2 ������(������ = −1|������) 19
  • 21. 演習14.7: 対数オッズ比の導出 • AdaBoostで用いられている指数誤差を考える – 変分最小化を行う (参考: 付録D) ������ ������ = exp −������������ ������ ������ ������ ������ ������ ������ ������������ ������ = exp −������ ������ ������ ������ = +1 ������ ������ ������ + exp ������ ������ ������ ������ = −1 ������ ������ ������ ������������ ������(������ ������ , ������) ������は������ ′ ������ に依存していないので������ ������ で微分すればよい ������������(������ ������ , ������) =0 ������������(������) −exp −������ ������ ������ ������ = +1 ������ ������ ������ + exp ������ ������ ������ ������ = −1 ������ ������ ������ = 0 exp ������ ������ ������ ������ = −1 ������ ������ ������ = exp −������ ������ ������ ������ = +1 ������ ������ ������ exp*������(������)+ ������(������ = +1|������) ������(������ = +1|������) = 2������(������) = ln exp*−������(������)+ ������(������ = −1|������) ������(������ = −1|������) 20
  • 22. その他の誤差関数との関係 • 交差エントロピー誤差 (Logistic regression): 赤線 • ヒンジ誤差 (SVM): 青線 • 0-1損失: 黒線 指数誤差の欠点: ty(x)が負の大きな値を持つ場合に 交差エントロピーに比べて強い ペナルティを与えてしまう ⇒ 外れ値に対して頑健性が低い ※ AdaBoostは指数誤差を必ず減少させるが、 0-1損失を必ずしも減少させるわけではない 21
  • 23. 指数誤差の欠点 •  外れ値に対して頑健性が低い (再掲) •  対数尤度関数として解釈できない (演習14.9) •  多クラスへの問題に容易に一般化できない 22
  • 24. 回帰問題への拡張 • 二乗和誤差関数を利用 – 新しいベース分類器を,それ以前のモデルの残留誤 差 ������������ − ������������−1 (������������ ) で適合すればよい (演習14.9) – 二乗和誤差も外れ値に頑健ではないので絶対値誤差 |������ − ������| を利用することで対処できる 23
  • 25. 演習14.9 • 二乗誤差関数の逐次最小化 ������ ������ 1 2 1 ������ = ������������ − ������������ ������ ������������ ������ = ������������ ������������ (������) (14.21) 2 2 ������=1 ������=1 1 ������������ ������ = ������������−1 ������ + ������������ ������������ (������) (14.21)を用いると 2 ������ 2 1 1 ������ = ������������ − ������������−1 ������ − ������������ ������������ (������) 2 2 ������=1 ひとつ前のモデルの残差 誤差Eを������������ (������)について最小化 ⇒ ������������ (������)を残差にフィットさせる 24
  • 26. ブースティングこぼれ話 • さまざまなブースティング手法 – 損失関数の違い (参考資料) • 並列化しづらい? • モデルを改造しづらい? • ブースティング職人? 25
  • 27. まとめ • ブースティング – AdaBoostの概要 – AdaBoostアルゴリズム • 指数誤差最小化の導出 – 更新式の妥当性 • 指数誤差最小化の意味 – 指数誤差の欠点 26
  • 28. おわり 27