Introduction of Feature Selection of SVM and another simple classifier 王 少遅 (Ph.D. Shao-Chi WANG) Team-lab Inc. [email_add...
Agenda: <ul><li>Topic 1: Feature Selection on the SVM </li></ul><ul><li>Topic 2: One Linear Classifier—Voted Perceptron </...
Feature Selection(特徴選択) <ul><li>課題: 特徴数が多いときに、重要な特徴の選別や関係ない特徴の除去によって SVM を改善できる。 </li></ul><ul><li>特徴選択: </li></ul><ul><ul...
Feature Selection(特徴選択) <ul><li>特徴選択戦略: </li></ul>Filter All Features Subset of  Features 予測 All Features Subset Subset Su...
Feature Selection(特徴選択) <ul><li>Filter 決定 :  特徴 Weighting 、 Ranking 戦略 </li></ul><ul><ul><li>F-score, Odds Ratio, Informat...
Feature Selection(特徴選択) <ul><li>Wrapper による FS :誤差の最小化によって Subset をきめる。 </li></ul><ul><ul><li>Wrapper とは、 SVM 計算中に Subset ...
Feature Selection(特徴選択) <ul><li>Filter 方式のなかに、閾値の決まりが重要。 </li></ul><ul><li>Wrapper 方式のほうは、計算コストが高い。 </li></ul><ul><li>*:国際...
Voted Perceptron <ul><li>Perceptron  </li></ul><ul><ul><li>Rosenblatt:  「 A probabilistic model for information storage an...
Voted Perceptron <ul><li>Y. Freund&R. Schapire(AT&T Lab. Shannon Laboratory) は Perceptron を次のように改良、 Voted Perceptron を開発( ...
Voted Perceptron Prediction: と を与え、 すべての   の Voting によって予測する。 <ul><li>Noted: </li></ul><ul><li>  の平均値、最大値を利用することもできる。 </li...
Voted Perceptron <ul><li>Michael Collins の Named Entity 抽出の Tagging 実験 (2002, ACL) </li></ul><ul><li>特徴:  93,777 </li></ul...
お疲れ様でした!
Upcoming SlideShare
Loading in …5
×

Ml 20080409

1,077 views

Published on

Published in: Self Improvement
  • Be the first to comment

  • Be the first to like this

Ml 20080409

  1. 1. Introduction of Feature Selection of SVM and another simple classifier 王 少遅 (Ph.D. Shao-Chi WANG) Team-lab Inc. [email_address]
  2. 2. Agenda: <ul><li>Topic 1: Feature Selection on the SVM </li></ul><ul><li>Topic 2: One Linear Classifier—Voted Perceptron </li></ul>
  3. 3. Feature Selection(特徴選択) <ul><li>課題: 特徴数が多いときに、重要な特徴の選別や関係ない特徴の除去によって SVM を改善できる。 </li></ul><ul><li>特徴選択: </li></ul><ul><ul><li>次元を減少 </li></ul></ul><ul><ul><li>データの性質を把握 </li></ul></ul><ul><ul><li>誤差を改善 </li></ul></ul><ul><li>特徴選択戦略: </li></ul><ul><ul><li>Filter: アルゴリズムに依存しない事前選別 </li></ul></ul><ul><ul><li>Wrapper: アルゴリズム計算中 </li></ul></ul>Noted: Feature とは、日本語には「特徴」、「属性」、「素性(そせい)」という。
  4. 4. Feature Selection(特徴選択) <ul><li>特徴選択戦略: </li></ul>Filter All Features Subset of Features 予測 All Features Subset Subset Subset … 予測 Wrapper
  5. 5. Feature Selection(特徴選択) <ul><li>Filter 決定 :  特徴 Weighting 、 Ranking 戦略 </li></ul><ul><ul><li>F-score, Odds Ratio, Information Gain, GA, etc… </li></ul></ul>F-Score: Odds ratio: Note: Information Gain: 相互情報量およびエントロピーを利用。
  6. 6. Feature Selection(特徴選択) <ul><li>Wrapper による FS :誤差の最小化によって Subset をきめる。 </li></ul><ul><ul><li>Wrapper とは、 SVM 計算中に Subset 上に Classifier を決定しテストデータの誤差を最小化する Subroutine 。 </li></ul></ul>m: subset の大きさ 例: RBF カネールの Expectation of Error Probability の上限 R : 球体の半径、 M : 最大マージン、 l : Training set の大きさ また、次のように改造 最小化する
  7. 7. Feature Selection(特徴選択) <ul><li>Filter 方式のなかに、閾値の決まりが重要。 </li></ul><ul><li>Wrapper 方式のほうは、計算コストが高い。 </li></ul><ul><li>*:国際学会: NIPS2003, NIPS2006,… </li></ul>
  8. 8. Voted Perceptron <ul><li>Perceptron </li></ul><ul><ul><li>Rosenblatt: 「 A probabilistic model for information storage and organization in Brain ( 1958 )」 , 「 Principles of Neurodynamics ( 1962 )」 </li></ul></ul><ul><ul><li>特徴: 簡単、 online learning model </li></ul></ul><ul><ul><li>アルゴリズム概説:  </li></ul></ul>instances labels Initialize: 予測ベクトル  を初期化 Input: a new instance and its label Computation: If else Stop: すべての instances が正しく予測される。予測モデルができた。 Training: Prediction: 上記モデルに基づき、予測を行う。 then
  9. 9. Voted Perceptron <ul><li>Y. Freund&R. Schapire(AT&T Lab. Shannon Laboratory) は Perceptron を次のように改良、 Voted Perceptron を開発( 1999 )。 </li></ul><ul><ul><li>トレーニング段階は、①すべの予測 を保存 ②変更されてない の繰り返し回数を Count し、保存する。 </li></ul></ul><ul><ul><li>予測段階: すべの予測 参与 ② Count した  の回数は、重みとする。 </li></ul></ul><ul><li>簡単、実装容易、計算が速い </li></ul><ul><li>誤差は、線形 SVM とほぼ同じ。 </li></ul><ul><ul><li>Vapnik(1995) の SVM 手書き認識よりパフォーマンスがやや良い。 </li></ul></ul><ul><li>アルゴリズム: </li></ul>
  10. 10. Voted Perceptron Prediction: と を与え、 すべての  の Voting によって予測する。 <ul><li>Noted: </li></ul><ul><li>  の平均値、最大値を利用することもできる。 </li></ul><ul><li>kernel について、 </li></ul><ul><li>   から Kernel を導入できる内積を導くことができる。 </li></ul>
  11. 11. Voted Perceptron <ul><li>Michael Collins の Named Entity 抽出の Tagging 実験 (2002, ACL) </li></ul><ul><li>特徴:  93,777 </li></ul><ul><li>Tagging words とその前後 words </li></ul><ul><li>直前の tag, 直前の直前の tag </li></ul><ul><li>word の位置情報:  sentence の最初に現れるかどうか </li></ul><ul><li>word の文字サイズ: 一列小文字によく現れる(大きい文字の文字列より) </li></ul><ul><li>word の最初文字タイプ(数字か、大きい文字か、小文字か)、 </li></ul><ul><li> ・・・  ・・・ </li></ul><ul><li>Training set (Sentences): 41,992 </li></ul><ul><li>P: Precision, R: Recall, F: F-Measure </li></ul><ul><li>Max-Ent: Maximum Entropy tagger (Baseline, Ratnaparkhi(1996), </li></ul><ul><li>Borthwich(1998), McCallum(2000)) </li></ul>
  12. 12. お疲れ様でした!

×