More Related Content
Featured
Featured (20)
Deepboosting
- 2. ざっくりいうと • DeepBoostという新しい集団学習アルゴリズムを 提唱した • 弱学習器として、深い決定木など複雑な学習器を利 用できる • AdaBoostやLogisticRegressionと比較して、精 度があがる
- 3. 復習
- 5. 集団学習の種類 • バギング • ランダムフォレスト • ブースティング
- 6. バギング • ブートストラップサンプリングを繰り返して生成し た判別器を合成して，より判別精度の高い判別器を 生成する方法． 学習データ 復元抽出 復元抽出 復元抽出 弱学習器 弱学習器 弱学習器 強学習器 分類:多数決 回帰:平均
- 7. ランダムフォレスト • 多数の決定木を用いたアンサンブル学習 • バギングと違い、ランダムに特徴選択を行う 学習データ 復元抽出 復元抽出 復元抽出 強学習器 分類:多数決 回帰:平均 弱学習器 弱学習器 弱学習器 特徴選択 特徴選択 特徴選択
- 9. AdaBoost • 代表的なブースティングのアルゴリズム • 学習データに の重みをつけ再学習を繰り返す • 仮説列 を出力し、重み付きで足し合わせる ! ! ! • よく使われる仮説(弱学習器)は決定株(深さ1の決定 木) exp H(x) = tX t=1 ↵tht(x) {ht}
- 14. Questions • 決定株のような弱分類器ではなく、もっとリッチで ディープな分類器を使えないか? • 音声認識や画像認識などの複雑なタスクでは、もっと 複雑なものが必要 • リッチでディープな分類器をつかうと、過学習の危険が ある リッチでディープな分類器: 深い決定木など
- 15. Deep Boost
- 16. アジェンダ • 理論 • アルゴリズム • 評価
- 17. 理論
- 18. 前提 • 個のトレーニングデータ ! • 2値分類のタスク ! • 個の仮説の線形結合で学習器を構成 S = ((x1, y1), · · · , (xm, ym)) m yi 2 { 1, +1} T f = TX t=1 ↵tht
- 19. アイデア • 個の複雑さの異なる仮説の集合(Set)を考える ! ! ! • (汎化)誤差が小さくなるよう、重みを調整する p H1, . . . , Hp ht 2 Hkt f = TX t=1 ↵tht うまく調整する 深さ1の決定木, 深さ2の決定木, …
- 20. 誤差 • 学習器の誤差は以下のようにあらわされる • 誤差 ! • -マージン誤差 ! • 経験マージン誤差 R(f) = E(x,y)⇠D ⇥ 1yf(x)0 ⇤ ˆRS,⇢(f) = E(x,y)⇠S ⇥ 1yf(x)⇢ ⇤ R⇢(f) = E(x,y)⇠D ⇥ 1yf(x)⇢ ⇤ ⇢ 経験分布 マージン
- 21. Rademacher複雑度 • 関数のクラスの複雑さの指標の一つ • 経験的Rademacher複雑度: ! ! ! ! ! • 表現力が強いほど、Rademacher複雑度は大きくなる S = (x1, . . . , xm) ランダムに選択 ˆRS(H) = 1 m E " sup h2H mX i=1 ih(xi) #上限 との相関 = ( 1, . . . , m), i 2 { 1, +1}
- 22. Rademacher複雑度 • Rademacher複雑度 R(H) = ES⇠Dm h ˆRS(H) i
- 23. Ensembles-Margin Bound • 以下の定理が知られている ! ! ! ! ! ! • 誤差は、経験マージン誤差と複雑度で抑えられる (Koltchinskii and Panchencko, 2002)
- 26. アルゴリズム
- 27. • 定理1の右辺が小さくなるよう、 を調整する 方針 ↵ rt = Rm(Hht ) min ↵ 経験誤差 複雑度
- 30. 解の求め方 • coordinate descent • 傾きが最大の軸を求める • その方向だけみて、最小となる位置まで移動する • 上記を繰り返す
- 31. 疑似コード ⇤j = rj +
- 34. 重みの更新 • 「 の微分」が、 「データの重み」に対 応している ⇤j = rj +
- 35. AdaBoostとの関係 • 下記の設定で、まさに AdaBoostになってい る ! ! • 下記の設定だと、 additive logistic loss ⇤j = 0 ( u) = exp( u) ( u) = log2(1 + exp( u)) ⇤j = 0
- 37. 注意事項 • パラメータ を決めなければいけない • 複雑度 を求めなければならない • 論文では、複雑度を直接求めるのではなく、上限を利 用している • 候補となる学習器が非常に多いため、論文ではヒュー リスティックに対象をしぼっている , Rm
- 38. 評価
- 39. データセット • UCIの様々なデータ • breastcancer • ionosphere • german • OCRデータ • ocr17, ocr17-mnist • ocr49, ocr49-mnist
- 40. 検証結果
- 41. 検証結果
- 42. 検証結果
- 43. 検証結果
- 44. 検証結果
- 45. 検証結果
- 46. 精度の向上 • ocr17-mnist, ocr49-mnist については、t検定で 優位差がでている(2%)ことを確認した
- 47. まとめ • Deep Boostという新しい集団学習手法を提案した • AdaBoostの拡張と見なすことができる • 誤差について、理論的な保証がある • (確かに?)精度が向上している