Lp Boost

LPBoost とその応用田部井靖生東大・新領域・情報生命・浅井研・D2

なぜ、この内容にしたか？ ,[object Object],[object Object],[object Object]

概要 ,[object Object],[object Object],[object Object],[object Object],[object Object]

今回紹介する論文 ,[object Object],[object Object],[object Object],[object Object]

Boostingの導入 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Adaboost ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],今までの採用した仮説では最も正解を得にくいデータを、当てられるように仮説を選択重みの更新重み付多数決で最終的な予測を得る

Adaboost の目的関数 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Adaboost の目的関数 ,[object Object],[object Object],[object Object],[object Object],[object Object]

LPBoost 　 (Soft margin) ・主問題　　 (C は定数 ) ・双対問題・ Hypothesis Set H の数 T’ が大きいとき、変数の数が　多くなり解きにくい。・ Hypothesis SetH の数 T’ が大きいとき、制約の数が多くなるが効率的なアルゴリズムが存在する。・仮説の数 T’ が多いので双対問題を解くことは不可能と考えられていたが Column Generation Algorithm で解くことができることがわかった。

Column Generation Algorithm ,[object Object],[object Object],[object Object],[object Object],Constraint Matrix Used Part

Column Generation Algorithm ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],最も制約に反する仮説を選択 ( すべての仮説に反する制約を選択 ) 加えた制約のみで双対問題を解く

SVMとの比較 AdaBoost SVM ・１つめの制約は同じ - マージン最大化という意味では同じ・違いは、 a のノルム (1-norm, 2-norm) ・ 1-norm の場合、最適解が訓練データ数個の弱学習器の　線形和で表すことができる。 [G.Ratsch 01] ・ 2-norm では、 a* は訓練データの線形和で表される。 (Representer Theorem)

LPBoost ,[object Object],[object Object],[object Object],[object Object]

LPBoost の応用 ,[object Object],[object Object],[object Object]

概要 ,[object Object],[object Object],[object Object],[object Object]

問題設定 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

データの表現 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

weak learner ,[object Object],[object Object],[object Object],[object Object],[object Object]

回帰関数 ,[object Object],[object Object],- a t , b は学習パラメータ ,[object Object],[object Object],[object Object],[object Object]

二次計画問題 ,[object Object],[object Object],毎回のイテレーションで加えていく制約

Column Generation Algorithm における制約条件の探索 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Frequent Itemset mining method LCM ,[object Object],[object Object],[object Object],[object Object],[object Object],empty {1} {2} {3} {4} {1,2} {1,2,4} {3,4} {1,3}

探索空間の枝狩り ,[object Object],[object Object],emplty {1} {1,2,} {1,3} {1,2,3,} {1,2,4,} g=0.1(g cur ) μ=0.7 g=0.3(g cur ) μ=0.6 {1,4} g=0.4(g cur ) μ=0.6 g=0.4 μ=0.6 g=0.4 μ=0.3 {1,4,5} {1,4,6} {1,4,6} ,[object Object],[object Object],[object Object],[object Object],[object Object],・この先により強い制約条件はないということ。

上限値の見積もり ,[object Object],(Morisita02)

Results ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

Complex feature に対する薬剤耐性の影響

まとめ ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object]

補足 ,[object Object],[object Object]

Lp Boost

Lp Boost

Recommended

More Related Content

What's hot

What's hot(20)

Viewers also liked

Viewers also liked(20)

Similar to Lp Boost

Similar to Lp Boost(20)

Recently uploaded

Recently uploaded(12)

Lp Boost