leo_breiman_20131024

387 views

Published on

leo breimanの研究の調査

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
387
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
0
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

leo_breiman_20131024

  1. 1. LEO BREIMAN 東京⼤大学学際情報学府修⼠士2年年 砂川  ⾠辰辰徳
  2. 2. ⽬目次 年年表 ¨  CART ¨  bagging ¨  random forest ¨  2013/10/24 ⽊木曜研究会資料料 2
  3. 3. 略略歴 Leo Breiman(1928~2005) New York⽣生まれ   専⾨門は確率率率論論と統計的計算   ¨  主な業績   CART   Bagging   Random 2013/10/24 Forest ⽊木曜研究会資料料 3
  4. 4. 主な論論⽂文 参照:google scholar 2013/10/24 ⽊木曜研究会資料料 4
  5. 5. 学部〜~修⼠士 ¨  1949年年   the California Institute of Technologyにて物理理学の 学⼠士号を取得   Columbia Universityにて哲学を志したが、「Ph.Dを 取得した学⽣生が職を得られなかった」という学科⻑⾧長の 話を聞き、数学科へ移籍 ¨  1950年年   Columbia 2013/10/24 Universityにて数学の修⼠士号を取得 ⽊木曜研究会資料料 5
  6. 6. 博⼠士号〜~退職 ¨  1954年年   UCBでPh.Dを取得   UCLAでprobability theoryを教える   ボランティアで⼩小5に数学を教える ¨  1961年年   UCLAでの終⾝身雇⽤用権を得ながらも、「⾃自分は抽象度度 の⾼高い数学の研究は向いていない」と気づき退職 ¨  ~1980年年   ⺠民間企業やUNESCOで統計調査に従事 2013/10/24 ⽊木曜研究会資料料 6
  7. 7. ⼤大学復復帰〜~逝去 ¨  1980年年   UCBに戻り、department‘s Facilityを設⽴立立 ¨  Statistical Computing 1993年年   UCBを退官   bagging, 2013/10/24 random forestsなどを提案 ⽊木曜研究会資料料 7
  8. 8. 注⽬目した点 ¨  主な業績が研究期間の後期に集中していた   特にrandom forestは逝去までの7年年間でアイディア を完成させていた ¨  ⼤大学での研究活動とともに外部での活動にも積 極的であった 2013/10/24 ⽊木曜研究会資料料 8
  9. 9. bagging Bagging predictors Machine learning 24 (2), 123-140(1996) 2013/10/24 ⽊木曜研究会資料料 9
  10. 10. baggingの概要(1) ¨  問題設定   i.i.dなデータセットが複数得られるときに、   単⼀一のデータセットに⽐比べて性能を上げたい ¨  各データセットでつくった学習器のみが使える という制約 2013/10/24 ⽊木曜研究会資料料 10
  11. 11. baggingの概要(2) ¨  得られた学習器の結果を集合して出⼒力力する 2013/10/24 ⽊木曜研究会資料料 11
  12. 12. baggingの概要(3) 実際には複数のデータセットを得ることは   難しいため、bootstrap法により   複数のデータセットを作成して代⽤用する ¨  ¨  bootstrap法   基本的な⽬目的は推定量量の分布を求めること   bootstrap法は推定量量の分布を復復元抽出を⽤用いた⼤大量量 の繰り返し計算によって数値的に推定する⽅方法 2013/10/24 ⽊木曜研究会資料料 12
  13. 13. baggingの概要(4) 訓練データ1 訓練データ 訓練データ2 bootstrap法に より抽出 訓練データ3 学習器Φ1 学習器Φ3 2013/10/24 学習器Φ2 ⽊木曜研究会資料料 13
  14. 14. baggingアルゴリズム(1) ⼊入⼒力力: 訓練データL,復復元抽出数M,学習器数N ¨  N iteration ¨  データからM回復復元抽出して、新しいデータ をつくる   Step2: xを⼊入⼒力力するとyの予測値を返す学習器を返す   Step1: 2013/10/24 ⽊木曜研究会資料料 14
  15. 15. baggingアルゴリズム(2) ¨  出⼒力力: Step2で得たN個の学習器を⽤用いて最終的 な判別器を返す 2013/10/24 ⽊木曜研究会資料料 15
  16. 16. baggingの理理論論的考察(1)   分布Pから(xi,   aggredated yi)∈Lがi.i.dに得られているとする predictorは、   今⼊入⼒力力xのラベルがyとして、aggregate predictor   との⼆二乗誤差をとると、 2013/10/24 ⽊木曜研究会資料料 16
  17. 17. baggingの理理論論的考察(2)   ⼀一般に                  が成⽴立立するので、   各々の学習器を個別に使うよりもaggregated predictorの⽅方が⼆二乗誤差が抑えられる   どの程度度か?→学習器の分散が⼤大きいほどよい 2013/10/24 ⽊木曜研究会資料料 17
  18. 18. bootstrapによる近似   実際にはbootstrap法を⽤用いてPLの分布を推定 bootstrap推定量量   Lが不不安定だと学習器の分散が⼤大きくなりうまく働く 2013/10/24 ⽊木曜研究会資料料 18
  19. 19. baggingの理理論論的考察(3) ¨  yがclassのとき   ⼊入⼒力力xに対して学習器がクラスjと判別する確率率率を   とおくと、   学習器が⼊入⼒力力xのクラスを判別出来る確率率率   学習器の判別正解率率率 2013/10/24 ⽊木曜研究会資料料 19
  20. 20. baggingの理理論論的考察(4)   任意のxについて以下が成⽴立立   等号成⽴立立は以下(Bayes predictorと呼ばれる)   よって 2013/10/24 ⽊木曜研究会資料料 20
  21. 21. baggingの理理論論的考察(5) ¨  order-correct   次式が成⽴立立ときΦは⼊入⼒力力xについてorder-correct   order-correctだからといって同じ判別性能ではない   例例   r=0.58 2013/10/24 vs r*=0.9 ⽊木曜研究会資料料 21
  22. 22. baggingの理理論論的考察(6) ¨  集合学習器   集合学習器が⼊入⼒力力xのクラスを判別出来る確率率率   今order-correctを実現するxの集合をCとすると   Cについてはoptimal(=Bayes predictor)を実現 2013/10/24 ⽊木曜研究会資料料 22
  23. 23. random forests Random Forests. Machine Learning 45(1): 5-32 (2001) 参考:ランダムフォレスト  波部  ⻫斉 情報処理理学会研究会報告Vol.2012-CVIM-182 No.31 (2012) 2013/10/24 ⽊木曜研究会資料料 23
  24. 24. random forests ¨  基本アイディア   決定⽊木による集団学習を⾏行行う   ⽊木の⽣生成時にランダム性を導⼊入することにより baggingよりも精度度をあげたい ・・・ 決定⽊木1 2013/10/24 決定⽊木M ⽊木曜研究会資料料 24
  25. 25. 決定⽊木(1) データxからいくつかの次元を抽出するフィルタ 分割基準の幾何的特徴を決めるパラメタ 分割を⾏行行う閾値 ⼊入⼒力力x 分割関数h(x,θj) 出⼒力力P(c|x) 2013/10/24 ⽊木曜研究会資料料 25
  26. 26. 決定⽊木(2)   例例えば線形な分割関数を求める場合は、   決定⽊木の葉葉ノードでは評価の予測時に⽤用いるデータが 対応づけられる  ex.)P(c|v)の予測値   random forestsでは2分決定⽊木が主に⽤用いられる (増やしても性能が上がらないことが知られている)   学習の終了了条件は、(1)予め設定した最⼤大⾼高さDに達 したら(2)ノードに割り当てられた学習データの個数 が⼀一定値以下になったら  など 2013/10/24 ⽊木曜研究会資料料 26
  27. 27. random forestsのアルゴリズム ⼊入⼒力力: 訓練データL,復復元抽出数M,学習器数N   最⼤大⾼高さD,ランダムネスρ ¨  N iteration ¨  データからM回復復元抽出して、新しいデータ セットLBをつくる   Step2: データセットLBについて、決定⽊木のパラメー タをランダムに選び、学習する   Step1: ¨  出⼒力力: 各決定⽊木の出⼒力力値の平均やvotingを⾏行行い最 終的な結果を出⼒力力する 2013/10/24 ⽊木曜研究会資料料 27
  28. 28. ランダム性の導⼊入(1) ¨  2つのランダム性を導⼊入   bagging   各ノードでの分割関数学習   パラメータθjのとりうる値の範囲をTとする   |Tj|/|T|でランダムの度度合いが調整できる 2013/10/24 ⽊木曜研究会資料料 28
  29. 29. ランダム性の導⼊入(2)   通常ρはすべての決定⽊木のすべてのノードで⼀一定とす ることが多い   例例  x∈Rdにおいて、Φのとりうる値のρ=3とすると、 n  k番⽬目につくる決定⽊木は(x1, x2, x5) n  l番⽬目につくる決定⽊木は(x3, x4, x6)   などと特徴選択をランダムに⾏行行う。 2013/10/24 ⽊木曜研究会資料料 29
  30. 30. 汎化誤差の収束性について ¨  汎化誤差の収束性に関する考察   決定⽊木の個数を増⼤大させると汎化誤差は収束する   汎化誤差の上限値 決定⽊木間の相関 決定⽊木の強さの期待値   ランダム性によって相関を⼩小さくする 2013/10/24 ⽊木曜研究会資料料 30

×