Recommended
More Related Content
What's hot
What's hot (16)
ランダムフォレスト回帰
- 2. ⾃⼰紹介 • ID: rysk • 仕事: インフラ・エンジニア • Python歴: 2017年秋から
- 3. 前回…… • 10章後半の発表をしたけれど、こっそり10.7.2節を⾶ば した。 • 何⼈かの⼈がその節でやっているランダムフォレスト回帰 に興味がありそうだった。 • で、調べたりscikit-learnのソースを読んだりしてみた。
- 4. • 書籍内の必要な図はスライドに出てきます。本を都度⾒る 必要は無いです。 • コードは出てきません。jupyterなどを準備しなくても良 いです。 • 発表資料は後でconnpassのサイトに上げます。写真など 撮らなくても⼤丈夫でです。 • 質問や突っ込みは随時OKです。出来れば挙⼿してくださ い。
- 6. 10章後半の流れ • 学習したモデルの良さを知る為に評価する (残差プロット) • その結果、問題があればモデルを再構築する (⾮線形モデ ルなど) • 過学習があれば正則化で対応する (3種類の正則化) ランダムフォレスト回帰は ⾮線形モデルの⼀種
- 7. ランダムフォレスト • 3.6.3節で分類器として出てきた(86ページ)。 • ランダムフォレストは決定⽊を複数組み合わせ(アンサンブ ル)して構成する • データはブートストラップで⾮復元抽出 (訓練データの⼀部 しか使わない) • 個々の決定⽊で使う特徴量もランダムで選択 • 最終的に作られた複数の決定⽊の投票結果がモデルの予測値
- 8. 決定⽊ • 3.6節でやった分類器の⼀つ(77ページ) • 樹形図のノードが分類条件 • 分類境界は任意の軸に平⾏
- 10. 決定⽊と回帰⽊ • 決定⽊で回帰をする場合は回帰⽊(Regression Tree)と呼 ぶ • 決定⽊で分類する場合は分類⽊(Classification Tree)と呼 ぶ • 回帰⽊と分類⽊を合わせて決定⽊と呼ぶ
- 11. ノード分割⽅法 分類⽊ではノードの不純度を基準にノード分割していた。 不純度には • ジニ不純度 • エントロピー • 分類誤差 の3種類があった。
- 12. 回帰⽊の分割⽅法 回帰⽊では、平均⼆乗誤差(Mean Square Error; MSE)を使っ て分割する。 この式は要するに⽬的変数の分散。 ※Chalk Talkで説明します scikit-learnではMSEの他に平均絶対誤差(Mean Absolute Error; MAE)も選択可能 MSE(t) = 1 N X (y(i) ˆyt) 2
- 16. ノードと直線の対応1 ① ② ③ ④ ⑤ ⑥ ⑦
- 18. 参考⽂献 • Random Forestsとその応⽤, http:// www.vision.cs.chubu.ac.jp/cvtutorial/PDF/ 04RandomForests.pdf • Scikit-learn Documentation, http://scikit-learn.org/ stable/documentation.html
- 19. ご清聴 ありがとうございました。