XGBoost, LightGBM, Catboostについてまとめました

1. GBDTアルゴリズム
Gradient Boost Decision Tree
with Iris datasets
工学院大学 情報学部 コンピュータ科学科
やっしー

2. 目次
• 自己紹介
• 勾配ブースティングとは
• 今回やったこと
• 結果
• これから

3. 自己紹介
工学院大学情報学部
コンピュータ科学科
未来の機械学習エンジニア
趣味：Webプロ，ゲーム，マインクラフト
好きなゲームの世界線：ニーアオートマタ

4. 自己紹介
工学院大学情報学部
コンピュータ科学科
未来の機械学習エンジニア
趣味：Webプロ，ゲーム，マインクラフト

5. 勾配ブースティングとは

6. 勾配ブースティングとは
• 前の弱分類器の予測値の誤差を，新しい弱分類器が引き継いで
小さくしていく手法

7. XGBoost、LightGBM、CatBoostの違い

8. XGBoost
外部記憶装置から適宜，読み出して処理するときの問題
分割検出の際の勾配統計のキャッシュミス
・速度の低下
・貪欲法の精度低下
→各スレッドに内部バッファを割り当て、勾配統計をそこに
フェッチしてから、小刻みに蓄積をする

9. やはりデータ量が多いと
キャッシュミスが起きるらしい

10. LightGBM
「Leaf Wise」…使用する決定木を葉に準じて成長させる
→「Level Wise」より計算量が少ない
データの特徴量を階級に分けてヒストグラム化
→最適な枝分かれを探すための計算コストの削減
Leaf Wise
Level Wise

11. LightGBM
「Leaf Wise」…使用する決定木を葉に準じて成長させる
→「Level Wise」より計算量が少ない
データの特徴量を階級に分けてヒストグラム化
→最適な枝分かれを探すための計算コストの削減
Leaf Wise
Level Wise
XGBoostでもできるみたいです！

12. 演算量が減って軽そう

13. CatBoost
「 Prediction shift 」…新しい木を生成する際に、現在の木
から、そして同じデータセットから勾配近似値を求めるため、真
の確率分布と予測勾配値の確率分布に差異がある
→「 Ordered Boosting 」
前回のブースティング段階で毎回新たなデータセットを個
別にサンプリングして木を作る
データ
データ
データ

14. 猫は飽きっぽい

15. 今回やったこと

16. 今回やったこと
試したアルゴリズム
・XGBoost
・LightGBM
・CatBoost

17. 結果
https://github.com/YaCpotato/ToyBox

18. 実行時間
XGBoost 1.07 s
LightGBM 34.1 ms
CatBoost 863 ms

19. これから
• 各アルゴリズムをもっと細かく追求する
• 概要をまとめる(利点、欠点を明確に)

20. 最後に
1月18日(明後日)にLT会をやります。
初心者と(自称)初心者が集まります。
おざけんさんが登壇します
https://mlforbiginners.connpass.com/event/159580/

21. ご静聴ありがとうございました