Recommended
More Related Content
What's hot
What's hot (20)
Recently uploaded
Recently uploaded (7)
Gradient Tree Boosting はいいぞ
- 1. 読んだ論文 ・Chen, T., & Guestrin, C. (2016, August). XGBoost: A scalable tree boosting system. In Proceedings of the 22nd acm sigkdd international conference on knowledge discovery and data mining (pp. 785-794). ACM. ・Friedman, J. H. (2001). Greedy function approximation: a gradient boosting machine. Annals of statistics, 1189-1232.
- 2. XGBoost (eXtreme Gradient Boosting) ・gradient boosting の高速な実装 ・Kaggle などの機械学習コンペで人気の手法らしい
- 3. 話す内容 ・gradient boosting とは ・XGBoost の原理: gradient tree boosting (・XGBoost はどのような点が優れているか？)
- 4. gradient descent (steepest descent) を求めるに対して どのように？ → を初期値とする. を計算し、K回目の予測値を とする
- 6. gradient boosting （復習）教師あり学習においては、訓練データ に対して、学習器 を、目的関数 が最小になるように作る. →各 に対して、t - 1 回目の予測器を としたとき, が最小になるような を考え、 とすればよさそう.
- 7. XGBoost の原理: gradient tree boosting 図の出典: https://homes.cs.washington.edu/~tqchen/pdf/BoostedTree.pdf
- 10. 求める決定木 が 枚の葉から成り、それぞれの葉の重み を とすると、 は を最小化するものであるとよい gradient descent では勾配（一次近似）を用いたが、 今回のgradient tree boostingでは二次近似を用いる （その方が少ない回数で最適な関数になることが 先行研究で示されている）
- 11. 定数項でない部分だけ取り出して 考えればよい これが最小になるような が j 番目の葉の最適な重み
- 13. の場合・・・
- 16. 「正則化項を付ける」以外の過学習を防ぐ工夫 Shrinkage: Column Subsampling: 以上、XGBoost の原理: gradient tree boosting の説明でした
- 17. XGBoost で用意されている枝分かれアルゴリズム その１: Basic Exact Greedy Algorithm あり得る全ての枝分かれの 中で、 スコアが最大値になるような 枝分かれを選んでいく →データがメモリに完全に おさまらない場合や、 メモリを分散させて 並列計算させる場合は 難しい （上図は論文から借用）
- 18. XGBoost で用意されている枝分かれアルゴリズム その２: Approximate Algorithm （上図は論文から借用） あらかじめ枝分かれの分け方の候補を決めておく！
- 19. 分け方の候補の決め方は？ →Weighted Quantile Sketch というXGBoost独自のアルゴリズム で計算 →このアルゴリズムにより、Approximate Algorithm は Basic Exact Greedy Algorithm と同じ程度の精度を示せる ユーザーは Basic Exact Greedy Algorithm と Approximate Algorithm のどちらも選択可能
- 20. XGBoost の枝分かれアルゴリズムのさらなる特長: Sparsity-aware Split Finding 現実のデータはsparse（疎な、ゼロの多い）であることが非常に多い →データの値が欠けているとき、 デフォルトの枝分かれの方向を 決めておく （右図は論文から借用）
- 21. （上図は論文から借用）
- 23. ・Cache-aware Access, Block Compression, Block Sharding により out-of-core でも（外部記憶装置からデータを読み出す場合でも） tree boosting が可能に （詳しい仕組みは論文を読んでもよくわかりませんでした・・・） ・out-of-core でも gradient tree boosting できるのは XGBoostだけらしい （上図は論文から借用）