Submit Search
Upload
XGBoostからNGBoostまで
•
2 likes
•
693 views
T
Tomoki Yoshida
Follow
XGBoost, LightGBM, CatBoost, NGBoostを解説.
Read less
Read more
Data & Analytics
Report
Share
Report
Share
1 of 33
Download now
Download to read offline
Recommended
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision Tree
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision Tree
Takami Sato
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
Satoshi Hara
[DL輪読会]Revisiting Deep Learning Models for Tabular Data (NeurIPS 2021) 表形式デー...
[DL輪読会]Revisiting Deep Learning Models for Tabular Data (NeurIPS 2021) 表形式デー...
Deep Learning JP
Gradient Tree Boosting はいいぞ
Gradient Tree Boosting はいいぞ
7X RUSK
Semi supervised, weakly-supervised, unsupervised, and active learning
Semi supervised, weakly-supervised, unsupervised, and active learning
Yusuke Uchida
PyData.Tokyo Meetup #21 講演資料「Optuna ハイパーパラメータ最適化フレームワーク」太田 健
PyData.Tokyo Meetup #21 講演資料「Optuna ハイパーパラメータ最適化フレームワーク」太田 健
Preferred Networks
LightGBMを少し改造してみた ~カテゴリ変数の動的エンコード~
LightGBMを少し改造してみた ~カテゴリ変数の動的エンコード~
RyuichiKanoh
Recommended
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
勾配ブースティングの基礎と最新の動向 (MIRU2020 Tutorial)
RyuichiKanoh
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision Tree
NIPS2017読み会 LightGBM: A Highly Efficient Gradient Boosting Decision Tree
Takami Sato
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
【論文調査】XAI技術の効能を ユーザ実験で評価する研究
Satoshi Hara
[DL輪読会]Revisiting Deep Learning Models for Tabular Data (NeurIPS 2021) 表形式デー...
[DL輪読会]Revisiting Deep Learning Models for Tabular Data (NeurIPS 2021) 表形式デー...
Deep Learning JP
Gradient Tree Boosting はいいぞ
Gradient Tree Boosting はいいぞ
7X RUSK
Semi supervised, weakly-supervised, unsupervised, and active learning
Semi supervised, weakly-supervised, unsupervised, and active learning
Yusuke Uchida
PyData.Tokyo Meetup #21 講演資料「Optuna ハイパーパラメータ最適化フレームワーク」太田 健
PyData.Tokyo Meetup #21 講演資料「Optuna ハイパーパラメータ最適化フレームワーク」太田 健
Preferred Networks
LightGBMを少し改造してみた ~カテゴリ変数の動的エンコード~
LightGBMを少し改造してみた ~カテゴリ変数の動的エンコード~
RyuichiKanoh
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
Deep Learning JP
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
Ichigaku Takigawa
【DL輪読会】Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
【DL輪読会】Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
Deep Learning JP
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
西岡 賢一郎
Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2
Kota Matsui
強化学習エージェントの内発的動機付けによる探索とその応用(第4回 統計・機械学習若手シンポジウム 招待公演)
強化学習エージェントの内発的動機付けによる探索とその応用(第4回 統計・機械学習若手シンポジウム 招待公演)
Shota Imai
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
Deep Learning JP
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Yamato OKAMOTO
GAN(と強化学習との関係)
GAN(と強化学習との関係)
Masahiro Suzuki
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
Deep Learning JP
【DL輪読会】"Masked Siamese Networks for Label-Efficient Learning"
【DL輪読会】"Masked Siamese Networks for Label-Efficient Learning"
Deep Learning JP
[DL輪読会]Understanding Black-box Predictions via Influence Functions
[DL輪読会]Understanding Black-box Predictions via Influence Functions
Deep Learning JP
畳み込みLstm
畳み込みLstm
tak9029
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
Deep Learning Lab(ディープラーニング・ラボ)
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
合成変量とアンサンブル:回帰森と加法モデルの要点
合成変量とアンサンブル:回帰森と加法モデルの要点
Ichigaku Takigawa
大規模言語モデル開発を支える分散学習技術 - 東京工業大学横田理央研究室の藤井一喜さん
大規模言語モデル開発を支える分散学習技術 - 東京工業大学横田理央研究室の藤井一喜さん
Akira Shibata
LightGBM: a highly efficient gradient boosting decision tree
LightGBM: a highly efficient gradient boosting decision tree
Yusuke Kaneko
More Related Content
What's hot
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
Deep Learning JP
backbone としての timm 入門
backbone としての timm 入門
Takuji Tahara
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
Ichigaku Takigawa
【DL輪読会】Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
【DL輪読会】Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
Deep Learning JP
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
西岡 賢一郎
Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2
Kota Matsui
強化学習エージェントの内発的動機付けによる探索とその応用(第4回 統計・機械学習若手シンポジウム 招待公演)
強化学習エージェントの内発的動機付けによる探索とその応用(第4回 統計・機械学習若手シンポジウム 招待公演)
Shota Imai
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
Deep Learning JP
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Yamato OKAMOTO
GAN(と強化学習との関係)
GAN(と強化学習との関係)
Masahiro Suzuki
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
Deep Learning JP
【DL輪読会】"Masked Siamese Networks for Label-Efficient Learning"
【DL輪読会】"Masked Siamese Networks for Label-Efficient Learning"
Deep Learning JP
[DL輪読会]Understanding Black-box Predictions via Influence Functions
[DL輪読会]Understanding Black-box Predictions via Influence Functions
Deep Learning JP
畳み込みLstm
畳み込みLstm
tak9029
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
Deep Learning Lab(ディープラーニング・ラボ)
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
tmtm otm
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
Deep Learning JP
合成変量とアンサンブル:回帰森と加法モデルの要点
合成変量とアンサンブル:回帰森と加法モデルの要点
Ichigaku Takigawa
What's hot
(20)
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
[DL輪読会]ドメイン転移と不変表現に関するサーベイ
backbone としての timm 入門
backbone としての timm 入門
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
科学と機械学習のあいだ:変量の設計・変換・選択・交互作用・線形性
【DL輪読会】Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
【DL輪読会】Diffusion Policy: Visuomotor Policy Learning via Action Diffusion
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
ブラックボックスからXAI (説明可能なAI) へ - LIME (Local Interpretable Model-agnostic Explanat...
Recent Advances on Transfer Learning and Related Topics Ver.2
Recent Advances on Transfer Learning and Related Topics Ver.2
強化学習エージェントの内発的動機付けによる探索とその応用(第4回 統計・機械学習若手シンポジウム 招待公演)
強化学習エージェントの内発的動機付けによる探索とその応用(第4回 統計・機械学習若手シンポジウム 招待公演)
【DL輪読会】Scaling Laws for Neural Language Models
【DL輪読会】Scaling Laws for Neural Language Models
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
SSII2021 [OS2-01] 転移学習の基礎:異なるタスクの知識を利用するための機械学習の方法
Domain Adaptation 発展と動向まとめ(サーベイ資料)
Domain Adaptation 発展と動向まとめ(サーベイ資料)
GAN(と強化学習との関係)
GAN(と強化学習との関係)
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
[DL輪読会]Set Transformer: A Framework for Attention-based Permutation-Invariant...
【DL輪読会】"Masked Siamese Networks for Label-Efficient Learning"
【DL輪読会】"Masked Siamese Networks for Label-Efficient Learning"
[DL輪読会]Understanding Black-box Predictions via Influence Functions
[DL輪読会]Understanding Black-box Predictions via Influence Functions
畳み込みLstm
畳み込みLstm
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
SSII2021 [OS2-02] 深層学習におけるデータ拡張の原理と最新動向
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
一般化線形モデル (GLM) & 一般化加法モデル(GAM)
PRML学習者から入る深層生成モデル入門
PRML学習者から入る深層生成モデル入門
[DL輪読会]相互情報量最大化による表現学習
[DL輪読会]相互情報量最大化による表現学習
合成変量とアンサンブル:回帰森と加法モデルの要点
合成変量とアンサンブル:回帰森と加法モデルの要点
Similar to XGBoostからNGBoostまで
大規模言語モデル開発を支える分散学習技術 - 東京工業大学横田理央研究室の藤井一喜さん
大規模言語モデル開発を支える分散学習技術 - 東京工業大学横田理央研究室の藤井一喜さん
Akira Shibata
LightGBM: a highly efficient gradient boosting decision tree
LightGBM: a highly efficient gradient boosting decision tree
Yusuke Kaneko
BA-Net: Dense Bundle Adjustment Network (3D勉強会@関東)
BA-Net: Dense Bundle Adjustment Network (3D勉強会@関東)
Mai Nishimura
整数計画法に基づく説明可能性な機械学習へのアプローチ
整数計画法に基づく説明可能性な機械学習へのアプローチ
Kentaro Kanamori
Active Learning の基礎と最近の研究
Active Learning の基礎と最近の研究
Fumihiko Takahashi
Kaggleのテクニック
Kaggleのテクニック
Yasunori Ozaki
Hivemallで始める不動産価格推定サービス
Hivemallで始める不動産価格推定サービス
Kentaro Yoshida
GBDTアルゴリズムを比べてみる
GBDTアルゴリズムを比べてみる
ShoichiYashiro
アドテクにおけるBandit Algorithmの活用
アドテクにおけるBandit Algorithmの活用
Komei Fujita
Batch Reinforcement Learning
Batch Reinforcement Learning
Takuma Oda
2020/07/04 BSP-Net (CVPR2020)
2020/07/04 BSP-Net (CVPR2020)
Takuya Minagawa
SSII2019TS: Shall We GANs? ~GANの基礎から最近の研究まで~
SSII2019TS: Shall We GANs? ~GANの基礎から最近の研究まで~
SSII
20200704 bsp net
20200704 bsp net
Takuya Minagawa
JAWSUG 20210128
JAWSUG 20210128
陽平 山口
SSII2019TS: Shall We GANs? ~GANの基礎から最近の研究まで~
SSII2019TS: Shall We GANs? ~GANの基礎から最近の研究まで~
SSII
Similar to XGBoostからNGBoostまで
(15)
大規模言語モデル開発を支える分散学習技術 - 東京工業大学横田理央研究室の藤井一喜さん
大規模言語モデル開発を支える分散学習技術 - 東京工業大学横田理央研究室の藤井一喜さん
LightGBM: a highly efficient gradient boosting decision tree
LightGBM: a highly efficient gradient boosting decision tree
BA-Net: Dense Bundle Adjustment Network (3D勉強会@関東)
BA-Net: Dense Bundle Adjustment Network (3D勉強会@関東)
整数計画法に基づく説明可能性な機械学習へのアプローチ
整数計画法に基づく説明可能性な機械学習へのアプローチ
Active Learning の基礎と最近の研究
Active Learning の基礎と最近の研究
Kaggleのテクニック
Kaggleのテクニック
Hivemallで始める不動産価格推定サービス
Hivemallで始める不動産価格推定サービス
GBDTアルゴリズムを比べてみる
GBDTアルゴリズムを比べてみる
アドテクにおけるBandit Algorithmの活用
アドテクにおけるBandit Algorithmの活用
Batch Reinforcement Learning
Batch Reinforcement Learning
2020/07/04 BSP-Net (CVPR2020)
2020/07/04 BSP-Net (CVPR2020)
SSII2019TS: Shall We GANs? ~GANの基礎から最近の研究まで~
SSII2019TS: Shall We GANs? ~GANの基礎から最近の研究まで~
20200704 bsp net
20200704 bsp net
JAWSUG 20210128
JAWSUG 20210128
SSII2019TS: Shall We GANs? ~GANの基礎から最近の研究まで~
SSII2019TS: Shall We GANs? ~GANの基礎から最近の研究まで~
XGBoostからNGBoostまで
1.
XGBoostからNGBoostまで 吉田知貴 システム本部AIシステム部データサイエンス第一グループ 株式会社ディー・エヌ・エー
2.
自己紹介 ● 吉田 知貴 ○
名古屋工業大学大学院 情報工学専攻 竹内・烏山研究室 出身 ○ 2020年 DeNA入社 ○ 趣味: 野鳥撮影 在学時代 ● 機械学習の凸最適化の理論研究 ○ KDD 2018 | Safe Triplet Screening for Distance Metric Learning ○ KDD 2019 | Learning Interpretable Metric between Graphs: Convex Formulation and Computation with Graph Mining ● 理論系のQiita記事 ○ ラグランジュ双対問題について解説: https://qiita.com/birdwatcher/items/b23209f06177373c6df4 ○ 機械学習の高速化手法Safe Screeningを解説: https://qiita.com/birdwatcher/items/6c3f86693f02762d05b9 2
3.
目次 3 勾配ブースティング XGBoost LightGBM 1 3 CatBoost4 2 NGBoost5 その他6
4.
①:勾配ブースティング Friedmanによる元祖勾配ブースティング 4
5.
勾配ブースティング ● 残差を埋めるように弱学習器を足していく モデル (by
Friedman) ○ 弱学習器として決定木がよく使われる 5Hands on Machine Learning with Scikit Learn and Tensorflowより
6.
勾配ブースティングの歴史 ● Friedmanの勾配ブースティング (1999) ○
勾配ブースティング発案 近年... ● XGBoost (KDD2016) ○ 正則化, 定式化ベースでの導出, 実装上の工夫 ● LightGBM (NIPS2017) ○ 高速化 ● CatBoost (NIPS2018) ○ カテゴリ変数の扱い ● NGBoost (2019) ○ 不確かさを扱う 6
7.
Friedmanの勾配ブースティング 7 The Elements of
Statistical Learningより サンプルに対する勾配 勾配を出力するような木を構築 葉の値は損失を下げるように ● 普通の勾配法に基づいた考え方 ○ 勾配を決定木で表現して足していく
8.
②:XGBoost 最近のベース手法 8
9.
XGBoostの定式化 ● 目的関数 ○ 正則化項 9 葉の数
葉の値 (T次元ベクトル) 正則化係数 (葉の数抑制) 正則化係数 (1つの木の影響力抑制 ) 一つ前の予測値 損失関数 サンプルに関する和 決定木
10.
XGBoostの考え方 (1/3) ● 最適な葉の値wを求めるために 目的関数の2次近似:
ft に関して0の周りでテイラー展開 10 1次微分 2次微分 wにとって定数
11.
XGBoostの考え方 (2/3) ● 定数除去 ●
fをwの値で陽に書き表すと... ● wの二次関数になった!! ○ 最適なwが求まる 11 正則化項Ω 葉 j にたどりつくサンプルたち このとき
12.
XGBoostの考え方 (3/3) ● 分岐時は,
次のスコアが最大になるような分割を探す ○ 最も目的関数(の近似)が下がる分岐を探していることに対応する ● Friedmanとぜんぜん違うように見える...? ○ XGBoostも式変形すると, Friedmanと同じように (重み付き)勾配にフィットする木を作ることになっていることに注意 12 分岐前 分岐後 左の葉 右の葉 分岐前
13.
XGBoostの工夫 ● shirinkage η ○
木を足すときに, 小さな η を掛ける ○ 小さい値ほど精度があがると言われている (ESL, Firedman2001) ● feature subsampling ○ ランダムフォレストでも使われてますね ● 分岐時の工夫 ○ Exact Greedy Algorithm ■ データをソートして, 順番に分割点を確認 ○ Approximate Algorithm ■ 最初に, 特徴分布の分位数で分割の候補を決める ● 各木の作成の最も最初 (global) or 分岐のたびに (local) ■ 各サンプルをその分割された領域にマッピング& 集計しておく ● データのスパース性 (欠損, 0)を利用した高速化 ○ デフォルトの分岐を与えておく ● その他システム設計の工夫: 並列化, キャッシュアクセス, ... 13 図:XGBoost論文より
14.
XGBoostライブラリのパラメータ 14https://xgboost.readthedocs.io/en/latest/parameter.html より
15.
③:LightGBM Kaggleでよく使われる高速化された手法 15
16.
LightGBM ● 高速化する工夫が入っている ○ Gradient-based
One-Side Sampling (GOSS) ■ 小さい勾配を持つサンプルを除去 ○ Exclusive Feature Bundling (EFB) ■ 排他的な特徴をまとめて扱う ● LightGBMはヒストグラムベース ○ XGBoostはオプションで選べた 16
17.
LightGBMのGOSSについて 1. 勾配の絶対値のトップa ×
100%を使う 2. 残りの(1-a) × 100%から, ランダムにb × 100%選ぶ 3. サンプリングされた勾配に (1-a) / b を掛けて, 増幅する ● 近似しない場合との差を不等式で抑えれる理論保証ある点が強い ○ 1-δの確率で...という不等式が示されている 17
18.
LightGBMのライブラリ ● デフォルトでGOSSがOFF ● EFBはON 18https://lightgbm.readthedocs.io/en/latest/Parameters.html
より
19.
④:CatBoost カテゴリ変数に強いが, 遅いのがネック 19
20.
CatBoost ● ターゲットエンコーディングに基づく ○ カテゴリ変数を予測の平均値で置き換える ○
論文内ではTS (Target Statistic)と呼ばれている ● リークを防ぎつつ, 全訓練データをTSと学習使う ● Ordered TS: (オンライン学習からインスパイアされた) ○ 訓練サンプルにランダムな順列σを導入 ○ 各サンプルのカテゴリ値は, 順列σに従ってTSされる ○ 最初の方のサンプルは分散が大きいため, Boostingステップで異なる順列を使う 20 動物 y TS Ordered TS 猫 1 0.5 0 犬 1 2/3 0 鳥 1 1 0 猫 0 0.5 1 犬 0 2/3 1 犬 1 2/3 0.5 順列σ
21.
CatBoost論文内で既存手法への指摘 ● 勾配にフィットする木を作成するステップにおいて, 勾配の分布がテストデータと学習データでずれている!! (汎化性能に影響) →モデルFt-1 の学習にxk を使っているのが原因 21 勾配
決定木
22.
CatBoostのもう一つの工夫 ● Ordered Boosting ○
Ordered TSと同じような考え方 ○ 先程の問題を解決するもの ○ ランダムな順列σに従い, 最初のiサンプルまでを使った学習済みモデルMi とする ○ 計算量がかなり増える 22 サンプル6までを使用したモデル サンプル7の残差計算に, サンプル7で学習したモデルを使って ない 図:CatBoost論文より
23.
CatBoostのライブラリ ● Ordered Boostingは基本的にデフォルトでOFF 23https://catboost.ai/docs/concepts/python-reference_parameters-list.html
より
24.
⑤:NGBoost 不確かさを扱える手法 24
25.
NGBoost ● 不確かさを扱える勾配ブースティング手法 ○ 確率分布を返す ●
任意の弱学習器, 確率分布, スコア関数を使える ● 自然勾配を使って学習 25 https://stanfordmlgroup.github.io/projects/ngboost/ より
26.
NGBoostの構成要素 ● 弱学習器: f
(m) (x) ○ 決定木など ● 確率分布: Pθ (y|x) ○ θはパラメータ ■ 正規分布なら θ = (μ, σ) ● スコア関数: S(Pθ , y) ○ MLE (最尤推定), CRPS (Continuous Ranked Probability Score)など 26 弱学習器 確率分布 スコア関数 図:NGBoost論文より
27.
スコア関数S モデルが出力する分布Pθ と観測データyから計算されるスコア (予測誤差) ● 負の対数尤度
(MLE, 最尤推定) ● Continuous Ranked Probability Score (CRPS) 27
28.
一般化自然勾配 ● 通常の勾配 ○ dがユークリッド空間のノルム ●
一般化自然勾配 ○ 分布Pθ と分布Pθ+d の離れ具合 ○ DS : ダイバージェンス 28
29.
勾配と自然勾配の違い ● 正規分布における例 ● 学習過程:https://stanfordmlgroup.github.io/projects/ngboost/ 29 NGBoost論文より
30.
NGBoostのアルゴリズム 30 NGBoost論文より
31.
実験結果 ● 分布を推定できる既存手法との比較 ● 二乗平均平方根誤差
(RMSE), 負の対数尤度 (NLL) ○ 小さい方が良い 多くのデータセットで, NGBoostが良いスコア 31 https://stanfordmlgroup.github.io/projects/ngboost/ より
32.
⑥:その他 いろんな活躍が期待される決定木ベースの手法たち 32
33.
その他 木を連ねてニューラルネットに対抗しようとしている人たちがいる ● Deep Forest ●
Multi-Layered Gradient Boosting Decision Tree 33 https://papers.nips.cc/paper/7614-multi-layered-gradient-boosting-decision-trees.pdf より
Download now