Lispmeetup #50 cl-random-forest: Common Lispによるランダムフォレストの実装
•
1 like•1,512 views
Lispmeetup #50 cl-random-forest: Common Lispによるランダムフォレストの実装
More Related Content
Viewers also liked
Viewers also liked (18)
More from Satoshi imai
Recently uploaded
Recently uploaded (8)
Lispmeetup #50 cl-random-forest: Common Lispによるランダムフォレストの実装
- 1. cl-random-forest : Common Lispによるランダムフォレストの実装 Satoshi Imai Twitter: @masatoi0 Github: masatoi
- 2. 発表の流れ ● ランダムフォレストとは何か ● 決定木の学習、予測 ● ランダムフォレストの学習、予測 ● ランダムフォレストの改良 – Global Refinement （大域的最適化） – Global Pruning （大域的枝刈り） ● 他実装との比較
- 5. 分類問題の例： Kinectによる身体の部位の分類 Ren, Cao, Wei and Sun. “Global Refinement of Random Forest” CVPR2015 回帰問題の例： 緑の線の周辺に分布するデータを多項式でフィッティング 過学習
- 7. 線形分離可能 線形分離不可能 ● 線形モデル – パーセプトロン – 線形SVM – AROW etc... ● 非線形モデル – 非線形SVM – ランダムフォレスト – ニューラルネット etc...
- 9. ランダムフォレストとは何か ● SVMは入力データ数nに対してO(n^2)の時間計算量 がかかる ● ニューラルネットはO(n)だが最適化するパラメータが膨 大 ● ランダムフォレストはO(n log n)の時間計算量で学習で きる – しかも容易に並列化できる – 並列化粒度が大きいのでスケーラビリティが高い
- 11. cl-random-forest ● ランダムフォレストの純Common Lispによる実装 – https://github.com/masatoi/cl-random-forest – 高速、並列化対応 – 通常のランダムフォレストに加えてRen,CaoらのGlobal Refinement of Random Forestを実装 ● →高速化、精度向上、メモリ使用量削減
- 12. 決定木の学習 ● 木構造を辿ることによって入力データの空間を部分 領域に分割していく – 一番簡単なのは、特徴と閾値を選ぶことによって領域を 分割する方法 – 分割が木のノードに相当 – ノードは分割条件を保持
- 18. バギング ● 決定木を複数作る際に元のデータセットから小さい データセットをサブサンプリングする – 重複を許すサンプリング（ブートストラップサンプリング） – この小さいデータセットで決定木を学習 – これによって森の中の多様性が増す → より頑健に
- 20. Global Refinement： 大域的な情報を使って再学習 ● Ren, Cao, Wei and Sun. “Global Refinement of Random Forest” CVPR2015 ● 通常のランダムフォレスト: 個々の決定木は独立に 成長する。補完し合うようには考えられていない → 森全体にまたがって再学習する – 再学習には線形分類器を使う ● 論文では線形SVM（LIBLINEAR） →以前実装したcl-online-learningが使える
- 21. Global Refinement： 大域的な情報を使って再学習 ● 学習済みのランダムフォレストを使ってデータを高次元で疎 なデータに変換する – 疎なデータは非常に高次元だが、実際には木の数しか 値が入っていない → cl-online-learningは疎ベクトルにも対応している
- 22. Global Refinement： 学習 ● クラス毎に二値分類器を用意する – 1 vs Allで学習する ● 教師信号に対応する学習器では正例、他の全部の学 習器では負例として扱う
- 23. Global Refinement： 予測 ● クラス毎に二値分類器を用意する – 二値分類器の重みと入力との線形結合でそのクラスの 活性が得られる – 活性が最大になるクラスを選ぶ
- 24. Global Refinementの性質 ● 分割の試行回数やバギング比率を小さくしても性能が落ちない→高速化 ● 普通のRF： 木の数よりもむしろ木の深さが性能に直結 – 個々の決定木の表現力がものをいう ● Refined: 浅い木でも木の数を増やすことにより性能向上 – 個々の決定木は弱くてもいい。木の数を増やして組み合せ方を工夫すること で性能を出す
- 25. Global Refinementの流れ ● まずランダムフォレストをつくる – 木の数を増やしてバギング比率を小さくする ● ランダムフォレストから線形分類器用のデータセット を作る – ランダムフォレストにデータを入力し、どの葉ノードにデー タが分類されるかを調べる ● 線形分類器を学習する – クラス数の数だけ二値分類器を学習する
- 29. 他実装との比較 ● scikit-learn – Python界では有名な機械学習ライブラリ群 – ランダムフォレストの実装はCython – マルチスレッド対応 ● ranger – R界では最速と目されるランダムフォレストライブラリ – 本体はC++ – マルチスレッド対応
- 30. MNISTでの比較 ● MNIST: 手書き数字の画像を認識する問題 – 28×28ピクセルのグレースケール画像 – 10クラス、784次元、訓練データ60000、テストデータ10000
- 31. MNISTでの比較 scikit-learn clrf (2) clrf (3) Time 29.6 sec 15.91 sec 12.597 sec 2.195 sec 6.648 sec Accuracy 96.59% 96.99% 96.3% 93.38% 98.22% ranger clrf (1) 実行時間 ランダムフォレストの構成 2.195 sec 線形分類器の訓練データセット作成 1.795 sec 線形分類器のテストデータセット作成 0.378 sec 線形分類器の学習 2.281 sec 工程 ● できるだけ条件を揃えて実行時間と精度を比較する – 木の数： 100, 木の最大深さ： 15, バギング比率： 1.0 – 木の数： 500, 木の最大深さ： 10, バギング比率： 0.1 – – clrf(3)の内訳
- 32. 様々なデータでの比較 ● 推奨設定での精度と所要時間 ● scikit-learn: n-tree=100、他はデフォルト ● ranger: 全部デフォルト ● clrf: n-tree=500, bagging-ratio=0.1, max-depth=15, n-trial=sqrt(dim) MNIST letter covtype usps scikit-learn ranger clrf 96.95%, 41.72sec 97.17%, 69.34sec 98.29%, 12.68sec 96.38%, 2.569sec 96.42%, 1.828sec 97.32%, 3.497sec 94.89%, 263.7sec 83.95%, 139.0sec 96.01%, 103.9sec 93,47%, 3.583sec 93.57%, 11.70sec 94.96%, 0.686sec #Train #Test #Feature #Classes MNIST 60000 10000 784 10 letter 15000 5000 16 26 covtype 348607 232405 54 7 usps 7291 2007 256 10