Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

CVPR2015勉強会 Global Refinement of Random Forest

3,442 views

Published on

Global Refinement of Random Forest

Published in: Engineering
  • Be the first to comment

CVPR2015勉強会 Global Refinement of Random Forest

  1. 1. Global Refinement of Random Forest @51Takahashi
  2. 2. 自己紹介 CVPR2015読み会 2 • さのまる • @51Takahashi • 専門は顔の画像処理
  3. 3. 著者紹介 CVPR2015読み会 3 • S. Ren, Xudong Cao, Yichen Wei, Jian Sun – MSRAのすごいひとたち
  4. 4. 著者紹介 CVPR2015読み会 4 • S. Ren, Xudong Cao, Yichen Wei, Jian Sun – MSRAのすごいひとたち • Jian Sunの研究グループの論文紹介(◎は勉強会で発表あり) – Deep learning – Delving deep into rectifiers: Surpassing human-level performance on ImageNet classification(arXiv2015) – Convolutional neural networks at constrained time cost(CVPR2015) – 近似最近傍探索 – Sparse projections for high-dimensional binary codes(CVPR2015) – Optimized product quantization(TPAMI2014, CVPR2013) – Joint inverted indexing(ICCV2013)◎ – 手指姿勢推定 – Cascaded hand pose regression(CVPR2015) – Realtime and robust hand tracking from depth(CVPR2014) – 顔特徴点検出 – Face alignment at 3000 fps via regressing local binary features(CVPR2014)◎ – Face alignment by explicit shape regression(IJCV2014, CVPR2012)◎
  5. 5. 概要 Global refinement of random forest • 何の研究? – ランダムフォレスト(分類・回帰) • 何したの? – 学習済ランダムフォレストのリファインメント手法を提案 • 提案手法は? – ランダムフォレストをSVMまたはSVRとして扱います – いらない枝を刈ります • どうなったの? – 高精度になりました – 超省メモリになりました – 速さは不明 CVPR2015読み会 5
  6. 6. 分類問題 • 分類したいデータを二分木に入力 ⇒ 結果 1(正例) 木 CVPR2015読み会 6 1 -1 -1 1
  7. 7. 分類問題 • 分類したいデータをランダムフォレストに入力 ⇒ 結果 1(正例) ランダムフォレスト CVPR2015読み会 7 -1 1 -1 1 1 -1 -1 1 -1 1 -1 1 Ave 0.33
  8. 8. ランダムフォレスト? CVPR2015読み会 8 0 1 0 0 0 0 0 1 0 0 1 0 発想の転換 • ランダムフォレストってバイナリ特徴と重みの積和だよね -1 1 -1 1 1 -1 -1 1 -1 1 -1 1 Ave 0.33
  9. 9. ランダムフォレスト? CVPR2015読み会 9 0 1 0 0 0 0 0 1 0 0 1 0 発想の転換 • ランダムフォレストってバイナリ特徴と重みの積和だよね Q. 構造そのままで重みを変えるだけで精度上がるのでは?? -1 1 -1 1 1 -1 -1 1 -1 1 -1 1 Ave 0.33
  10. 10. ランダムフォレスト? CVPR2015読み会 10 0 1 0 0 0 0 0 1 0 0 1 0 発想の転換 • ランダムフォレストってバイナリ特徴と重みの積和だよね Q. 構造そのままで重みを変えるだけで精度上がるのでは?? A. そもそもこの問題解くのSVMでいいじゃん – 特徴量はスパースだから、liblinear使うとうまく解ける -1 1 -1 1 1 -1 -1 1 -1 1 -1 1 Ave 0.33
  11. 11. Global pruning • なんだか重みが小さな枝がある・・・ Q. 重みの小さな枝はどうする?? その後 CVPR2015読み会 11 -1 0 -2 3 0 0 -2 1 -1 3 -4 1
  12. 12. Global pruning • なんだか重みが小さな枝がある・・・ Q. 重みの小さな枝はどうする?? A. 重みのノルムが下位10%の枝は刈り取ってしまおう その後 CVPR2015読み会 12 -1 0 -2 3 0 0 -2 1 -1 3 -4 1 1 3.6 0 2.2 3.2 4.1
  13. 13. Global pruning • なんだか重みが小さな枝がある・・・ Q. 重みの小さな枝はどうする?? A. 重みのノルムが下位10%の枝は刈り取ってしまおう その後 CVPR2015読み会 13 -1 0 -2 3 0 0 -2 1 -1 3 -4 1 1 3.6 0 2.2 3.2 4.1
  14. 14. Global refinement of random forest 1. SVMを使って重みを再学習 2. 重みのノルムが下位10%の枝は刈り取る 3. 1と2を終了条件を満たすまで繰り返す 終了条件 A. 最もいい結果が得られたところで終了(Accurate) E. 元のランダムフォレストと同じ性能になったら終了(Economic) 提案手法まとめ CVPR2015読み会 14
  15. 15. 結果の簡単な例 CVPR2015読み会 15
  16. 16. 評価実験 実験1:ベンチマーク • MNISTなどのベンチマーク問題 • 分類5種類・回帰5種類 • 比較手法 – Alternating decision forest(ADF)[Schulter+, ICCV2013] 実験2:Kinect部位認識 • Kinectを使った20クラス分類問題 • 特徴量:2点間の差分特徴量 • 学習/テストデータ:デプス画像2000枚/500枚 実験3:顔年齢推定 • MORPH顔画像データセットで年齢を推定する回帰問題 • 特徴量:PCAで次元削減したLBP特徴量 • 学習/テストデータ: 顔画像10000枚/45134枚 CVPR2015読み会 16
  17. 17. 実験1:ベンチマークの詳細 CVPR2015読み会 17
  18. 18. 実験1:ベンチマークの結果 CVPR2015読み会 18 条件Aは高精度!・条件Eはコンパクト!
  19. 19. 実験2:Kinect部位認識の結果 CVPR2015読み会 19
  20. 20. 実験3:顔年齢推定の結果 • 作者の言い分 – [16]は顔特徴点検出したりしてtask-specificな手法だから高精度 – [6]と[15]はサブセットの結果だからちょっと違う CVPR2015読み会 20 [Hu+, ICB2013] [Chang+, CVPR2011] [Guo+, CVPR2011]
  21. 21. リファインメント前後の比較 CVPR2015読み会 21 before
  22. 22. リファインメント前後の比較 CVPR2015読み会 22 after
  23. 23. リファインメント前後の比較 CVPR2015読み会 23 after before
  24. 24. まとめ Global refinement of random forest • 何の研究? – ランダムフォレスト(分類・回帰) • 何したの? – 学習済ランダムフォレストのリファインメント手法を提案 • 提案手法は? – ランダムフォレストをSVMまたはSVRとして扱います – いらない枝を刈ります • どうなったの? – 高精度になりました – 超省メモリになりました – 速さは不明 CVPR2015読み会 24

×