Deep forest
•Download as PPTX, PDF•
33 likes•13,142 views
https://arxiv.org/pdf/1702.08835.pdfを解説しました
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Viewers also liked (12)
Deep forest
- 2. • 森山 直人（もりやま なおと） • もともと中国国籍 ⇒ 帰化(国籍変更)して日本人に • 趣味でpythonを始める（仕事はエンジニアではない） • 勢いでディープラーニング始める（自然言語） • 趣味でKaggleやってます
- 4. 今日話すこと Deep forestという論文が界隈で注目され、論文に込められ た並々ならぬ情熱に感銘を受け、 （論文通りに動くのなら）機械学習界隈に大きなインパクト をもたらす可能性を感じた Deep Forest:Towards An Alternative to Deep Neural Networks https://arxiv.org/pdf/1702.08835.pdf
- 5. 論文のサマリ ニューラルネットと同等な計算精度を持つアンサンブル決定 木モデルを用いて、ニューラルネットの代替えを提案 • パラメータ調整の簡易化がもたらす計算速度 • GPUリソースを必要としない低リソース • 木構造の性質である簡易な並列化 • 小規模なデータから効率よく学習可能
- 7. 事前知識-ニューラルネットワーク 入力層 中間層 出力層 中間層（隠れ層）をもつ全結合の有向グラフ ■強み • 単調な非線形表現を積み重なることで、 複雑な非線形表現（合成関数）を獲得 • パターン認識問題が得意 ■弱み • 現在のデータだけでなく、過去の情報が必要な 問題は苦手 • 初期に学習された情報は忘れてしまう
- 8. ニューラルネットのココがだめ • 大量なデータがないと精度が出ない • ↑このデータを作るコストが高い • 大量な計算資源を要する • パラメータが多く、そのチューニングが大変 • 人の手を介さずに特徴を抽出できるのが利点と言われるが、 実際のところかなり細かいチューニングが必要 • 論理的な理解が難しい
- 9. gcForestのココが素晴らしい ※gcForestは本論文が提案するアンサンブル決定木モデル • 少量なデータで学習できる • パラメータが少なく、チューニングが簡易 • CPUのみのgcForestとGPUありのニューラルネットの 計算速度が互角 • 論理解析が簡単
- 11. gcForestの概念 • gcForestはmulti-Grained Cascade forestの略 • Cascadeはこんなイメージ 上流から下流へたくさんの段を構 成し情報が流れる 写真では不変な水が流れるが、本 モデルでは段ごとにそれぞれ計算 がなされる http://www.geocities.jp/emkj20002000/newpage53.htmlより引用
- 18. まとめ • 決定木ベースのアンサンブル学習であるランダムフォレ ストを更に多層（段）で構築したgcForestを紹介した • 著者のニューラルネットへの代替えに対する情熱が凄ま じく、理論的に可能であることも感覚的に理解できる • 利便性と低リソース観点から、XGBoostに次ぐ学習器と して期待できそう（個人感） • PythonかRで実装できたらKaggleで流行ると思われる