Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Pythonで機械学習を自動化 auto sklearn

12,966 views

Published on

at PyLadies Tokyo 1st Anniversary party (2015.10.24)

Published in: Data & Analytics
  • Be the first to comment

Pythonで機械学習を自動化 auto sklearn

  1. 1. Pythonで機械学習を自動化 auto-sklearn 2015/10/24 PyLadies Tokyo 1st Anniversary Party Yukino Ikegami @_yukinoi
  2. 2. 自己紹介 • 名前: 池上 ゆきの • やってること: 自然言語処理・データマイニング • Python歴≒プログラミング歴 • ブログ – はてな: http://yukinoi.hatenablog.com/ – Qiita: http://qiita.com/yukinoi
  3. 3. 機械学習には…
  4. 4. いろんなアルゴリズムがある
  5. 5. いろんなハイパーパラメーターがある λ α β η C γ
  6. 6. いろんな組み合わせがある α β γ λ η C
  7. 7. 一番いいのを頼む!
  8. 8. そこで Auto ML
  9. 9. auto-sklearn 与えられたデータをもとに scikit-learn の中から • よさげな前処理選んで • よさげな学習アルゴリズム選んで • よさげなハイパーパラメーター選んで それらをアンサンブル
  10. 10. どんな風にやるの? 1. Meta learning で初期値を得る 2. よさげな前処理/アルゴリズム/パラメーターを 探索 3. よさげなものを束ねる (アンサンブル) From Feurer et al. 2015
  11. 11. Meta Learning • どの手法がどういうデータに向いているかを モデル化 – データ数、素性の数、データ数と素性数の比率、 – クラス数、欠損値の数、歪度、エントロピー, など OpenMLの140データセットから学習
  12. 12. よさげな組み合わせを見つける solverで探索 • 前処理/アルゴリズム/ハイパーパラメーター – SMAC • アンサンブル – runsolver
  13. 13. 実際に試してみた • 10分間探索 – https://github.com/ikegami- yukino/misc/blob/master/machinelearning/auto- sklearn/Example.ipynb – 学習用と検証用でデータを9 : 1に分割 • Accuracy – Iris: 1.0 – digits: 0.975
  14. 14. Vagrantで試せるようにしたよ! • https://github.com/ikegami- yukino/misc/tree/master/machinelearning/au to-sklearn
  15. 15. 結び • AutoMLの一手法としてauto-sklearnを紹介 • 伸びしろがある感じだけど未来っぽくてよい
  16. 16. くわしくはこちら • AutoML – http://www.automl.org/ • auto-sklearn – https://github.com/automl/auto-sklearn – http://aad.informatik.uni-freiburg.de/papers/15-AUTOML-AutoML.pdf • scikit-learn – http://scikit-learn.org/ • OpenML – http://www.openml.org/ • SMAC – http://www.cs.ubc.ca/labs/beta/Projects/SMAC/ – http://www.cs.ubc.ca/labs/beta/Projects/SMAC/papers/10-LION-TB- SPO.pdf • runsolver – http://jsat.ewi.tudelft.nl/content/volume7/JSAT7_12_Roussel.pdf

×