機械学習とJubatus

3,134 views
2,939 views

Published on

Published in: Technology
0 Comments
10 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
3,134
On SlideShare
0
From Embeds
0
Number of Embeds
886
Actions
Shares
0
Downloads
25
Comments
0
Likes
10
Embeds 0
No embeds

No notes for slide

機械学習とJubatus

  1. 1. 機械学習と jubatus IPROS 2013/04/09 株式会社イプロス 山口隼也 @junya10013年4月10日水曜日
  2. 2. 機械学習 とは?13年4月10日水曜日
  3. 3. 人間が自然に行っている学習能力 と同様の機能をコンピュータで実 現しようとする技術・手法のこと by wikipedia13年4月10日水曜日
  4. 4. 機械学習とは、 人間では到底処理できない 膨大なデータを元に 学習&判断を行ってくれる 仕組み!13年4月10日水曜日
  5. 5. これで何ができるのか?13年4月10日水曜日
  6. 6. ・予測(不良検知、株価予測…) ・分類(スパム検出、Gmail優先フォル ダ、カテゴリ付与、DNA配列…) ・パターン認識(音声認識、文字認識…) ・検索エンジン(ランクアルゴリズム) ・レコメンドエンジン ・機械翻訳 ・ロボット ・・・13年4月10日水曜日
  7. 7. 機械学習システムは、 どういうものがあるのか?13年4月10日水曜日
  8. 8. 最も有名なのは、 Apache Mahout13年4月10日水曜日
  9. 9. Mahoutは、既に旧世代の MLエンジンと言われている13年4月10日水曜日
  10. 10. では、 最新のMLエンジンとは? (第3世代機械学習)13年4月10日水曜日
  11. 11. 1. リアルタイム 2. 深い解析 3. 分散処理 これらを同時に満たす! ※Mahoutは3のみ。13年4月10日水曜日
  12. 12. ○BSP(Bulk Synchronous Parallel)ベース Google Pregel Apache Hama Apache Giraph ○Iterative MRベース Spark HaLoop Twister Piccolo13年4月10日水曜日
  13. 13. BSP、MR、IterativeMR の関係性 出展元:http://sssslide.com/www.slideshare.net/doryokujin/largescale-graph-processingintroduction13年4月10日水曜日
  14. 14. 本命は、 Jubatus13年4月10日水曜日
  15. 15. Jubatusとは、 NTTとPFIが共同開発した オープンソースの MLフレームワーク13年4月10日水曜日
  16. 16. 機械学習の基本 (教師データありの分類の場合) 教師データ 機械学習 特徴抽出 文書 (ベクトル化) 分類 実データ ベクトル 分類器 モデル13年4月10日水曜日
  17. 17. リアルタイムのオ 大規模データでも ンライン機械学習 スケール可能 (パーセプトロ ン、PA・・・) モデルの一部を 共有するだけ で、全体の精度 を保つ センサー (Jubatus クライアント) Jubatusサーバ モデル13年4月10日水曜日
  18. 18. Demo 製品の自動カテゴリ付け13年4月10日水曜日
  19. 19. ■jubatusとmecabのインストール $ brew tap jubatus/jubatus $ brew install --HEAD pficommon $ brew install --HEAD re2 $ brew install mecab $ brew install jubatus ※注意 brewでインストールすると以下のようにre2が無効になってしまうし、 mecabが入らないので $ ./waf configure --prefix=/usr/local/Cellar/jubatus/0.4.2 --disable-re2 以下のコマンドを自分で打つ $ ./waf configure --prefix=/usr/local/Cellar/jubatus/0.4.2 --enable-mecab $ ./waf build $ ./waf install ■ipadicも忘れずにインストール $ ./configure --with-mecab-config= /usr/local/Cellar/mecab/0.994/bin/mecab-config --with-charset=utf8 $ make $ sudo make install ■jubatusクライアントのインストール $ sudo pip install jubatus13年4月10日水曜日
  20. 20. ■jubatusサーバとして、分類器(jubaclassifier)を起動 $ jubaclassifier --configpath config.json ■config.jsonの設定 { "method": "PA", "converter": { "string_filter_types": {}, "string_filter_rules": [], "num_filter_types": {}, "num_filter_rules": [], "string_types": { "mecab": { "method": "dynamic", "function": "create", "path": "/usr/local/Cellar/jubatus/0.4.2/ lib/jubatus/plugin/libmecab_splitter.dylib"} }, "string_rules": [ { "key": "*", "type": "mecab", "sample_weight": "tf", "global_weight": "idf" } ], "num_types": {}, "num_rules": [] }, "parameter": {} }13年4月10日水曜日

×