機械学習とJubatus
Upcoming SlideShare
Loading in...5
×
 

機械学習とJubatus

on

  • 2,765 views

 

Statistics

Views

Total Views
2,765
Views on SlideShare
2,009
Embed Views
756

Actions

Likes
10
Downloads
24
Comments
0

5 Embeds 756

http://ipros-creators.tumblr.com 740
https://twitter.com 12
http://app.imcreator.com 2
https://www.google.co.jp 1
http://www.google.co.jp 1

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

機械学習とJubatus 機械学習とJubatus Presentation Transcript

  • 機械学習と jubatus IPROS 2013/04/09 株式会社イプロス 山口隼也 @junya10013年4月10日水曜日
  • 機械学習 とは?13年4月10日水曜日
  • 人間が自然に行っている学習能力 と同様の機能をコンピュータで実 現しようとする技術・手法のこと by wikipedia13年4月10日水曜日
  • 機械学習とは、 人間では到底処理できない 膨大なデータを元に 学習&判断を行ってくれる 仕組み!13年4月10日水曜日
  • これで何ができるのか?13年4月10日水曜日
  • ・予測(不良検知、株価予測…) ・分類(スパム検出、Gmail優先フォル ダ、カテゴリ付与、DNA配列…) ・パターン認識(音声認識、文字認識…) ・検索エンジン(ランクアルゴリズム) ・レコメンドエンジン ・機械翻訳 ・ロボット ・・・13年4月10日水曜日
  • 機械学習システムは、 どういうものがあるのか?13年4月10日水曜日
  • 最も有名なのは、 Apache Mahout13年4月10日水曜日
  • Mahoutは、既に旧世代の MLエンジンと言われている13年4月10日水曜日
  • では、 最新のMLエンジンとは? (第3世代機械学習)13年4月10日水曜日
  • 1. リアルタイム 2. 深い解析 3. 分散処理 これらを同時に満たす! ※Mahoutは3のみ。13年4月10日水曜日
  • ○BSP(Bulk Synchronous Parallel)ベース Google Pregel Apache Hama Apache Giraph ○Iterative MRベース Spark HaLoop Twister Piccolo13年4月10日水曜日
  • BSP、MR、IterativeMR の関係性 出展元:http://sssslide.com/www.slideshare.net/doryokujin/largescale-graph-processingintroduction13年4月10日水曜日
  • 本命は、 Jubatus13年4月10日水曜日
  • Jubatusとは、 NTTとPFIが共同開発した オープンソースの MLフレームワーク13年4月10日水曜日
  • 機械学習の基本 (教師データありの分類の場合) 教師データ 機械学習 特徴抽出 文書 (ベクトル化) 分類 実データ ベクトル 分類器 モデル13年4月10日水曜日
  • リアルタイムのオ 大規模データでも ンライン機械学習 スケール可能 (パーセプトロ ン、PA・・・) モデルの一部を 共有するだけ で、全体の精度 を保つ センサー (Jubatus クライアント) Jubatusサーバ モデル13年4月10日水曜日
  • Demo 製品の自動カテゴリ付け13年4月10日水曜日
  • ■jubatusとmecabのインストール $ brew tap jubatus/jubatus $ brew install --HEAD pficommon $ brew install --HEAD re2 $ brew install mecab $ brew install jubatus ※注意 brewでインストールすると以下のようにre2が無効になってしまうし、 mecabが入らないので $ ./waf configure --prefix=/usr/local/Cellar/jubatus/0.4.2 --disable-re2 以下のコマンドを自分で打つ $ ./waf configure --prefix=/usr/local/Cellar/jubatus/0.4.2 --enable-mecab $ ./waf build $ ./waf install ■ipadicも忘れずにインストール $ ./configure --with-mecab-config= /usr/local/Cellar/mecab/0.994/bin/mecab-config --with-charset=utf8 $ make $ sudo make install ■jubatusクライアントのインストール $ sudo pip install jubatus13年4月10日水曜日
  • ■jubatusサーバとして、分類器(jubaclassifier)を起動 $ jubaclassifier --configpath config.json ■config.jsonの設定 { "method": "PA", "converter": { "string_filter_types": {}, "string_filter_rules": [], "num_filter_types": {}, "num_filter_rules": [], "string_types": { "mecab": { "method": "dynamic", "function": "create", "path": "/usr/local/Cellar/jubatus/0.4.2/ lib/jubatus/plugin/libmecab_splitter.dylib"} }, "string_rules": [ { "key": "*", "type": "mecab", "sample_weight": "tf", "global_weight": "idf" } ], "num_types": {}, "num_rules": [] }, "parameter": {} }13年4月10日水曜日