1. Jubatusの紹介
2011/12/17 @さくさくテキストマイニング
株式会社Preferred Infrastructure
海野 裕也 (@unnonouno)

2. ⾃自⼰己紹介
l 海野 裕也 (@unnonouno)
l unno/no/uno
l プリファードインフラストラクチャー (PFI)
l 研究開発部
l 検索索エンジンSedueの会社
l 専⾨門
l ⾃自然⾔言語処理理
l テキストマイニング
2

3. 今⽇日の内容
l Jubatusの宣伝をしに来ました :-)
l それ以上のはなしは有りません
l 読み⽅方は「ゆばたす」です
3

4. Big Data !
l データはこれからも増加し続ける
l 多いことより増えていくということが重要
l データ量量の変化に対応できるスケーラブルなシステムが求めら
れる
l データの種類は多様化
l 定形データのみならず、⾮非定形データも増加
l テキスト、⾏行行動履履歴、⾳音声、映像、信号
l ⽣生成される分野も多様化
l PC、モバイル、センサー、⾞車車、⼯工場、EC、病院
4

5. データを活⽤用する
STEP 1. ⼤大量量のデータを捨てずに蓄積できるようになってきた
STEP 2. データを分析することで、現状の把握、理理解ができる
STEP 3. 状況を理理解し、現状の改善、予測ができる
l 世の中的には、蓄積から把握、理理解に向かった段階
この本が実際 この⼈人は30代
本の購買情報 に売れている 男性なので、
を全て記録で のは意外にも この本を買う
きるように 30代のおっさ のではない
なった！ ん達だ！ か？
蓄積 理理解 予測
より深い解析へ
5

6. Jubatus
l NTT PF研とPreferred Infrastructureによる共同開発
10/27よりOSSで公開 http://jubat.us/
リアルタイム
ストリーム 分散並列列 深い解析
6

7. 開発の経緯（PFI側から⾒見見た）
l もともと機械学習が得意だった
l @hillbig （フェロー）
l 特にオンライン学習に関しては５年年前くらい（研究
室に⼀一緒にいた時）からずっと調べてた
l もともとHadoopが得意だった
l @kzk_mover （元CTO）
l ⽇日本Hadoopユーザー会
l Hadoopではできない⼤大規模データ解析をやろ
う！
7

8. Hadoopとは？
バッチ処理理の分散フレームワーク
l 中⾝身はGoogleのMap/Reduceの実装
l コモディティマシンを並べて並列列化
l Mahout/Hive/ZookeeperなどのHadoopファミ
リーを構成
8

9. Hadoopの特徴
l 速い！
l ⼤大量量のデータを⼀一気に処理理
l 分散する！
l ⾜足りなかったら継ぎ⾜足そう
l ロバスト！
l サーバーは壊れるもの
l 遅い
l 結果が帰ってくるまでの時間は遅い
9

10. 機械学習とは？
l ⼤大量量のデータから規則や傾向を解析、分析や予
測に活⽤用する
l データがある分野、どこでも活⽤用
l ⾃自然⾔言語処理理、パターン認識識、画像、⾳音声、etc.
l 研究ベースのOSSが多い
l libsvm/liblinear/Mallet/crf++/R
l すでに実⽤用化が進んでいる
l Gmailの重要ボタン（分類問題）、推薦システム（近傍探索索）、
バグの有無も予想できるらしいよ
10

11. オンライン学習は学習⼿手法の⽅方式の⼀一つ
l バッチ学習
l データを全体を⾒見見て重みを調整する
l 参考書を全部解いてから答え合わせ
学習器
l オンライン学習
l １つずつデータを⾒見見て重みの更更新を繰り返す
l ⼀一問ずつ解いて答え合わせ
学習器
11

12. 機械学習・オンライン学習の特徴
l 速い！
l データを受け取ったらすぐ学習
l 速い！
l ５年年前：学習１０時間、今：学習１０分
l 便便利利！
l ルール書くの疲れた
l 分散させる技術がない
12

13. 分散かつオンラインの機械学習
l 処理理が速い！
l 処理理の完了了を待つ時間が少ない
l ５分前のTV番組の影響を反映した広告推薦ができる
l ５分前の交通量量から渋滞をさけた経路路を提案できる
l ⼤大規模！
l 処理理が間に合わなくなったらスケールアウト
l ⽇日本全国からデータが集まる状態でも動かしたい
l 機械学習の深い分析！
l 単純なカウント以上の精度度を
13

14. こんなことができる？：リアルタイムレコメンド
⾖豆腐が健康にイイ
小売
ヨー 影響の予測
変化の検知
ユーザーの購買行動
広告配信
14

15. テキストマイニングとの関係
l Jubatus⾃自体は基盤よりの技術
l 分散フレームワーク
l 機械学習
l Hadoop + Mahoutくらいのレイヤー
l 具体的な解析⾃自体はその上に構築
l ⼤大規模リアルタイムにテキスト分析する⽤用途に
使えるかも
15

16. 技術の視点で⾒見見るとテキストマイニングは複合技術
アプリ
理論
⾃自然⾔言語 統計
処理理
機械学習
テキスト マイニング ⽂文字列列処理理
マイニング
Jubatus
はこの辺 分散
検索索
ストリーム 乱択
処理理 アルゴリズム
16

17. 機械学習のような⾼高度度な分析は必要なのか？
l 数を数える以上の処理理はいらないんじゃ
ない？
l すでに使われている
l レコメンド（近傍探索索）
l スパム分類（分類）
l 応⽤用範囲は広い
l ⾔言語、画像、⾳音声、センサー、etc.
17

18. 研究業界に⾒見見る機械学習と⾃自然⾔言語を振り返る
90年代 規則を人手でたくさん書く
正規表現、文法、コスト、重み
2000年前後 自然言語処理に機械学習登場
SVM, ME, CRF
00年代 機械学習を使わないほうがマイナー
Chasen、MeCabの成功
OSSにも深く浸透
研究者だけに使わせるのはもったいない
18

19. 機械学習ライブラリの敷居はまだ⾼高い
l libsvmフォーマット
l +1 1:1 3:1 8:1
l 何よこれ？ ←普通の⼈人の反応
l ハイパーパラメータ
l 「Cはいくつにしましたか？」
l Cってなんだよ・・・ ←普通の⼈人の反応
l 研究者向き、エンジニアが広く使えない
19

20. RDBやHadoopから学ぶべきこと
l わからない
l リレーショナル理理論論
l クエリオプティマイザ
l トランザクション処理理
l 分散計算モデル
l わかる
l SQL
l Map/Reduce
l 「あとは裏裏でよろしくやってくれるんでしょ？」
20

21. Jubatus裏裏の⽬目標
全ての⼈人に機械学習を！
l わからない
l オンライン凸最適化
l 事後確率率率最⼤大化
l MCMC、変分ベイズ
l 特徴抽出、カーネルトリック
l わかる
l ⾃自動分類、推薦
l 「あとはよろしくやってくれるんでしょ？」
21

22. ⽣生データを突っ込めば動くようにしたい
l Jubatusの⼊入⼒力力はキー・バリュー
l 最初は任意のJSONだった
l twitter APIの⽣生出⼒力力を⼊入⼒力力できるようにしたかった
l あとは勝⼿手に適当に処理理してくれる
l ⾔言語判定して
l 各キーが何を表すのか⾃自動で推定して
l 勝⼿手に適切切な特徴抽出を選ばせる
l （予定、まだできない）
22

23. 雰囲気だけ
l 典型的な特徴抽出は⽤用意しておく
l MeCabで分割して単語を特徴に
l ⽂文字Nグラムを特徴に
l 正規表現で部分⽂文字列列の切切り出し
l 弄弄るのは設定だけ
l お客さん先でコンパイルし直しとか⾟辛い・・・
l パッチを当ててもらうのはリスクが⾼高い
23

24. 使い⽅方のイメージ（分類）
key value
年年齢 28
ID unnonouno
男性！
コメント Jubatus動い
たー
プロ PFIで働いて
フィール ます
裏裏にある規則
PFI à 男性?
Jubatus à 男性?
24

25. インストールは⾯面倒くさいよ！
l Macなら
l port install jubatus
l でインストールできるようにしてくれた⽅方がいらっ
しゃいました
l Linuxなら
l ./waf configure & ./waf
l sudo ./waf install
l だいたいどこかでコンパイルエラー
25

26. 今後どうなる？
l 分類以外の機能追加
l 統計情報
l 回帰
l レコメンド
l 複数のプログラミング⾔言語から使える
l 今は、C++, Python, Ruby, PHP（外部の⽅方が作って
くれた）
l さらに、可視化？管理理画⾯面？
26

27. まとめ
l Jubatusとは何か？
l 分散基盤
l オンライン学習
l すべての⼈人に機械学習を
l 典型的な例例は設定だけで
l SQLより簡単に使えるといいね！
l 使いやすさはこれからです
27