Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17

Jubatusのリアルタイム分散レコメンデーション 2012/05/20@TokyoWebmining 株式会社Preferred Infrastructure 海野裕也 (@unnonouno)

⾃自⼰己紹介l  海野　裕也 (@unnonouno) l  unno/no/uno l  ㈱Preferred Infrastructure 研究開発部 l  検索索・レコメンドエンジンSedueの開発などl  専⾨門 l  ⾃自然⾔言語処理理 l  テキストマイニングl  Jubatusチームリーダー

今⽇日のお話l  Jubatusの紹介l  分散レコメンデーションについて#TokyoNLPではなした内容とだいたい同じですm(_ _)m

Jubatusの紹介

Big Data !l  データはこれからも増加し続ける l  多いことより増えていくということが重要 l  データ量量の変化に対応できるスケーラブルなシステムが求められるl  データの種類は多様化 l  定形データのみならず、⾮非定形データも増加 l  テキスト、⾏行行動履履歴、⾳音声、映像、信号l  ⽣生成される分野も多様化 l  PC、モバイル、センサー、⾞車車、⼯工場、EC、病院 5

データを活⽤用するSTEP 1. ⼤大量量のデータを捨てずに蓄積できるようになってきたSTEP 2. データを分析することで、現状の把握、理理解ができるSTEP 3. 状況を理理解し、現状の改善、予測ができるl 世の中的には、蓄積から把握、理理解に向かった段階この本が実際この⼈人は30代本の購買情報に売れている男性なので、を全て記録でのは意外にもこの本を買うきるように 30代のおっさのではないなった！ん達だ！か？蓄積理理解予測より深い解析へ 6

Jubatusl  NTT PF研とPreferred Infrastructureによる共同開発 10/27よりOSSで公開 http://jubat.us/ リアルタイムストリーム分散並列列深い解析 7

Jubatusの技術的な特徴分散かつオンラインの機械学習基盤l  オンライン学習をさらに分散化させるl  そのための通信プロトコル、計算モデル、死活監視、学習アルゴリズムなどの⾜足回りを提供する

分散かつオンラインの機械学習l  処理理が速い！ l  処理理の完了了を待つ時間が少ない l  ５分前のTV番組の影響を反映した広告推薦ができる l  ５分前の交通量量から渋滞をさけた経路路を提案できるl  ⼤大規模！ l  処理理が間に合わなくなったらスケールアウト l  ⽇日本全国からデータが集まる状態でも動かしたいl  機械学習の深い分析！ l  単純なカウント以上の精度度を 9

他の技術との⽐比較l  ⼤大規模バッチ（Hadoop & Mahout） l  並列列分散＋機械学習 l  リアルタイム性を確保するのは難しいl  オンライン学習ライブラリ l  リアルタイム＋機械学習 l  並列列分散化させるのはかなり⼤大変l  ストリーム処理理基盤、CEP l  並列列分散＋リアルタイム l  分散機械学習は難しい

今までにない技術、これからの技術l  欲張り l  今までのトレンドを全部取り込む l  制約が多く、実験も実装も難しいl  これからの技術 l  今すぐ実⽤用的になる部分、そうでない部分を含む l  最初の1⼈人になるなら今！l  新しい研究分野 l  研究テーマとしても⾯面⽩白い l  乗っかるなら今！

Jubatusの挑戦単なる機械学習ライブラリではなく、そこに必要なあらゆる技術を検討l  オンライン分散学習l  ⾮非構造データ、特徴抽出l  計算モデルl  分散システムl  RPCの抽象化メンバーも、機械学習、⾃自然⾔言語処理理、プログラミング⾔言語、分散システムなどを得意とする

「緩いモデル共有」による分散機械学習学習器l  みんな個別に⾃自学⾃自習l  たまに勉強会で情報交換l  ⼀一⼈人で勉強するより効率率率がいいはず！ 13

３種類の処理理に分解l  UPDATE l  データを受け取ってモデルを更更新（学習）するl  ANALYZE l  データを受け取って解析結果を返すl  MIX l  内部モデルを混ぜ合わせるl  cf. MAP / REDUCEl  分散機械学習を3操作だけでどこまで記述できるか？ 14

３つの処理理の例例：統計処理理の場合l  平均値を計算する⽅方法を考えようl  内部状態は今までの合計(sum)とデータの個数(count)l  UPDATE l  sum += x l  count += 1l  ANALYZE l  return (sum / count)l  MIX l  sum = sum1 + sum2 l  count = count1 + count2 15

世の中の機械学習ライブラリの敷居はまだ⾼高いl  libsvmフォーマット l  +1 1:1 3:1 8:1 l  何よこれ？　←普通の⼈人の反応 l  ⽣生データを扱えないl  ハイパーパラメータ l  「Cはいくつにしましたか？」 l  Cってなんだよ・・・　←普通の⼈人の反応 l  複雑な設定l  研究者向き、エンジニアが広く使えない 16

RDBやHadoopから学ぶべきことl  わからない l  リレーショナル理理論論 l  クエリオプティマイザ l  トランザクション処理理 l  分散計算モデルl  わかる l  SQL l  Map/Reduce l  「あとは裏裏でよろしくやってくれるんでしょ？」 17

Jubatus裏裏の⽬目標全ての⼈人に機械学習を！l  わからない l  オンライン凸最適化 l  事後確率率率最⼤大化 l  MCMC、変分ベイズ l  特徴抽出、カーネルトリックl  わかる l  ⾃自動分類、推薦 l  「あとはよろしくやってくれるんでしょ？」 18

⽣生データを突っ込めば動くようにしたいl  Jubatusの⼊入⼒力力はキー・バリュー l  最初は任意のJSONだった l  twitter APIの⽣生出⼒力力を⼊入⼒力力できるようにしたかったl  あとは勝⼿手に適当に処理理してくれる l  ⾔言語判定して l  各キーが何を表すのか⾃自動で推定して l  勝⼿手に適切切な特徴抽出を選ばせる l  というようなことができるようになるかもl  特徴抽出エンジンのプラグイン化 l  様々な特徴関数をダウンロードして⾃自由に組み合わせたい 19

Remote Procedure Call (RPC) も抽象化l  mprpc-idlからクライアントコードを⾃自動⽣生成！ l  IDL (Interface Definition Language) でプロトコルを記述 l  各⾔言語⽤用の通信ライブラリはIDLを元に⾃自動⽣生成mprpc-idlを使う通常 Ruby Python Java Ruby Python Java Rubyラ Pythonラ JavaライRubyラ Pythonラ Javaライイブラリイブラリブラリイブラリイブラリブラリ IDLによる仕様 RPCの仕様 IDLから⾃自動⽣生成される

新機能：分散レコメンド

レコメンデーションとは何か？l  記事や商品のおすすめ機能 l  この記事に類似した記事はこの記事です l  この商品を買った⼈人はこの商品も買っていますl  技術的には「近傍探索索」を使っている

近傍探索索とは何か？登録されたデータの中から、クエリに近いものを探すl  データ：D={d1, d2, …, dn}l  クエリ：ql  類似度度関数fに対して、f(d, q)の⼤大きいk件を求めなさい l  fはコサイン類似度度やJaccard係数などクエリ q この辺が類似！

何も考えずに近傍探索索しようl  全データに対して類似度度を計算して上位を返せばOKinput: xfor d in all data: score[d] = sim(x, d)sort scorereturn top-K elements of score

近傍探索索の技術的課題l  実⾏行行時間 l  単純な実装だと、データ点のサイズに⽐比例例した時間がかかるl  消費メモリ l  すべてのオリジナルデータを保持するとデータが膨⼤大になる上記2点と精度度とのトレードオフ

準備：よくある類似度度尺度度l  コサイン類似度度 l  ２つのベクトルの余弦 l  cos(θ(x, y)) = xTy / |x||y|l  Jaccard係数 l  ２つの集合の積集合と和集合のサイズの⽐比 l  Jacc(X, Y) = |X∩Y|/|X∪Y| l  ビットベクトル間の距離離と思うことができる

近傍探索索アルゴリズムl  転置インデックスl  Locality Sensitive Hashing (simhash)l  minhashl  アンカーグラフ

転置インデックスl  疎⾏行行列列と疎ベクトルの内積を計算するl  転置インデックスを⽤用意すると効率率率的に計算できる全要素で類似度度を計算すると⼤大変要素のある列列だけ計算する・・・・・・

Locality Sensitive Hashing (LSH)l  ランダムなベクトル r を作るl  このときベクトルx, yに対してxTrとyTrの正負が⼀一致する確率率率はおよそ cos(θ(x, y))l  ランダムベクトルをk個に増やして正負の⼀一致率率率を数えれば、だいたいコサイン距離離になるl  ベクトルxに対して、ランダムベクトル{r1, …, rk}との内積の正負を計算 H(x) = {sign(xTr1), …, sign(xTrk)} l  signは正なら1、負なら0を返す関数l  H(x)だけ保存すればよいので１データ当たりkビット

絵でわかるLSHl  正負が⼀一致というのは、ランダムな平⾯面の同じ側に来るということl  この確率率率は1 – θ(x, y)/π ≒ cos(θ(x, y))平⾯面が⼀一つのランダムベクトルに対応ランダムな平⾯面が２点間を横切切る確率率率はθ/π

Jaccard係数l  集合の類似度度を図る関数 l  値を0, 1しか取らないベクトルだと思えばOKl  Jacc(X, Y) = |X∩Y| / |X∪Y|例例l  X = {1, 2, 4, 6, 7}l  Y = {1, 3, 5, 6}l  X∩Y = {1, 6}l  X∪Y = {1, 2, 3, 4, 5, 6, 7}l  Jacc(X, Y) = 2/7

minhashl  X = { x1, x2, …, xn } l  Xは集合なので、感覚的には⾮非ゼロ要素のインデックスのことl  H(X) = { h(x1), …, h(xn) }l  m(X) = argmin(H(X))l  m(X) = m(Y)となる確率率率はJacc(X, Y)に⼀一致 l  ハッシュ関数を複数⽤用意したとき、m(X)=m(Y)となる回数を数えるとJacc(X, Y)に収束するl  m(X)の最下位ビットだけ保持すると、衝突の危険が⾼高まる代わりにハッシュ関数を増やせる [Li+10a, Li+10b]

絵でわかるminhashl  ハッシュ値の最⼩小値が⼀一致するのは、X∪Yの全要素中でハッシュ値が最⼩小となる要素が、X∩Yに含まれるとき全体で最⼩小 X Y

重み付きJaccard係数l  各集合の要素のidfのような重みをつけるl  wJacc(X, Y) = Σ i∈X∩Y wi / Σ i∈X∪Y wi l  wiが常に1なら先と同じ例例l  X = {1, 2, 4, 6, 7}l  Y = {1, 3, 5, 6}l  w = (2, 3, 1, 4, 5, 2, 3)l  X∩Y = {1, 6}l  X∪Y = {1, 2, 3, 4, 5, 6, 7}l  wJacc(X, Y) = (2+2)/(2+3+1+4+5+2+3)=4/20

重み付きJaccard版minhash [Chum+08]l  X = { x1, x2, …, xn }l  H(X) = {h(x1)/w1, …, h(xn)/wn} l  論論⽂文中では-log(h(x))としている l  差分はwiで割っているところ l  感覚的にはwiが⼤大きければ、ハッシュ値が⼩小さくなりやすいので、選ばれる確率率率が⼤大きくなるl  m(X) = argmin(H(X))l  m(X) = m(Y)となる確率率率はwJacc(X, Y)に⼀一致

アンカーグラフ [Liu+11]l  予めアンカーを定めておくl  各データは近いアンカーだけ覚える l  アンカーはハブ空港のようなものl  まず類似アンカーを探して、その周辺だけ探せばOK アンカー

それぞれのアルゴリズムをオンライン化・・・できるか？Jubatusのポイントはオンライン学習！近傍探索索のオンライン化とは？l  データ集合Dに新しいデータdを追加・変更更できるl  追加したら、直ちにL(d, q)の⼩小さいdを求められる

更更新の分散のさせ⽅方l  IDごとに同じノードに⾏行行くように分散させるl  更更新情報はmixのタイミングで他のノードに通知 1~100 101~200 CHT (Consistent Hashing) 201~300

転置インデックスの分散化l  新規の差分を分散してMIXのタイミングで更更新するl  全サーバーがデータを保持するため容量量の点では分散化できない差分1~100 サーバー1 サバー2 差分101~200 サーバー3 差分201~300 MIX!!

ビット⾏行行列列の分散化l  LSHとminhashのデータはbit⾏行行列列l  転置インデックスとやることは同じだが容量量が⼩小さい差分1~100 サーバー1 サバー2 差分101~200 サーバー3 差分201~300 MIX!!

アンカーグラフの分散化？l  類似アンカーの情報しか残ってないため、データの⼀一部を更更新するのが困難 l  オリジナルデータを持っておけばよい？l  実装・デバッグはかなり激しい l  うまく⾏行行っているのかどうかわかりにくい

現在の実装l  転置インデックスとLSHが公開されているl  minhashは特許問題で調整中l  アンカーグラフはうまく分散させるに⾄至らず

こんなことができる？：リアルタイムレコメンド⾖豆腐が健康にイイヨー⼩小売影響の予測変化の検知ユーザーの購買⾏行行動広告配信 43

まとめl  Jubatusは総合格闘技 l  MIX操作による緩い同期計算モデル l  ⾮非構造データを扱うための特徴抽出 l  IDLからのクライアントコード⾃自動⽣生成l  レコメンドの４⼿手法 l  転置インデックス l  Locality Sensitive Hashing (simhash) l  minhash l  アンカーグラフ l  現在は前者２つを公開

参考⽂文献l  [Chum+08] Ondrej Chum, James Philbin, Andrew Zisserman. Near Duplicate Image Detection: min-Hash and tf-idf Weighting. BMVC 2008.l  [Li+10a] Ping Li, Arnd Christian Konig. b-Bit Minwise Hashing. WWW 2008.l  [Li+10b] Ping Li, Arnd Christian Konig, Wenhao Gui. b-Bit Minwise Hashing for Estimating Three-Way Similarities. NIPS 2008.l  [Liu+11] Wei Liu, Jun Wang, Sanjiv Kumar, Shin-Fu Chang. Hashing with Graphs. ICML 2011.

http://blog.jubat.us	5630
http://d.hatena.ne.jp	2597
http://tech.nifty.co.jp	286
http://2023884025454259159_72fe9922d69be86dcda13bb0adbe886583a5d5ad.blogspot.com	161
https://twitter.com	83
http://webcache.googleusercontent.com	12
https://si0.twimg.com	12
http://2023884025454259159_72fe9922d69be86dcda13bb0adbe886583a5d5ad.blogspot.jp	7
https://twimg0-a.akamaihd.net	5
http://tweetedtimes.com	3
http://us-w1.rockmelt.com	3
http://translate.googleusercontent.com	2
http://a0.twimg.com	1
http://honyaku.yahoofs.jp	1

Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17

by Yuya Unno on May 19, 2012

Accessibility

Upload Details

Usage Rights

14 Embeds 8,803

Statistics

Jubatusのリアルタイム分散レコメンデーション@TokyoWebmining#17 Presentation Transcript