Jubatusが目指すインテリジェンス基盤
Upcoming SlideShare
Loading in...5
×
 

Jubatusが目指すインテリジェンス基盤

on

  • 3,142 views

IEICEソサエティ大会2013 "知的環境を実現するビッグデータ解析と通信行動分析"セッションでの講演内容です。

IEICEソサエティ大会2013 "知的環境を実現するビッグデータ解析と通信行動分析"セッションでの講演内容です。

Statistics

Views

Total Views
3,142
Views on SlideShare
3,112
Embed Views
30

Actions

Likes
11
Downloads
41
Comments
0

2 Embeds 30

https://twitter.com 24
http://soutatsu2.ciu.canon.co.jp 6

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

Jubatusが目指すインテリジェンス基盤 Jubatusが目指すインテリジェンス基盤 Presentation Transcript

  •   Jubatusが⽬目指す インテリジェンス基盤 比戸 将平 株式会社Preferred  Infrastructure
  • l  NTT  SIC*とPreferred  Infrastructureによる共同開発 l  2011年年10⽉月よりOSSで公開  http://jubat.us/ Jubatus 分散並列列 リアルタイム 深い解析 *  NTT研究所  サイバーコミュニケーション研究所   ソフトウェアイノベーションセンタ
  • l  会社紹介 l  ビッグデータ解析の実情 l  Jubatusが提供する⾼高度度な解析機能 l  分散リアルタイム機械学習の仕組み l  Jubatusの未来 Agenda
  • Preferred Infrastructure (PFI)   最先端の技術を最短路路で実⽤用化 4 分散システム ⾃自然⾔言語処理理 機械学習 情報検索索(IR) l  東⼤大発ソフトウェア開発ベンチャー l  創業:2006年年3⽉月 l  主な製品 l  Sedue: 検索索&レコメンドエンジン l  Bazil: 使いやすい機械学習解析サービス l  Jubatus: ⼤大規模オンライン分散機械学習 代表取締役 ⻄西川徹 取締役副社⻑⾧長 岡野原⼤大輔
  • メンバーの特徵: 各分野で尖った⼈人材を集めています l  正社員26⼈人中22⼈人がエンジニア/研究者 l  ⾃自然⾔言語処理理/機械学習/計算量量理理論論/データマイニングの博⼠士 l  Ex-‐‑‒  Sony  IBM基礎研  Yahoo!  Sun  アクセンチュア  mixi  GREE l  IPA未踏プロジェクト採択者  5名 l  ICPC世界⼤大会⽇日本代表7名、ICFPコンテスト優勝者 l  TopCoder  RedCoder  3名  (⽇日本⼈人25名)   l  コミュニティ活動や著書・訳書 l  ⽇日本Hadoopユーザー会⽴立立ち上げ,  ⾃自然⾔言語処理理若若⼿手の会委員⻑⾧長 l  Hadoop本、⽇日本語⼊入⼒力力本,  Haskell本,  ⾼高速⽂文字列列解析本 l  各種表彰 l  東⼤大総⻑⾧長賞、京⼤大総⻑⾧長賞、未踏スーパークリエータ(2名) l  情報処理理学会ソフトウェアジャパンアワード2013(代表・⻄西川) 5
  • l  会社紹介 l  ビッグデータ解析の実情 l  Jubatusが提供する⾼高度度な解析機能 l  分散リアルタイム機械学習の仕組み l  Jubatusの未来 Agenda
  • ビッグデータの例例 7 l  テキスト系   l  新聞/Web/ブログ/Twitter l  イベント系列列 l  カード利利⽤用/治療療履履歴/Web広告履履歴 l  メディア系   l  ⾳音声/画像/動画 l  ネットワーク系 l  パケット流流量量/種類/内容 l  M2Mセンサー系   l  ヒト/⾞車車/⼯工場監視 ⼈人間系 機械系
  • Volume Variety Velocity 蓄積 分析 ビッグデータ分析プロセス 8 Complex Event Processing Hadoop NoSQL バイオ テキスト M2M メディア
  • データ分析から深い解析へ 9 分析 ⾒見見える化集計 検索索 ルール処理理 SQL DWH BI CEP M/RCQL 深い 解析 カテゴリ分類 レコメンド 異異常検知 予測 機械学習 (Machine Learning)
  • ビッグデータ 解析 データ アナリティクス ビ グ デ ー タ ビッグデータ分析の現状:ブラックボックス? 10 応⽤用 利利益最⼤大化 コスト最⼩小化 需要予測 故障予知 営業戦略略最適化 パーソナライズ マーケ最適化 データ サイエンティスト
  • ビ グ デ ー タ ビッグデータ処理理系と解析ソフトウェアの組合せ 11 データサイエンティスト ビッグデータ処理理系 応⽤用 利利益最⼤大化 コスト最⼩小化 需要予測 故障予知 営業戦略略最適化 パーソナライズ マーケ最適化 ⼤大規模DB 解析ソフトウェア
  • ビッグデータ分析の導⼊入:まだまだこれから l  IBMの2012年年調査 l  24%がまだビッグデータ活⽤用について調査段階 l  47%がビッグデータ活⽤用⽅方法について検討段階 l  わずか6%が導⼊入してビジネス価値を⽣生み出している l  浸透の途中 or 現在のビッグデータ解析に⽋欠けているものがある? IBM Institute of Business Value “Analytics: The real-world use of big data”, 2013
  • これからのビッグデータ解析技術:3つのキー要素 1.  機械学習などの深い解析技術 l  決まりきったレポーティングやルール処理理では不不⼗十分 l  因果関係分析や状況に応じた予測・判断が重要 2.  ⼤大規模データへの対応 l  DBに保存して貯めることが難しいデータ量量 l  DBから再度度読み込んで処理理することが難しいデータ量量 3.  リアルタイム/オンライン処理理 l  迅速な分析と対応が必要なアプリケーションの出現 l  データ取得時点でストリーム処理理することが必要 深い解析 ⼤大規模化 リアルタイム /オンライン
  • なぜJubatusが必要なのか l  既存の分散並列列処理理  (MapReduce/Hadoopなど) l  スケールアウト構成による性能向上、耐障害性 l  基本的にバッチ処理理、解析結果はすぐ返ってこない l  計算モデルの⾃自由度度が⾼高い分オーバーヘッドも⼤大きい l  既存のオンライン  /  ストリーム処理理  (CEPなど) l  到着したデータをその場で処理理して解析し、結果を出⼒力力する l  多くは単純な処理理しか⾏行行えない 14 1. ⼤大規模化 3. 深い解析 2. リアルタイム/オンライン ◯ ✕ ✕
  • 15 WEKA     1993-‐‑‒ SVM  light            1998-‐‑‒ Mahout          2006-‐‑‒ Jubatusの先進性と差別化要因: ⼤大規模/分散並列列かつオンライン/リアルタイム バッチ ⼩小規模 単体 ⼤大規模 分散並列列 2011年年現在 存在しなかった この分野に フォーカス! • Structured  Perceptron [Collins,  EMNLP  2002] • Passive  Aggressive  / MIRA  2004〜~ • online-‐‑‒learning  library   [岡野原,  2008] オンライン (リアルタイム)
  • 代表的なビッグデータ処理理基盤:Google中⼼心 分散処理理 基盤 GFS/MapReduce  (Hadoop)   [Google  2004] 分散ファイルシステム  +  MapReduce フレームワーク Chubby  (Zookeeper) [Google  2006] 分散ロックサーバー,   分散システムの調整役 DB/データ ストア BigTable  (HBase)   [Google  2006] スケールアウト可能な列列志向のKVS Dynamo   [Amazon  2007] ⾼高可⽤用性、スケールアウト可能な  KVS MegaStore   [Google  2011] トランザクション機能付きKVS OLAP/分析   ツール Hive [Facebook  2009] SQL経由で利利⽤用可能なHadoop Dremel  (Apache  Drill)   [Google  2010] OLAP向け,  列列志向  +  スタースキーマ PowerDrill [Google  2012] OLAP向け  列列志向  +  スタースキーマ  +   圧縮  +  オンメモリ …OSS,  サービスでは未登場 Spanner [Google  2012] データセンター間の⼀一貫性制御 数百万台のマシンを制御
  • l  会社紹介 l  ビッグデータ解析の実情 l  Jubatusが提供する⾼高度度な解析機能 l  分散リアルタイム機械学習の仕組み l  Jubatusの未来 Agenda
  • 機械学習の概要 l  機械学習研究の定義 l  「経験(データ)によって 賢くなるアルゴリズムの研究」 l  古典的な統計⼿手法に⽐比べた特徵 l  確率率率分布の仮定などの制限が少ない l  ⼤大規模・⾼高次元データにも有効 l  主な問題設定 l  カテゴリ分類/回帰 l  クラスタリング(グルーピング) l  レコメンド/異異常検知 l  近傍探索索ベース 18 Dimensionality Reduction by Learning an Invariant Mapping Raia Hadsell, Sumit Chopra, Yann LeCun, CVPR, 2006 学習データ 分類モデル
  • Jubatusが現在サポートする機械学習アルゴリズム l  分類(+マルチクラス対応) l  Perceptron / PA / CW / AROW / NHERD l  回帰 l  PA-based regression l  近傍探索索 l  LSH / MinHash / Euclid LSH l  レコメンデーション l  近傍探索索ベース l  外れ値検知 l  近傍探索索ベースのLOFアルゴリズム l  グラフ解析 l  最短路路/ 中⼼心性(PageRank)
  • クラス分類と回帰 l  ⼊入⼒力力xに対し、出⼒力力yを推定する l  正解データ{(x, y)}を利利⽤用しxからyの関数を学習 20 タスク ⼊入⼒力力x 出⼒力力y メール分類 メール スパム or 普通 or 重要等 Twitterのユーザー分析 Tweet ユーザーの性別、職業、年年齢など 電気使⽤用料料需要の予測 パケット 各サーバーの予測使⽤用量量(連続値) 広告のコンバージョン予測 アクセス履履 歴、広告 クリック、コンバージョンするか 監視カメラ解析 監視カメラ 画像 部屋の状態(明かりがついている? ⼈人がいるか?など)
  • 機械学習の応⽤用 21 クレジットカード不不正利利⽤用検知 ネットワーク攻撃/侵⼊入検出 Jeopardy!でクイズ王に勝利利 医療療診断⽀支援
  • Jubatusのビジネス展開:Twitter解析サービス l  NTT DataがTwitter Japanと独占契約 l  Firehoseを通じた全ての⽇日本語Tweetの再販 l  Jubatusを使った解析機能付きAPIがリリース予定 22 http://blog.jp.twitter.com/2012/09/twitter.html
 http://www.nttdata.com/jp/ja/news/release/2012/092700.html
  • Jubatusの展開:NEDO IT融合基盤技術に採⽤用 l  ⾼高速化と多様なデータ対応を⽬目指して来年年度度まで開発 l  都市交通・農商⼯工・ヘルスケア分野の実証プロジェクトと連携 23 データ量 開発計画 ⼈人間が⽣生み出した ビッグデータ +⾃自然か機械が⽣生成 +シビアなリアルタイム性の要求 テキスト ヘルスケア 農商⼯工 ネットワーク 都市交通 公共映像監視 NEDO: IT融合新産業を⽀支えるデータ処理理基盤に関する先導研究 「リアルタイム⼤大規模データ解析処理理基盤の研究開発」
  • Jubatus応⽤用の可能性:都市交通分野 l  ⾏行行動推薦エンジン・危険運転挙動検知   l  類似ユーザーの挙動からのレコメンデーション l  正常運転状況との差分を外れ値検知 l  リアルタイム交通情報(位置・カメラ)による渋滞把握、危険通知 l   交差点付近のカメラ情報からの状況分類・外れ値検知 l  パーソナルモビリティの状況に合わせた広告等配信サービス   l  ユーザー情報と位置情報の組合せによるレコメンデーション l  路路側センサやプローブ情報との協調、近接⾞車車同⼠士による情報交換   l  ⾞車車毎にJubatusが動作してローカル状況推定モデル共有 l  センサーでの歩⾏行行者流流動分析、環境情報によるユーザ状況センシ ング   l  画像解析から歩⾏行行者流流量量のロケーション別回帰や分類 24
  • Jubatus応⽤用の可能性:ヘルスケア分野 l  画像、病理理センサを使ったがん診断⽀支援 l  画像処理理と病理理センサ情報を組み合わせたがん進⾏行行度度分類 l  MRIなど画像解析を使った⽀支援   l  画像処理理の時系列列情報も⽤用いた症例例分類⽀支援・治療療レコメンド l  ⼿手術適応診断⽀支援 l  症例例分類・治療療の必要有無レコメンド l  異異常所⾒見見診断⽀支援 l  ⼈人間が気づかない症状を画像・センサから外れ値検知   25
  • 26 •  ⾮非構造化データのサポート •  ビッグデータに特化し リアルタイム性を追求 •  検索索技術と機械学習の融合 ⾮非構造データ、インタラクティブ性: 検索索が再び重要技術として脚光を浴びる可能性
  • Overview 27 On-‐‑‒Disk Instance On-‐‑‒Memory Instance Fluentd Realtime  Analysis  Server JubatusData  Source Web  Server +  Visualization  Tool  Kit
  • l  検索索技術と機械学習の融合 l  機械学習により⼤大量量のデータを⾃自動的に分類 l  検索索結果へのメタ情報付与やフィルタリングに活⽤用 l  ⾮非構造化データのまま格納しリアルタイムに検索索 l  ⼤大規模かつ⾮非構造化なデータもリアルタイムに処理理 l  ⾼高速な処理理でリアルタイム性を追求 l  新しいデータが登録されたら、即座に⾃自動分類、分析、検索索 l  最新の情報をもとに、分析・解析を⾏行行うことが可能に 28 リアルタイム⼤大規模⾮非構造データ分析基盤
  • ケーススタディー 〜~防犯カメラの映像を解析〜~ 29 具合の悪い⼈人や 困っている⼈人を⾃自動検出 特定場⾯面の検索索 収集・分析 タグ付け タグ付け タグ付け タグ付け タグ付け
  • l  機械学習を利利⽤用した動画像の⼈人物検出およびタグ付け l  複数カメラからタグ付きデータを時々刻々と Sedue  for  BigDataへ投⼊入し、検索索・分析可能に 動画像検索索・分析技術への取り組み 30 男性 歩いている ジーンズ 2013/08/15
 12:08:30.200
  • l  会社紹介 l  ビッグデータ解析の実情 l  Jubatusが提供する⾼高度度な解析機能 l  分散リアルタイム機械学習の仕組み l  Jubatusの未来 Agenda
  • 機械学習における「モデル」の定義 l  計算式とパラメータの集合 l  その表現⽅方法はタスクやアルゴリズムによって千差万別 l  例例:線形分類モデル  y = a x + b l  学習:教師データ(正解が分かっているもの)を加えると賢くなる l  計算式は固定だがパラメータを調整する l  学習の例例:  (y =+1, x=+2)という教師データを⼊入⼒力力 → a x + b = 2a + b が  y > 0 となるように  aとbを更更新 l  予測:テストデータ(正解が判らないもの)を与えると結果を返す l  予測の例例:(x = -5)というテストデータを⼊入⼒力力 → y’ = a x + b = -5a + b を予測値として出⼒力力 Model 学習 テスト データx 正解y Model データx 予測y’
  • 多クラス分類におけるモデル w1 w2 wn 多クラス分類では個々のサーバーが持つウェイトが 学習結果のモデルにあたる 33
  • 近傍探索索におけるモデル l 近傍探索索では転置インデックス・LSH・Min Hashを⽤用いてデータ 点をビット列列化したものが学習モデルである。 011010010 110001100 110010111 000100101 110101011 000010110 1 2 3 4 5 6 34
  • 分散リアルタイム機械学習は⾃自明でない 頻繁な モデル更更新 同期操作 オンライン機械学習 に必須 分散アルゴリズム に必須 相反 LLLL LLLL L Update LLL Update Update Update time オンラインでモデル更更新=頻繁な同期操作 サーバー1 サーバー2 サーバー3 分散処理理とオンライン 学習のナイーブに組み合わせ
  • 分散オンライン機械学習を実現するコア技術: 緩やかなモデル情報の共有 l  Jubatusは各サーバーのモデル情報を「緩やか」に共有する l  データ⾃自体は共有せず、モデルのみ共有する l  既存システムと違う割り切切り l  全サーバー間で同時刻に同じモデルが存在することは保証しない l  サーバー毎に解析が(実⽤用上問題が無い程度度に)異異なることを許容 l  時間が経つにつれ、モデル間の情報は共有されていく モデルモデルモデル 統合 モデル 統合 モデル 統合 モデル MIX モデルのみ共有 UPDATE データを分散して学習 ANALYZE 分散して処理理
  • UPDATE l  それぞれのサーバーは初期モデルからスタート l  訓練データは1  or  2台のサーバーに送られる l  ローカルな訓練データを元に、各々のモデルがリアルタイムに学 習される l  訓練データそのものは共有されない Local model 1 Local model 2 Initial model Initial model 37
  • MIX l  それぞれのサーバーはモデルの差分のみを送る l  モデルの差分はマージ後各サーバーに配布される l  モデルの差分のみがサーバー間でやり取りされる Local model 1 Local model 2 Mixed model Mixed model Initial model Initial model = = Model diff 1 Model diff 2 Initial model Initial model - - Model diff 1 Model diff 2 Merged diff Merged diff Merged diff + + = = = + 38
  • ANALYZE l  テストデータはランダムにサーバーに送られる l  サーバーは⾃自分が現在持つモデルをテストデータに適⽤用し予測を⾏行行 う l  サーバー側では結果の集約は⾏行行わない Mixed model Mixed model 39
  • JubatusのMIX付き分類モデル w1 w2 wn MIX w w w w = 1 n w1 ++ wn( ) 各サーバーが個別にオンライン学習し MIX時に重みを平均化する 40
  • JubatusのMIX付き近傍探索索モデル •  転置インデックス・LSH・Min Hashを⽤用いてデータ点をビット 列列化。ビット列列のハミング距離離を⽤用いてコサイン距離離を近似計算 する。 011010010 110001100 110010111 000100101 110101011 000010110 1 2 3 4 5 6 011010010 000010110 1 6 : 011010010 000010110 1 6 : 011010010 000010110 1 6 : Mix 41
  • l  会社紹介 l  ビッグデータ解析の実情 l  Jubatusが提供する⾼高度度な解析機能 l  分散リアルタイム機械学習の仕組み l  Jubatusの未来 Agenda
  • ビッグデータの⾏行行き着く先:Edge-heavy そのデータ、集められますか?貯められますか? 43 【次世台シーケンサー】    ゲノムデータなど 【⽣生体情報モニター】    ⼼心拍数、⾎血圧、体温など 【モバイル】 ⾳音声データ、位置情報、 メールのテキスト情報など       【監視カメラ】 動画、静⽌止画などの 画像データ       丸山宏, 岡野原大輔 Edge-Heavy Data: CPS・ビッグデータ・クラウド・スマホがもたらす次世代アーキテクチャ GICTF総会 特別講演 2012, http://www.gictf.jp/doc/20120709GICTF.pdf
  • Edge-Heavy Data: データ価値の多くはエッジ(縁)に存在する 44 l センサデータの増加により、データの総価値は増加する l その⼀一⽅方、データの価値の密度度⾃自体は下がりつつある l  現在のビッグデータの殆どは排気データ(exhaust  data) ※排気データ:他の事業活動の副産物として⽣生成されたデータ l 多くのデータが収集されるが利利⽤用されない l 利利⽤用を⾒見見込んで投機的に収集しても割に合わない l 解析することは割に合わない場合が多い l  コスト:ネットワーク,  ストレージ,  個⼈人情報管理理 推測:多くのデータは収集された地点で管理理、処理理され       濃縮された重要な情報(モデル)のみがやりとりされる
  • ネットワーク・デバイス・マシンはより⾼高度度化し ⾃自律律的に深い分析を⾏行行う必要が⽣生じる 機械(特にエッジデバイス)によって⽣生成 される⼤大量量のデータは、⾃自律律分散的に処理理 される他なくなるだろう。
  • Edge-Heavy Dataに向けて(1) Jubatus on OpenBlocks (ARMプロセッサ) 46 http://obdnmagazine.blogspot.jp/2012/11/jubatusopenblocks-ax3_21.html
  • Edge-Heavy Dataに向けて(2) ハードウェアの⾮非連続的な進化のギャップを活かす l  通信規格 l  近距離離無線ネットワーク l  ZigBee l  最新センサーデバイス l  低価格カメラ l  LIDAR l  マルチコア・マルチプロセッサ l  次世代FPGA l  GPGPU l  統計処理理・数値計算に向いたCUDAプログラミング l  インテル® Xeon Phi l  x86互換のコプロセッサ
  • Edge-‐‑‒Heavy  Data時代のコンピューティング 今後Edge-‐‑‒Heavy  Dataに特化したアーキテクチャが現れる (現在のHWの進化をどう活⽤用していくか) 1. SSD、消費電⼒力力、ストリーミングデータを考慮したセンサ 2. 画像・映像処理理を組み込んだハードウェア・ミドルウェア 3. データを動かさず計算を動かすプログラミングモデル l  GFS  +  MapReduceはその萌芽であるが、さらに進化するだろう 4. ⽋欠測値、外れ値、分布表現を取り込んだプログラミングモデル 5. 分散機械学習・データマイニングを可能にするミドルウェア l  明⽇日に関連講演があります BI-4-1  Krill: エッジ・ヘビー・データ時代のアーキテクチャ ○丸⼭山(統数研)岡野原・⽐比⼾戸・海野・久保⽥田(PFI) 48
  • ビッグデータ時代のインテリジェンス基盤に向けて l  データ中⼼心社会 l  「ビッグデータ」「データサイエンティスト」「情報爆発」 などの⾔言葉葉が滅びてもその本質は変わらない l  エッジヘビーになると様々な分野が関係してくる l  センサーネット、⾃自律律分散処理理、P2P、ユビキタス、アンビエント l  HW/NWの進化に寄り添う解析SW基盤 l  例例:SSDの登場による検索索インデクスの最適化 l  垂直統合プロジェクトの重要性 l  HW/NW/SWの研究者・⺠民間企業が⼿手を合わせること l  海外の動き: l  Google、IBM、Oracle、Intel + 解析ベンチャー l  電⼦子情報通信学会はその⺟母体として⾮非常に相応しいのではないか