マップアールが考える企業システムにおける分析プラットフォームの進化 - 2014/06/27 Data Scientist Summit 2014

®
© 2014 MapR Technologies 1
®
© 2014 MapR Technologies
マップアールが考える企業システムにおける
分析プラットフォームの進化
草薙昭彦
MapR Technologies

®
本⽇日のトピック
•  業界のトレンド
–  How・Why・Why Now
•  2つの利利⽤用例例
–  機械学習と検索索技術
–  リアルタイム分析
•  エンタープライズ・データプラットフォーム

®
© 2014 MapR Technologies 3®
業界のトレンド

®
Google トレンド: ゆっくりな Explosion

®
なぜ今なのか？
•  ムーアの法則は⻑⾧長い間有効であった
•  なぜ Hadoop は今流流⾏行行しているのか？
•  なぜ10年年前ではなく？
•  なぜ20年年前ではなく？

®
さらに質問
•  なぜ⼤大きな会社も⼩小さな会社も？
–  巨⼤大銀⾏行行も社員1名のスタートアップも
•  なぜいろいろな業界で？
–  ⾦金金融、Web、製造、セキュリティ・・・
•  なぜいろいろなアプリケーションで？
–  広告ターゲティング、不不正検知、機器故障予測・・・
•  それもほぼ同じタイミングで！

®
ありがちな回答
より⼤大量量のデータが、より急速に⽣生成される
データサイズが最⼤大容量量の1台のコンピュータにも収まりきらなくなる
データの⽣生成や格納に必要なコストが下がり続けている
これは正しい回答ではありません

®
分析のスケーリングの法則
•  分析のスケーリングの法則は、80:20 ルールに従う
–  はじめはわずかな努⼒力力で⼤大きな成果が得られる
–  ところが急激にリターンが減っていく
•  トータルの価値は、必要なコストがどれだけスケールするかに
かかっている
–  これまで – 指数関数的なスケーリング
–  Big Data – リニアなスケーリング、傾きも緩やか
•  コスト性能⽐比は根本的に変わった
–  ただし、コモディティハードウェアを使うことができれば

®
2,0000 500 1000 1500
1
0
0.25
0.5
0.75
Scale
Value
そんなの知ってた
それは知っておく
べきだった
そいつは知らなかった！
ご冗談を・・そんなのあり得るの？

®
2,0000 500 1000 1500
1
0
0.25
0.5
0.75
Scale
Value
⽬目が付いてれば誰でも
表計算ソフトを使うインターン
社内分析チーム
業界全体の共同データ研究
国家安全保障局

®
2,0000 500 1000 1500
1
0
0.25
0.5
0.75
Scale
Value
2,0000 500 1000 1500
1
0
0.25
0.5
0.75
Scale
Value
トータルの価値の最適条件は、
⼗十分な分析をする以前に尖った
ピークを持つ曲線になる

®
2,0000 500 1000 1500
1
0
0.25
0.5
0.75
Scale
Value
しかし、コストのスケール
の法則によっては傾きと形
が変わっていく

®
2,0000 500 1000 1500
1
0
0.25
0.5
0.75
Scale
Value
変化が⽬目に⾒見見えてくる

®
2,0000 500 1000 1500
1
0
0.25
0.5
0.75
Scale
Value
これはかなり違う

®
2,0000 500 1000 1500
1
0
0.25
0.5
0.75
Scale
Value

®
2,0000 500 1000 1500
1
0
0.25
0.5
0.75
Scale
Value
はじめは、リニアなコスト
スケーリングは逆効果
ティッピングポイントに達す
ると、急激に状況は改善する…

®
トレンドの変化の必要条件
•  ティッピングポイントに到達するには
•  アルゴリズムが⽔水平にスケールすること
–  コモディティハードウェアが前提
–  障害は必ず起きるという想定
•  データの扱い⽅方が変化すること
–  データの⾮非正規化が基本になる
–  データ構造定義がフレキシブルでなくてはならない
–  きれいに構造化されたデータは少なくなる
•  ⼈人件費もリニアであること

®
2 つの利利⽤用例例

®
機械学習とレコメンデーション

®

®
機械学習アルゴリズムとその実装
•  もっとシンプルで、コスト効果が⾼高いものを・・・
A1 A2
!
"
#
$
T
A1 A2
!
"
#
$=
A1
T
A2
T
!
"
%
%
#
$
&
&
A1 A2
!
"
#
$
=
A1
T
A1 A1
T
A2
AT
2A1 AT
2A2
!
"
%
%
#
$
&
&
r1
r2
!
"
%
%
#
$
&
&
=
A1
T
A1 A1
T
A2
AT
2A1 AT
2A2
!
"
%
%
#
$
&
&
h1
h2
!
"
%
%
#
$
&
&
r1 = A1
T
A1 A1
T
A2
!
"%
#
$&
h1
h2
!
"
%
%
#
$
&
&O(κ k d + k3 d) = O(k2 d log n +
k3 d) for small k, high quality
O(κ d log k) or O(d log κ log k)
for larger k, looser quality

®
履履歴マトリクス: ユーザー対アイテム
アリス
ボブ
チャールズ
✔ ✔ ✔
✔ ✔
✔ ✔

®
共起マトリクス: アイテム対アイテム
-
1
2

1
1

1

1

2
1

0

0

0
0

あるアイテムを購⼊入したときに、⼀一緒に
購⼊入されやすいものが求められる
この共起データを検索索エンジンのイン
デックスとして実装するとどうなるか？

®
SolR
Indexer
SolR
Indexer
Solr イン
デックス⽣生成
共起データ計算
(Mahout)
アイテム
メタデータインデックス
全期間の
購⼊入履履歴
データ
オフライン処理理

®
SolR
Indexer
SolR
Indexer
Solr
検索索
Web
サーバ
アイテム
メタデータインデックス
ユーザーの
直近の
購⼊入履履歴
テキスト検索索のスコアリングと
レコメンデーションのスコアリングは
数学的にほとんど同じ
オンライン処理理

®
機械学習と検索索エンジンまとめ
•  レコメンデーションは最も幅広く活⽤用されている
機械学習のアプリケーション
•  ⾼高い効果を上げるにはシンプルにすることが最も重要
•  機械学習エンジンと検索索エンジンを統合して扱う環境
•  データが増えた場合のスケーラビリティ

®
リアルタイム分析の課題
機械学習は、ふつうはバッチ処理理
直前の情報が反映されない
変化地点の検知を
すぐに⾏行行うことができない
現在のオンラインツールは、
バッチ処理理システムとうまく
連携していない

®
t
現在
Hadoop はあまりリアルタイムではない
未処理理のデータ
処理理済み直近の分析
対象期間
Hadoop ジョブは
対象データの処
理理にこれだけ必要

®
t
現在
Hadoop でここまでは
うまく動作する
Storm の
使いどころ
リアルタイム分析と⻑⾧長期分析をいっしょに
Blended viewBlended view分析の統合

®
ツール
•  オンライン集計
–  ユニークセット、カウント、平均値、分散、中央値、トップ40
•  オンラインクラスタリング
–  データ記述をコンパクトに
–  変化点の検知に
•  オンライン Bayesian Bandits
–  設計の最適化に
–  メタモデリングに

®
StormKafka
Twitter
Twitter API
TweetLogger
Kafka
ClusterKafka ClusterKafka
クラスタ
Kafka
API
Web サービス⽤用 NAS
Web データ
Hadoop
Flume
HDFS データ

®
Twitter
Twitter
API
Catcher Storm
トピック
キュー
Web サーバ
http
Web データ
TweetLogger

®
リアルタイム学習まとめ
•  統合プラットフォームを利利⽤用することでシステムをシンプルに
•  リアルタイム学習は、直近の変化を反映できる
•  バッチ学習は、より深く包括的な分析ができる
•  2つの組み合わせで、さらなる競争上の優位性を得られる

®
エンタープライズ・
データプラットフォーム

®
•  データ展開
•  保管
•  データ変換
•  データ検索索
•  ストリーミング,
インタラクション
ビジネスの成功に向けた鍵
Hadoop はエンタープライズシステムの苦痛を取り
除く
業務システム分析システム
社内ユーザー
信頼性と災害対策1
相互運⽤用性2
⾼高い性能3
4
業務と分析の
両⽅方をサポート
4

®
Advertising
Automation
Cloud!
Sellers
Cloud!
Buyers!
Cloud!
2,000億
⼀一⽇日あたり
広告オークション

®
2,000万
曲

®
4,500万
⼀一ヶ⽉月あたり分析対象
フォーチュン100⼩小売⼤大⼿手
買い物客

®
世界最⼤大のバイオメトリックデータベース
PEOPLE
12億
⼈人

®
エンタープライズ・データアーキテクチャの変⾰革の
好機
重複する処理理システム、部⾨門毎の構築の取り組みから…

®
®
⾼高信頼なエンタープライズデータハブ
… 業務と分析ワークロードの統合へ

®
Hadoop に関する総合情報：Hadoop Times
http://www.hadoop-times.com/

®
Q&A
@mapr_japan maprjapan
sales-jp@mapr.com
お問い合わせはこちらまで
MapR
maprtech
mapr-technologies

マップアールが考える企業システムにおける分析プラットフォームの進化 - 2014/06/27 Data Scientist Summit 2014

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to マップアールが考える企業システムにおける分析プラットフォームの進化 - 2014/06/27 Data Scientist Summit 2014

Similar to マップアールが考える企業システムにおける分析プラットフォームの進化 - 2014/06/27 Data Scientist Summit 2014 (20)

More from MapR Technologies Japan

More from MapR Technologies Japan (12)

Recently uploaded

Recently uploaded (10)

マップアールが考える企業システムにおける分析プラットフォームの進化 - 2014/06/27 Data Scientist Summit 2014