[db tech showcase Tokyo 2014] D25: 今を分析する日立の「CEP」、知るなら今でしょ！ by 株式会社日立製作所村上順一

© Hitachi, Ltd. 2014. All rights reserved.
今を分析する日立の『CEP』、知るなら今でしょ！
2014/11/12
株式会社日立製作所
情報・通信システム社
ITプラットフォーム事業本部
村上順一

CEP（Complex Event Processing）って何？
何が新しくて、どこでどう使われているの？
といった疑問を解決します。
そして、貴社における
データ処理方式の選択肢のひとつ
に加えてもらいたい。
０-１本セッションの要約
2

１．CEPとは？
２．技術的な特長とその原理
３．どこでどう使われているのか？～適用事例
４．まとめ～技術活用のアプローチ
Contents
3

１．CEPとは？
4
Contents

１-１ビッグデータの時代（モノ・ヒト・コト）
通話ログ
電力メーター
カーナビ
つぶやき
コンテンツダウンロード
ＳＮＳ
ネット購入
業務処理
監視映像
Big Data
ヒト
モノ
環境・気象データ
設備監視
ＧＰＳ
動画・画像・音声
スマートフォン
診断画像・
電子カルテ
物流トレース
運行情報
ＩＣカード利用
人の移動
コト
サービス
5

Data B
１-２ Intelligence～ﾋﾞｯｸﾞﾃﾞｰﾀから価値ある情報を抽出①
1つの値ではなく、値の変化に意味がある
■ 逐次発生し続けるデータから、価値ある情報を抽出
■ 意味ある「値の集合」を分析することで価値ある情報を抽出
■ 統計分析、傾向分析、相関分析など、分析方法はさまざま
Data A
Data C
時刻
発生データ
6

Data B
Data A
Data C
時刻
発生データ
＜例＞傾向分析
予兆検知
１-３ Intelligence～ﾋﾞｯｸﾞﾃﾞｰﾀから価値ある情報を抽出②
7

Data B
Data A
Data C
時刻
発生データ
＜例＞軌跡分析
動線
軌跡
１-４ Intelligence～ﾋﾞｯｸﾞﾃﾞｰﾀから価値ある情報を抽出③
8

Data B
Data A
Data C
時刻
発生データ
＜例＞相関分析
外れ値
１-５ Intelligence～ﾋﾞｯｸﾞﾃﾞｰﾀから価値ある情報を抽出④
9

顧客行動指向マーケティング
流通分野
金融分野
証券取引サービス
ITシステム保守運用サービス
保守分野
交通状況モニタリング
交通分野
通信状況分析サービス
通信分野
設備省電力サービス
電力分野
医療分野
オーダーメイド医療
行政分野
世論（SNS）分析、意思決定支援
モノ
ヒト
１-６ Intelligence×Speedが生み出す新ビジネス
10

１．ストリームデータ処理技術（CEP）とは？
11
Contents

２-１ CEP基盤の動作原理
12
取引情報
売上データ商品データ
事業活動
情報
DB操作で
集計・分析
ストック型データ処理(従来DBMS)
デ
ータ
DB DB
データをDBにストック(蓄積)してから，
データを集計・分析する。
一括処理データ保存必要
操作ログ
POSデータ RFID
センサデータ
実世界データ
データが発生する度に，
逐次，データを集計・分析する。
リアルタイム処理データ保存不要
リアルタイム
集計・分析
リアルタイム
表示
フロー型データ処理(CEP)
複合イベント処理
データの
量と質の変化
データ発生時にリアルタイムに処理するフロー型データ処理

事前登録
稼動情報
通信データ
ICカード
運行データ
ネットワーク
入力情報
分析シナリオ
分析結果
ダッシュボード
(見える化)
結果ファイル
uCosminexus Stream Data Platform
株a,15
CEP基盤
株a,1
株b,2
株a 計15
株b 計6
株a,1
株b,2
株a,4
株b,6
株a,9
株a,3
株b,4
株a,5
株a,6
２-２ CEP基盤の要素技術とその価値
Intelligence×Speedを実現するデータ処理基盤
■ ウィンドウ演算により、時系列データの分析を簡単に実現
■ インメモリ差分計算により、超高速処理を実現
■ 分析シナリオは、SQLを拡張したCQLで記述
出力情報
日立の
CEP基盤
13

時系列
データ
100
99
2
1
0
101
102
スライディング･ウィンドウで切り取られた処理対象の時系列データ
■ スライディング・ウィンドウの種類
・データの数（ＲＯＷＳ）例：直近の100取引分を対象にする
・時間（ＲＡＮＧＥ）例：直近3分間分を対象にする
・グループ分け（ＰＡＲＴＩＴＩＯＮ）) 例：各銘柄の最新5取引分を対象にする
■ スライディング・ウィンドウにより、時系列データの分析範囲を定義
■ 分析に必要なデータだけを抽出することで、データ処理を効率化
■ 分析シナリオに複数種のスライディングウィンドウを提供
無限に続く時系列データを効率よく処理
14
２-３ウィンドウ演算

株価指数の計算処理の例
A社，xxx円，xxx株
B社，xxx円，xxx株
C社，xxx円，xxx株
：
xxxxx
時価総額
株価，株式数
A社，yyy円，yyy株
B社，xxx円，xxx株
C社，xxx円，xxx株
：
yyyyy
A社，xxx円，xxx株
xxxxx
A社，yyy円，yyy株
－
＋
分析対象データ、中間計算結果はメモリ中に保持
変化のあった株価のみを演算
スライディング・ウインドウ
スライディング・ウインドウ
■ インメモリデータ処理により、ディスクI/Oを排除
■ 中間結果を利用した差分計算により、大量データ処理時の負荷を軽減
■ 分析対象のデータ数に依存しない、一定の計算量で処理を実現
圧倒的な超高速処理を実現
15
２-４インメモリ差分計算

IStream(
Select id, Sum(val) as S
From str [Rows 3]
Group by id)
…ストリーム化演算
CQLの例
選択、結合
集合演算など
ストリーム化演算
時系列
データ
中間結果
入力・出力
■ SQLを拡張した言語であるため、習得は容易
■ ウィンドウ演算により時系列データの分析範囲を定め、関係演算を実行
■ アプリケーションの個別開発と比較して、開発効率を大幅に向上
幅広い業務に対応可能なクエリ言語を提供
…ウィンドウ演算
処理モデル
リレーション
ウィンドウ演算
関係演算
16
２-５クエリ言語CQL（Continuous Query Language）

17
Contents

顧客行動指向マーケティング
流通分野
金融分野
証券取引サービス
ITシステム保守運用サービス
保守分野
交通状況モニタリング
交通分野
通信状況分析サービス
通信分野
設備省電力サービス
電力分野
医療分野
オーダーメイド医療
行政分野
世論（SNS）分析、意思決定支援
モノ
ヒト
３-１ Intelligence×Speedが生み出す新ビジネス
18

相場
ユーザ
システム
入力AP
電文受信/
フィルタ処理
電文組立/
配信処理
株価株価
指数
処理性能
スループット 8,000件/秒以上
レイテンシ
10ミリ秒以下
（1～10ミリ秒）
従来サービス指数高速配信
配信間隔 1秒毎
指数構成銘柄の
値段の変化毎
指数高速配信システム
CEP基盤出力AP
指数計算処理
集計・分析
シナリオ
参考：2011年2月22日付弊社ニュースリリース「東京証券取引所の指数高速配信サービスが開始～世界最高水準、TOPIXをミリ秒レベルで配信～」
http://www.hitachi.co.jp/New/cnews/month/2011/02/0222.html
処理時間を「秒」から「ミリ秒」に
■ 算出処理の高速化により、サービスレベルを大幅に向上
■ 分析シナリオの柔軟性確保により、システム運用コストを低減
３-２ <事例> 株価指数算出配信サービスモノ
19

大量のWebアクセスをリアルタイムに見える化
３-３ <事例> Webサービス稼動状況モニタリングモノ
20
応答時間
現在の値
時間
しきい値
検知
外れ値検知
（予兆検知）
SLOしきい値
ベースライン
正常範囲
（ベースラインから
算出）
リアルタイム監視画面
ホーム画面
過去の情報（ベースライン）と比較して
いつもと違う傾向を検知（外れ値検知）
しきい値検知より早く
予兆の検知が可能 SLO : Service Level Objective
統合システム運用管理
JP1/IT Service Level Management
■ 運用者の視点でWebサービスの稼動状況をモニタリング
■ 「いつもと違う」をリアルタイムに検出し、障害発生を未然に防止

交通管制センタ
スマートフォンプローブ
プローブカー
タクシープローブ
GIS
Database
車載GPS
Walking Bike Vehicle
(1)
交通渋滞
推定
(3)
パーソン
トリップ推定
(2)
交通量
推定
プローブ
解析
1234
3456
2345
4567
1234
3456
12hr total
24hr total
123
234
3456
4567
3456
7890
(2) 交通量
[Position, Time]
[Position, Time]
交通局員のユーザインタフェースイメージ
(1) 交通渋滞
(3) パーソントリップ
・・
・・・・・
・・・・
・・
・・
・
・
・
・・
・・・
・
・
・
・・・・
・
・
・
・・
・・・・・
・・
・・
・・・・・・・・・
・
・
・・
・・・・・
・・
・・・
・・・・・
・・・・・
・・・
・
・
・
・・
・
・
・・・
・
・・
・・・・
・
・・・
・
・・
監視カメラ
(4) 監視カメラ
スマホGPS
「時刻×緯度×経度」から新たな価値を創出
■ ｶｰﾅﾋﾞ、ｽﾏｰﾄﾌｫﾝ、ｶﾒﾗが高性能なｾﾝｻｰに早変わり
■ 各センサー毎に進行速度や方向を算出し、「流れ」を分析
３-４ <事例> プローブデータ活用の方向性モノ
21

車両位置情報から道路の混雑状況を分析
車両位置情報
CEP基盤
分析シナリオ
速度計算
走行方向計算
密度計算
渋滞検出
事故検出
車両ＩＤ（緯度,経度）
渋滞情報
赤：低速
黄：中速
緑：高速
始点：一つ前の位置
終点：最新の位置
各車両走行状況渋滞・事故検知
この位置で
渋滞・事故が発生
事故情報
Ⓒ2008 Google
Ⓒ2008 Zenrin
■ 各車両の進行速度や方向を算出し、リアルタイム表示
■ 周辺車両の状況により、渋滞や事故の発生を検出
３-５ <事例> 交通状況リアルタイムモニタリングモノ
22

プロアクティブな空調制御により省電力を実現
■ 無線ｾﾝｻｰがﾃﾞｰﾀｾﾝﾀｰのきめ細かな環境ﾃﾞｰﾀを逐次収集
■ 設置場所や吸排気温度の相関分析により、空調制御を最適化
分析1
相関/
傾向分析
判定
分析シナリオ
事前登録
分析2
データセンターレイアウトの表示
サーバ別詳細情報の表示
サーバ室温状況のモニタリング
熱溜り検知・アラーム通知
熱溜りのイベント
パトライトによるアラーム
熱溜り
冷気不足による
熱の回り込み
日立センサーネット情報システム
AirSenseⅡ
吸気温度と
排気温度の
相関分析
室温上昇の
傾向分析
CEP基盤
サーバ室
無線通信による
サーバ室温情報の
逐次収集
室温情報を表示したいサーバをクリック
３-６ <事例> データセンターの空調制御最適化モノ
23

ゾーン B
Food Court
ゾーン C
Home
Furnishing
s
コンテンツ
DB
端末情報
DB
ゾーン A
Fashions
CEP基盤
Mail
サーバ
端末利用
者の趣味・
嗜好情報
ゾーン内滞留検知により
コンテンツを配信
通過移動のため
ゾーン内滞留を未検知
ゾーン毎の
コンテンツ
情報
ヒトの動線や嗜好に合わせた広告コンテンツをPush配信
■ 携帯端末から収集した位置情報をリアルタイムに分析
■ 動線（滞留、再訪、軌跡）に合わせた広告配信により売上向上
３-７ <事例> リアルタイム広告コンテンツ配信ヒト
24

社員の声
アンケート､在席情報…
設備情報
室温､湿度､騒音､電力量…
外部情報
気象情報、災害情報…
快適とecoの実現
設備制御の最適化
社員のecoマインド醸成
設備×ITによる「快適とeco」の両立（実証実験中）
■ モノとヒトの情報を収集・分析し、現場に即座にフィードバック
■ 設備制御にﾋﾄの情報（活動効率/ｽｹｼﾞｭｰﾙ/過去実績）をﾌﾟﾗｽ
３-８ <事例> 日立・横浜事業所「快適ecoﾌﾟﾛｼﾞｪｸﾄ」ヒト
電力使用量の予実績と
従業員の快適度（活動効率）を
リアルタイムに表示
従業員の快適度に
合わせて空調を制御
（例：冷やし過ぎない）
25

・人の流れ
・通行頻度
・滞留箇所
・・・
・性別
・年齢層
・・・
・コミュニケーション
・組織の活性度
・グループの見える化
・・・
買い周りしやすい
スムーズに動ける
役立つ情報が
タイムリーに
やってくる
スムーズで
気持ちのいい
接客
商品が見やすい
手に取りやすい
入りやすい店構え
欲しいものが
そこにある
「流れ」の見える化「関係」の見える化「属性」の見える化
30代
男性
移動中
20代
女性
移動中
ヒトの動きを「見える化」し、心地良いサービスや環境を提供
３-９ <事例> ヒトの情報活用の可能性ヒト
26

27
Contents

通話ログ
電力メーター
カーナビ
つぶやき
コンテンツダウンロード
ＳＮＳ
ネット購入
業務処理
監視映像
Big Data
ヒト
モノ
環境・気象データ
設備監視
ＧＰＳ
動画・画像・音声
スマートフォン
診断画像・
電子カルテ
物流トレース
運行情報
ＩＣカード利用
人の移動
コト
サービス
CEP（Complex Event Processing）
『今』を分析する技術
IoT（Internet of Things）とM2M（Machine to Machine）
いつでもどこでも早く便利に！
Intelligence
ビッグデータから価値ある情報を抽出！
Speed
ビジネススピードが競争力の源！
28
４-１まとめ

データ活用の
ビジョン
生まれる価値
の明確化
価値創出の
実現性の目途
Output
ビジネス価値
ビジョン実現に向けた
プロセス・ＫＰＩの設定
ビジョンに対する
成果の確認
Milestone
ビジョンの実現
YES
分析手法検証支援
システム検証支援
シナリオ検証支援
事業モデル化
システム構築
運用サポート
仮説立案
Output
Output
Output
YES
実用化検証
活用シナリオ策定
ビジョン構築
システム導入
４-２ビッグデータ活用のためのプロセス
仮説立案とビジョン実現のプロセス
29

CEP（Complex Event Processing）って何？
何が新しくて、どこでどう使われているの？
といった疑問を解決します。
そして、貴社における
データ処理方式の選択肢のひとつ
に加えてもらいたい。
４-３さいごに
30
ご清聴ありがとうございました。

[db tech showcase Tokyo 2014] D25: 今を分析する日立の「CEP」、知るなら今でしょ！ by 株式会社日立製作所 村上順一

More Related Content

What's hot

Similar to [db tech showcase Tokyo 2014] D25: 今を分析する日立の「CEP」、知るなら今でしょ！ by 株式会社日立製作所 村上順一

More from Insight Technology, Inc.