• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
B14 「今」を分析するストリームデータ処理技術とその可能性 by Kazunori Tamura
 

B14 「今」を分析するストリームデータ処理技術とその可能性 by Kazunori Tamura

on

  • 639 views

 

Statistics

Views

Total Views
639
Views on SlideShare
639
Embed Views
0

Actions

Likes
1
Downloads
16
Comments
0

0 Embeds 0

No embeds

Accessibility

Categories

Upload Details

Uploaded via as Adobe PDF

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    B14 「今」を分析するストリームデータ処理技術とその可能性 by Kazunori Tamura B14 「今」を分析するストリームデータ処理技術とその可能性 by Kazunori Tamura Presentation Transcript

    • © Hitachi、 Ltd. 2012. All rights reserved.株式会社 日立製作所情報・通信システム社ITプラットフォーム事業本部田村 和則「今」を分析するストリームデータ処理技術とその可能性db tech showcase 2013 Osaka 2013.5.29© Hitachi, Ltd. 2013. All rights reserved.
    • © Hitachi, Ltd. 2013. All rights reserved.セッションの要約 ストリームデータ処理って何なの? データベースと何が違うの?どうやって使うの?どんなところで使われてるの?で、実際どうなの?といった疑問を解決します。0-1そして今日から、データ処理方式の選択肢のひとつに「ストリームデータ処理」 を加えてもらいたい2© Hitachi, Ltd. 2013. All rights reserved.
    • © Hitachi、 Ltd. 2012. All rights reserved.Contents1.ストリームデータ処理が生まれた背景2.ストリームデータ処理の原理と特長3.ストリームデータ処理の適用事例4.まとめ© Hitachi, Ltd. 2013. All rights reserved.
    • © Hitachi、 Ltd. 2012. All rights reserved.Contents1.ストリームデータ処理が生まれた背景2.ストリームデータ処理の原理と特長3.ストリームデータ処理の適用事例4.まとめ© Hitachi, Ltd. 2013. All rights reserved.
    • © Hitachi, Ltd. 2013. All rights reserved.通話ログ電力メーターカーナビ つぶやきコンテンツダウンロードSNSネット購入データベース監視映像Big Data人 の発信モノ の発信環境・気象データ設備監視GPS動画・画像・音声スマートフォン診断画像・電子カルテ物流トレース運行情報ICカード利用人の移動1-1 ビッグデータ時代がやってきた!5© Hitachi, Ltd. 2013. All rights reserved.
    • © Hitachi, Ltd. 2013. All rights reserved.ITシステムから生成されるデータ機械から生成されるデータ■ データがデジタル化されている■ センサー技術の進展により、今まで分からなかったことが分かる■ ブロードバンドの普及により、どこからでも大量のデータを取得できるモノやヒトのデータを活用した新たなビジネスが期待されている設備情報1-2環境情報携帯電話 位置情報ICカード …システムログ 業務ログアクセスログ メールSNSログ …ビッグデータ時代におけるデータの変化ありとあらゆるところから、データが湧き出てくる6
    • © Hitachi, Ltd. 2013. All rights reserved.項目 センサーデータ 空間データデータ種別 温度、湿度、振動、圧力・・・ GPS、RFID、電子乗車券…データ型 波形 位置情報、軌跡活用例 機器診断 人流分析、物流分析05010015011:59 12:00 12:01 12:02 12:03 12:04【時間軸】【メッセージ】 ◎予兆◎発生◎復旧1-3 ビッグデータ時代におけるデータの活用方法■ 時々刻々と絶え間なく、データが発生し続ける■ 「今」を高速かつ高度に分析(傾向/相関/軌跡分析など)して、現場に即座にアクションすることが重要1点の値ではなく、時系列な値の変化に意味がある波形 軌跡7
    • © Hitachi, Ltd. 2013. All rights reserved.1-4個客指向マーケティング流通分野医療分野 オーダーメイド医療金融分野 顧客細分型 金融・保険サービス行政分野 世論分析・意思決定支援予防保守・運用サービス保守分野電力需給予測サービス電力分野車流分析予測サービス交通分野通信状況分析サービス通信分野ビッグデータ時代におけるデータの活用例ヒトの情報モノの情報8
    • © Hitachi, Ltd. 2013. All rights reserved.ビッグデータ処理要件リアルタイムに今が分かる自分にあったサービスが得られる新たな気づきを得るネット購入金融取引ログ電力メーターICカード利用SNSブログ自動改札1.リアルタイム処理2.蓄積・検索3.集計・分析1-5 ビッグデータ時代のITに求められることデータの利活用サイクルに応じたデータ処理技術が必要9
    • © Hitachi, Ltd. 2013. All rights reserved.ビッグデータの利活用を支えるプラットフォーム時間異常度異常警戒正常故障予兆大量の情報をリアルタイム処理1.リアルタイム処理大量の情報を対象とした分析診断対象同機種平均稼動データ時間P1P2P3P43.集計・分析大量の情報を高速検索・効率保管履歴データ2.蓄積・検索uCosminexus StreamData PlatformuCosminexus ElasticApplication Data storeHitachi Advanced DataBinderプラットフォームHadoopuCosminexus GridProcessing Serverストリームデータ処理基盤インメモリ型データグリッドグリッドバッチ時系列データストア技術1-6ビッグデータの利活用サイクルに応じたミドルウェアをご提供10
    • © Hitachi、 Ltd. 2012. All rights reserved.Contents1.ストリームデータ処理が生まれた背景2.ストリームデータ処理の原理と特長3.ストリームデータ処理の適用事例4.まとめ© Hitachi, Ltd. 2013. All rights reserved.
    • © Hitachi, Ltd. 2013. All rights reserved.新しいようで、実は長く研究され続けている技術StanfordSTREAMMIT他AuroraU.C. BerkeleyTelegraphCQWisconsinNiagara他に、Cornell Univ. New York Univ. AT&T などが研究推進ストリームデータ処理の研究の歴史2-1■ 米国の有力大学のDBグループで研究開始(2002~)■ 学術成果の学会発表(2003~)■ 日立 「uCosminexus Stream Data Platform」リリース(2008~)■ 2013年現在も主要学会で研究発表継続中日立から研究員派遣12
    • © Hitachi, Ltd. 2013. All rights reserved.2-2データ種別,処理モデルストック型・データを事前に準備・データサイズ有限データ格納位置DBDBサーバフロー型・データ到着時に処理・データサイズ無限メモリストレージファイルサーバファイル 1960年代~: 構造型DB1970年代~: RDB2凡例: 1 In-Memory DB, 2 Relational DB, 3 Materialized View (実体化ビュー)関係データベースストレージベースのストック型データ処理技術適用アプリ: アルゴリズムトレーディング,コンプライアンスチェック,不正監視・検知,…ストリームデータ処理,複雑イベント処理ストリームデータベースサーバ2000年~:研究開始・超高速イベント処理を実現・クエリインタフェース提供により開発工数削減CEP適用アプリ: 銀行トランザクション,チケット予約,通話課金,…オブジェクトキャッシュサーバインメモリデータベースIMDB11980年代~: 研究開始DBサーバ 1990年代~: 商用化インメモリベースのストック型データ処理技術分散オブジェクトキャッシュDBDBサーバ1990年代~: 時系列DB1980年代~: Temporal DBデータ処理での時間の取り扱い技術1990年代~:MV差分更新差分データ処理技術サーバ MV3構造型データベースストリームデータ処理の位置付け13
    • © Hitachi, Ltd. 2013. All rights reserved.2-3取引情報商品データ売上データ事業活動情報DB操作で集計・分析ストック型データ処理(従来DBMS)データDB DBデータをDBにストック(蓄積)してから,データを集計・分析する。一括処理 データ保存必要操作ログRFIDPOSデータセンサデータ実世界データデータが発生する度に,逐次,データを集計・分析する。リアルタイム処理 データ保存不要リアルタイム集計・分析リアルタイム表示フロー型データ処理(ストリーム)ストリームデータ処理データの量と質の変化ストリームデータ処理の動作原理データ発生時にリアルタイムに処理するフロー型データ処理14
    • © Hitachi, Ltd. 2013. All rights reserved.事前登録稼動情報通信データICカード稼動監視ネットワーク入力情報集計・分析結果分析シナリオ 分析結果ダッシュボード(見える化)結果ファイルuCosminexus Stream Data Platform株a,15ストリームデータ処理基盤スライディング・ウインドウ株a,1株b,2株a 計15株b 計6時系列データ分析株a,1株b,2株a,4株b,6株a,9株a,3株b,4株a,5株a,62-4 ストリームデータ処理の要素技術と特長■ ウィンドウ演算により、時系列データの分析を簡単に実現■ インメモリ差分計算により、超高速処理を実現■ 分析シナリオは、SQLを拡張したCQLで記述「今」 を高速かつ高度に分析するための技術CQLによるシナリオ記述インメモリ差分計算15
    • © Hitachi, Ltd. 2013. All rights reserved.ウィンドウ演算時系列データ 100 99 2 1 0101102スライディング・ウィンドウで切り取られた処理対象の時系列データ■ スライディング・ウィンドウの種類・データの数(ROWS) 例: 直近の100取引分を対象にする・時間(RANGE) 例: 直近3分間分を対象にする・グループ分け(PARTITION)) 例: 各銘柄の最新5取引分を対象にする2-5■ スライディング・ウィンドウにより、時系列データの分析範囲を定義■ 分析に必要なデータだけを抽出することで、データ処理を効率化■ 分析シナリオに複数種のスライディングウィンドウを提供無限に続く時系列データを効率よく処理16
    • © Hitachi, Ltd. 2013. All rights reserved.インメモリ差分計算株価指数の計算処理の例A社,xxx円,xxx株B社,xxx円,xxx株C社,xxx円,xxx株:xxxxx時価総額株価,株式数 A社,yyy円,yyy株B社,xxx円,xxx株C社,xxx円,xxx株:yyyyy A社,xxx円,xxx株xxxxx A社,yyy円,yyy株- +分析対象データ、中間計算結果はメモリ中に保持変化のあった株価のみを演算スライディング・ウインドウ スライディング・ウインドウ2-6■ インメモリデータ処理により、ディスクI/Oを排除■ 中間結果を利用した差分計算により、大量データ処理時の負荷を軽減■ 分析対象のデータ数に依存しない、一意の計算量で処理を実現圧倒的な超高速処理を実現17
    • © Hitachi, Ltd. 2013. All rights reserved.クエリ言語CQL(Continuous Query Language)IStream(Select id, Sum(val) as SFrom str [Rows 3]Group by id)…ストリーム化演算CQLの例選択、結合集合演算などストリーム化演算時系列データ中間結果入力・出力2-7■ SQLを拡張した言語であるため、習得は容易■ ウィンドウ演算により時系列データの分析範囲を定め、関係演算を実行■ アプリケーションの個別開発と比較して、開発効率を大幅に向上幅広い業務に対応可能なクエリ言語を提供…ウィンドウ演算処理モデルリレーションウィンドウ演算関係演算18
    • © Hitachi, Ltd. 2013. All rights reserved.ストリームデータ処理基盤通信パケットファイルストリームデータ処理基盤 ー アプリケーションフレームワーク入出力アダプター定義 分析シナリオ定義 ダッシュボード定義アプリケーション開発時に作成する部分出力APファイル入力データ 出力結果イベントデータ抽出処理ダッシュボード出力処理ストリームデータ処理基盤のプログラム構成2-8出力アダプターストリーム処理入力AP入力アダプターCQL: Continuous Query Language■ シンプルなプログラム構成と簡単な分析シナリオ定義により、システム開発や分析シナリオの開発や変更を短期間で実施可能■ uCSDP-AF使用時は定義作成だけでアプリケーション作成不要分析シナリオ定義、入出力APのシンプルなプログラム構成19
    • © Hitachi, Ltd. 2013. All rights reserved.2-9 ストリームデータ処理実用化に向けた機能# 機能名 機能詳細 効果1イベント発生時刻モードの選択機能処理時刻軸を発生源時刻と受付時刻から選択・対応範囲拡大2入力データ順序性保証機能入力データの時刻情報逆転時、順序を補正・開発工数削減・安定稼働3 時刻解像度機能すべての入力データを保持せず、単位時間の統計情報を保持・リソース削減・安定稼働4Eagerスケジュール機能複数のクエリを1つのクエリ処理として一括処理・レイテンシ向上5入出力アダプター機能HTTPやファイルなど、標準的な入出力処理を標準提供・開発工数削減20
    • © Hitachi、 Ltd. 2012. All rights reserved.Contents1.ストリームデータ処理が生まれた背景2.ストリームデータ処理の原理と特長3.ストリームデータ処理の適用事例4.まとめ© Hitachi, Ltd. 2013. All rights reserved.
    • © Hitachi, Ltd. 2013. All rights reserved.syslog Proxylog 認証logsyslog Proxylog 認証logITシステムで発生する各種ログセンサーから出力される数値データクルマやヒトの位置情報DB、ファイル今を見える化リアルタイム監視価値あるデータに変換データ発生と同時に瞬時に分析3-1 ストリームデータ処理でできること22
    • © Hitachi, Ltd. 2013. All rights reserved.設備・環境監視交通状況モニタリングWebサービス監視株式指数算出配信ITから実世界まで幅広い分野に適用3-2 ストリームデータ処理の適用分野センサーネット管理23
    • © Hitachi, Ltd. 2013. All rights reserved.株価指数算出配信売買システム相場ユーザシステム入力AP電文受信/フィルタ処理電文組立/配信処理uCosminexus Stream Data Platform株価 株価指数処理性能スループット 8,000件/秒以上レイテンシ10ミリ秒以下(1~10ミリ秒)従来サービス 指数高速配信配信間隔 1秒毎指数構成銘柄の値段の変化毎指数高速配信システムストリームデータ処理基盤 出力AP指数計算処理集計・分析シナリオ参考:2011年2月22日付弊社ニュースリリース「東京証券取引所の指数高速配信サービスが開始 ~ 世界最高水準、TOPIXをミリ秒レベルで配信 ~」http://www.hitachi.co.jp/New/cnews/month/2011/02/0222.html3-3■ 株価が変動する度に株価指数を算出、ミリ秒レベルでユーザ配信■ 株価指数計算の高速化により、配信サービスのサービスレベルを大幅に向上■ 株価指数計算の柔軟性確保により、システム運用コストも低減24
    • © Hitachi, Ltd. 2013. All rights reserved.Webサービスのサービスレベル監視応答時間現在の値時間しきい値検知外れ値検知(予兆検知)SLOしきい値ベースライン正常範囲(ベースラインから算出)リアルタイム監視画面ホーム画面過去の情報(ベースライン)と比較していつもと違う傾向を検知 (外れ値検知)しきい値検知より早く予兆の検知が可能 SLO : Service Level Objective統合システム運用管理JP1/IT Service Level Management3-4■ 大量のWebアクセスデータから、「今」を高速かつ高度に分析■ Webサービスのサービスレベル(応答時間やエラー率など)の見える化と監視■ データの傾向から、「いつもと違う」 障害の予兆をリアルタイム検知25
    • © Hitachi, Ltd. 2013. All rights reserved.交通状況モニタリング自動車車両位置情報ストリームデータ処理基盤uCosminexus Stream Data Platform分析シナリオ速度計算走行方向計算密度計算渋滞検出事故検出車両ID (緯度,経度)渋滞情報データ入力約2,000件/秒赤:低速黄:中速緑:高速始点:一つ前の位置終点:最新の位置各車両走行状況 渋滞・事故検知この位置で渋滞・事故が発生3-5事故情報Ⓒ2008 GoogleⒸ2008 Zenrin■ 車両位置情報を収集・分析し、交通状況をリアルタイムにモニタリング■ 各車両の速度や進行方向を分析、周辺車両の状況により渋滞や事故を検知26
    • © Hitachi, Ltd. 2013. All rights reserved.データセンター空調制御分析1相関/傾向分析判定分析シナリオ事前登録分析2データセンターレイアウトの表示サーバ別詳細情報の表示サーバ室温状況のモニタリング熱溜り検知・アラーム通知熱溜りのイベントパトライトによるアラームコールドアイル:空調機が送り出してサーバが吸収する冷気を集めた空間熱溜り冷気不足による熱の回り込み日立センサーネット情報システムAirSenseⅡ吸気温度と排気温度の相関分析室温上昇の傾向分析ストリームデータ処理基盤サーバ室無線通信によるサーバ室温情報の逐次収集室温情報を表示したいサーバをクリックホットアイル:サーバの排熱を集めた空間3-6■ 無線温度センサーから収集した室温データを、発生と同時に瞬時に分析■ サーバ機器の吸排気温度の傾向・相関分析により、熱溜りを検知し対策27
    • © Hitachi, Ltd. 2013. All rights reserved.日立・横浜事業所 「快適ecoプロジェクト」3-7■ 2012年7月、日立・横浜事業所の新社屋オープン■ 太陽光発電、ダブルスキンカーテンウォール、ライトウェルなどの最新のeco設備を導入■ 新社屋全体がビッグデータとスマートシティの実証実験室28© Hitachi, Ltd. 2013. All rights reserved.
    • © Hitachi, Ltd. 2013. All rights reserved.日立・横浜事業所 「快適ecoプロジェクト」3-8社員の声アンケート、在席情報…設備情報室温、湿度、騒音、電力量…外部情報気象情報、災害情報…快適ecoモニター快適とecoの実現設備制御の最適化社員のecoマインド醸成■ 快適とeco、人と設備をビッグデータ処理技術が融合■ ヒトとモノの情報をリアルタイムに収集・分析し、現場に即座にフィードバック■ スケジューラや在席管理システムとの連携も計画中29
    • © Hitachi、 Ltd. 2012. All rights reserved.Contents1.ストリームデータ処理が生まれた背景2.ストリームデータ処理の原理と特長3.ストリームデータ処理の適用事例4.まとめ© Hitachi, Ltd. 2013. All rights reserved.
    • © Hitachi, Ltd. 2013. All rights reserved.製造・生産ライン品質予測 製造監視リアルタイム監視によるリスクマネジメントシステム稼動監視相関分析予兆検知気象、環境、エネルギー物理×ITセキュリティ人流分析画像監視コンプライアンスチェック不正検出内部統制交通サービス運行監視 渋滞予測金融・証券自動取引 取引監視携帯電話サービス位置情報サービス新たな付加価値による新ビジネスの創造自動運転・予防保全によるビジネス機会拡大まとめ4-1使用量監視気象解析■ ビッグデータから「今」を分析するストリームデータ処理技術をご紹介■ この新しいデータ処理技術が切り拓いていく新しい価値は無限大■ これから、データ処理方式の選択肢のひとつに加えてもらいたい31
    • © Hitachi, Ltd. 2013. All rights reserved.さいごに(セッションの要約) ストリームデータ処理って何なの? データベースと何が違うの?どうやって使うの?どんなところで使われてるの?で、実際どうなの?といった疑問を解決します。4-2そして今日から、データ処理方式の選択肢のひとつに「ストリームデータ処理」 を加えてもらいたい32© Hitachi, Ltd. 2013. All rights reserved.
    • © Hitachi, Ltd. 2013. All rights reserved.• Javaは,Oracle Corporation 及びその子会社,関連会社の米国及びその他の国における登録商標です。• その他、記載の会社名、製品名は、それぞれの会社の商標または登録商標です。• 製品の改良により予告なく記載されている仕様が変更になることがあります。他社商品名、商標等の引用に関する表示33
    • © Hitachi、 Ltd. 2012. All rights reserved.株式会社 日立製作所情報・通信システム社ITプラットフォーム事業本部田村 和則「今」を分析するストリームデータ処理技術とその可能性db tech showcase 2013 Osaka 2013.5.29© Hitachi, Ltd. 2013. All rights reserved.