ビッグデータ活用とサーバー基盤
•
1 like•732 views
- IoT - 航空機のビッグデータ - HPCにおけるビッグデータ - ビッグデータのユースケース - HPE Apollo 4200
Recommended
More Related Content
What's hot
What's hot (20)
Similar to ビッグデータ活用とサーバー基盤
Similar to ビッグデータ活用とサーバー基盤 (20)
ビッグデータ活用とサーバー基盤
- 3. 必要な要素：最新の情報技術と工学的手法 インメモリ ハイブリッド DevOps ビッグデータ・IoT・人工知能 プライベート・クラウド ウォータフォール開発 源泉は、すべてオープンソース技術 3
- 4. eBayのインメモリ・ビッグデータ基盤(2014) Through the Hadoop Yarn framework, eBay’s Spark users are able to leverage clusters approaching the range of 2000 nodes, 100TB of RAM, and 20,000 cores eBay tech blog : Using Spark to Ignite Data Analytics http://www.ebaytechblog.com/2014/05/28/using-spark-to-ignite-data-analytics/#.VTduJyGqpBc 4
- 5. 巨大メモリへの対応で提携： ホートンワークス社 ＋ HPE Sriram Narasimhan, Tuan Bui, Jun Li, Mijung Kim, Alexander Ulanov, Manish Marwah, Hernan Laffitte, Haris Volos, (Not pictured: Carlos Zubieta, Tere Gonzalez, Janneth Rivera) HPE中央研究所のメンバー2016年3月1日発表
- 7. 大容量のデータはどこに？ –例えば • 品質検査 ：検査データ • 製造テスト ：計測データ • コールセンタ ：通話記録 • 入退館 ：監視カメラデータ 出典： 情報通信審議会ICT基本戦略ボード「ビッグデータの活用に関するアドホックグループ」資料 •生データではなく「結果サマリ」 のみを保存していませんか？ •大量のデータをすぐに取り出せな い場所に置いてませんか？
- 9. 飛行機のフライトデータを分析するシステム –すべてのデータを都度センターに送って処理できるのか? ??? TB/フライト TB エンジン1基が1時間 に生成するデータ量 3 平均3時間飛行 2 飛行機には2つ のエンジン 米国で1日あたりに 飛ぶ便数 ?EB/日 ExaBytes = 1,000,000TB 9 どれくらいのデータ量か 想像できますか？ ? ?
- 10. •飛行機におけるビッグデータ • 1回フライト：約0.5TB生成 • 450機製造 • 2010年～2020年 • 扱うデータ量増加率 ＝14000%/年 • スパコンの採用 • HPE Apollo6000 • HPE Apollo8000 • アプリ同時利用 •1000人/日 Apollo 6000 Apollo 8000 製造業の例：HPC＋ビッグデータ(2016) 10
- 11. Shell エコマラソン with HPE リアルタイムに可視化 • 学生：3,000人 • 26ヶ国 • 1985年：680km/ℓ • 2014年：3,300km/ℓ
- 12. GPSログ取得：GPSロガーでIoT 人工衛星 スマホ 動画： 3GP形式 合成可視化ツール： Aviutilと VDS for GPS GPSロガー GPSログ： GPX, dp3形式 “高い精度” Km/hps 12
- 13. クラウド 可視化：Google “My Tracks”とデータ合成 人工衛星 スマホ My Tracks GPSログ： GPX形式 動画： 3GP形式 合成可視化：AviutilとVDS for GPS スマホ上でカートの 移動軌跡を再生
- 14. 選挙におけるビッグデータ活用 ■ 大方針： データから判断 ■ すべてのデータを一か所に集める ■ データマイニング専門家をチーフデータサイエンティ ストに任命 ■ 数十名のデータサイエンティスト ボランティアの記録 党の支持者データ 有権者データ 消費者データ 世論調査結果 Twitter, Facebook, SNS など 57.68% 57.16% 予測 結果
- 15. SNSゲームにおける解析 • Facebook上で動くWebブラウザゲームを開発 • データに基づいた解析を徹底 • キャンペーンおよびゲーム実施時のユーザー動向を把握 • ゲームの変更を行う際の利点を数値化 • ユーザーエクスペリエンスの向上 • ユーザーの相関関係を理解しブランドの価値を最大化 課題・目的 ソリューションとアプローチ ビジネスベネフィット • 顧客満足度と収益性およびロイヤリティの向上 • 旧来プラットフォームの30％に相当する投資に対して 50～1,000倍のパフォーマンスで分析を実現 • 特定のグループに対してゲーム実施中に変更を行いながら 必要データを測定し、ユーザーエクスペリエンスの反復分析を実施 • 顧客満足度とブランド認知度と収益の成長および収益性などに関 する継続的な測定を実施
- 16. ｢HPE Earth Insights｣； Conservation InternationalとHPEの共同研究 ビッグデータ分析技術で熱帯雨林の環境持続性研究をサポート リアルタイムのデータ分析 ほぼリアルタイムのデータ分析により判明した熱帯 雨林についての新しい知見が、 積極的な環境保全措置の立案をサポート Wildlife Picture Index (WPI) 分析システム 早期警報システムにより、 何百もの絶滅危惧種の保護が可能に 16
- 17. 高速分散処理基盤： Hadoop
- 18. ビッグデータ処理基盤を取り巻く環境 RDBMS Oracle, DB2, MySQL PostgreSQL ... データウェアハウス RDBMS/DWH専用機 トランザクション処理 ビッグデータ処理基盤 データ分析 データ 可視化
- 19. 高まるニーズ：ログ解析・機械学習 •顧客と商品の相関関係、類似度を見たい •ユーザーの行動パターン予測 •eコマース、広告業の競争激化 •クリック数、ページビュー急減 •センサーデータの活用 背景
- 21. 機械学習の活用例 •レコメンド ：顧客と商品の相関から類似度を学習 •ユーザー行動分析 ：行動パターン学習 •迷惑メールの判定 ：過去の迷惑メールからパターンを学習 •クラスタリング ：小説や論文の分類 機械学習・設計・解析： 高速処理基盤が必要 •似ているものを知りたい •類似度、パターンを知りたい •超高速CPU •大容量メモリ •高速ノード通信 可 視 化
- 22. Hadoop利用事例 • 設備管理 • 設備の状態チェックを人間が見て一つずつ行う：後のバッチ処理が膨大 • データ件数：100万件＝月次処理 Hadoopで商用DBMS で 19時間以上 約32分に短縮 数ヶ月かかっていた別のバッチ処理も数十分で処理
- 23. 金融機関 消費者金融データを収益化したい • 取引データ、運用データなどの経済情報 • → 広告主、投資家に役立つ 技術的課題 • データの保護規制 （銀行顧客のプライバシー） • 個人情報は取得できない • データの保管場所がサイロ化 サーバー サーバー サーバー 解決策 • データレイクを用意 • Hadoop基盤にデータを保管 • 当座預金、カードローン、金融、 • 国庫バンキング、住宅ローン • データを各業務で共有利用 必要な技術 • 暗号化、ユーザー認証、アクセス制御、プライバシー対策など データレイク 役員顧客（流通） 住宅ローン バンカー クレジット カード業者 国庫 バンカー 成果 • 意思決定改善 • 役立つ情報を広告主や投 資家に販売し、収益化 23
- 24. 投資会社 異種データ資産を活用して収益を得たい • 現状はデータが細切れになった状態 • →データマイニングが困難 課題 • 高価なDWH • ログデータ（金融）を大規模にスケール させた解析が困難 • RDBMSへ変換して格納することも非常に煩雑 • 顧客の生涯価値、コスト分析が不正確 サーバー DWH 解決策 • グループ会社でデータを統合 • マルチテナントHadoop • 機密データを保管 必要な技術 • キーバリューストア • セル単位でリード可否設定 マルチテナント型 Hadoop基盤 （データレイク） 成果 • 多くのユースケースの発 見 • DWHの処理をHadoop にオフロード • 隠れていた資産情報の 発掘 • 顧客動向把握 グループ会社A グループ会社 B ローカル データ資産の マイニングを実施 24
- 25. 投資サービス会社 不正取引の監視精度を向上させたい • トランザクション処理：15万件/日 • リスク分析をリアルタイムに行いたい • 財務アドバイザー（膨大な人数） 課題 • 限定された時間のみデータにアクセス • 履歴データは、アーカイブから抽出が必要 • 日次取引データのリスク分析は業務終了後 • 不正取引：数時間以上も野放しなるリスク 解決策 • Hadoopによる高速分析 • 全取引の可視化精度向上 必要な技術 • セミリアルタイム分析 • ストリーミング処理 Hadoop基盤 （共有データレイク） 成果 • 事業部にわたり、全取引 の可視化精度向上 • より多くの取引、残高の 情報をデータ処理を営業 日内で処理 • 最長5年のデータを分析 • 素早いリスク分析により、 取引業務リスクの低減 • Hadoopにより、データ の視認性向上 • データ保管の長期化 • 監査の手間の削減 分析者 共有データレイクの 分析基盤を設置 事業部A 事業部B 事業部C リスク分析NG →不正取引 を野放しに リスク分析： 業務時間外 のみ アーカイブ 抽出 25
- 26. 保険会社 安全な運転者を特定、優遇したい • 走行距離連動型自動車保険 （Pay-As-You-Drive: 通称PAYD） • 事故有無、スピード違反有無 • 運転の中身で保険料が決まる • 査定担当者が記録だけは判断不可 • 本当に優良運転者なのか • 事故にたまたま遭遇していないのか 課題 • PAYDによりデータ量、種類が急激に増加 • RDBMSでは高価 • リスク分析 → 75%のデータを廃棄 → 25%のデータ処理：1週間 解決策 • Hadoopによる高速分析 • 膨大な運転者の情報でも 以前より低価格で格納 • 契約者の地理的情報の保持 必要な技術 • ストリーミング処理 Hadoop基盤 成果 • PAYD契約者の地理的情報 を保管し、データストリー ミング処理は以前の4倍 • リスクを考慮した価格決定 • 優良運転者の解約を阻止 • 不良運転者の個人ごとの リスクに応じたレートを設定 • 運転者のデータ保管に掛か る経費を低減 • →全契約者のリスク評価の コストを削減 分析者 RDBMS サーバー サーバー 26
- 27. 2727 事例：ベアメタルクラウドを手掛けるbigstep社 •HPEサーバーを導入 • 物理サーバーホスティング • Dockerを積極的に推進 • 物理マシンクラウドでDockerを提供 2014年度のUK Cloud Awards「Newcomer of the Year賞 (新人賞)」 受賞企業 出典：http://blog.bigstep.com/big-data- performance/use-docker-full-metal-cloud/ 公開事例（日本語版）： http://www8.hp.com/h20195/v2/GetPDF.aspx/4AA5-6025JPN.pdf 出典：http://blog.bigstep.com/?s=Docker&searchsubmit=%EF%80%82
- 28. 高さ2UでHDD満載のHadoop向けサーバー HPE Apollo 4200 Gen10 iLO Hadoop 通信用 Hadoopクラスター クライアント管理ノード 28
- 30. 機械学習とビッグデータを知る 最先端オープンソース書籍出版への取り組み AI時代に必携の一冊！ 機械学習・ビッグデータ基盤導入検討・構築・使用法・応用例 等 Apache Hadoop 3と商用版MapR 6クラスター構築、使用法 機械学習, ニューラルネットワークの具体例 データベースとの連携, ETLツール RDBMS, ログ, Twitterデータの取得 等 • Bigdata分析基盤の概要 • Hadoopの種類、沿革、システム構成 • Apache Hadoop 3の特徴 • Hadoopシステム構成、導入前検討項目 • ハードウェアコンポーネントの検討 • Hadoop 3, MapR 6クラスターハードウェア構成例 • Hadoopクラウド • ハードウェアの設定 • Hadoop 3, MapR 6クラスターのインストール • Hadoop 3, MapR 6クラスターの運用管理 • Spark SQL, Spark Streaming, Spark GraphX, Spark R, Spark MLlib • ニューラルネットワーク • Hive, Impala, HBase, Pig • Sqoop, Flume • Mahout Amazon インプレス フライトデータ分析、 迷惑メール分類、 おすすめ映画タイトルの 表示など、機械学習の 具体例を掲載！ Hadoop 3と MapR 6を 解説した世界初の本！