Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Google Cloud Platform で
ビッグデータ
インフラストラクチャーではなく、
インサイトに焦点を当てる
管理
モバイル
開発者ツールコンピュート
ネットワーク
ビッグデータ
サービス
ストレージ
Source: IDC, 2014
生み出されるデータが
10倍に増加
(2013年には4.4ZBだったが、
2020年には44ZB に)
320億のIoTデバイス
(2020年までにインターネッ
トに接続される)
データの40%が2020年
...
さらに多くのデータや新たなデータソースに
常に対処
あらゆるビジネス機能のあらゆるデータを
キャプチャ・保存
一貫して使いやすいビッグデータ システムの
構築・維持の複雑さ
データ収集から行動までの時間を削減
既存のデータにおける価値を容易に見...
2002 2004 2006 2008 2010 2012
Dremel ColossusMapReduce
GFS BigTable Spanner
2014
Dataflow
ビッグデータの問題に取り組んだ十数年
BigQuery
プログラミング
リソース
プロビジョニング
性能
チューニング
モニタリング
信頼性デプロイメント&構成
規模の高まりに
対処
利用の向上
典型的なビッグデータ処理
インフラストラクチャーではな
く、インサイトに焦点を当てる
プログラミング
G...
Google confidential │ Do not distribute
概要:
処理するデータ : Consolidated Audit Trail (CAT)のデータ.
全普通株、オプション注文、見積もり、イベントのデータレポジト
リ...
Google confidential │ Do not distribute
Overview:
Data to process: standard game KPIs, marketing data, custom game insight...
ビッグデータの全ライフサイクルを管理
保存 解析処理キャプチャ
ビッグデータの全ライフサイクルを管理
Cloud Logs
Google App
Engine
Google Analytics
Premium
Cloud Pub/Sub
キャプチャ 保存 解析
バッチ
Cloud
DataStore
処理
...
デモ
ビッグデータを実際に体験!
Manage the Entire Lifecycle of Big Data
Cloud Logs
Google App
Engine
Google Analytics
Premium
Cloud Pub/Sub
BigQuery
(テーブル...
ビッグデータ の パートナーエコシステム
Chartio
結論
1. 他のビッグデータ クラウドサービスと異なり、Googleは業界唯一の
 フルマネージド(運用レス)のビッグデータ プラットフォームを提供
2. インフラストラクチャーは私たちに任せて、それぞれの事業に集中: 誰でも小規
模でスタート...
cloud.google.com
Upcoming SlideShare
Loading in …5
×

6 月 18 日 Next - Google Cloud Platform で ビッグデータ

ビックデータは流行の言葉となっていますが、Google にとってはビジネスの礎なのです。このセッションでは、 これまで Google 内部で利用するために開発してきたサービスをどう公開してきたか、厄介なインフラストラクチャの心配をせずにデータを取り込み、蓄積、素早く分析できるかを説明します。

  • Login to see the comments

6 月 18 日 Next - Google Cloud Platform で ビッグデータ

  1. 1. Google Cloud Platform で ビッグデータ インフラストラクチャーではなく、 インサイトに焦点を当てる
  2. 2. 管理 モバイル 開発者ツールコンピュート ネットワーク ビッグデータ サービス ストレージ
  3. 3. Source: IDC, 2014 生み出されるデータが 10倍に増加 (2013年には4.4ZBだったが、 2020年には44ZB に) 320億のIoTデバイス (2020年までにインターネッ トに接続される) データの40%が2020年 までにクラウドに ビッグデータ: 見逃せないオポチュニティ
  4. 4. さらに多くのデータや新たなデータソースに 常に対処 あらゆるビジネス機能のあらゆるデータを キャプチャ・保存 一貫して使いやすいビッグデータ システムの 構築・維持の複雑さ データ収集から行動までの時間を削減 既存のデータにおける価値を容易に見出す 1 2 3 4 ビッグデータでイノベーションや イテレーションを実行するためのハードル 5 システムの信頼性を維持し、 持続的に稼働させる データを安全に保つ 組織内、組織間のコラボレーション7 8 9 6 今までのビッグデータ=頭の痛い課題
  5. 5. 2002 2004 2006 2008 2010 2012 Dremel ColossusMapReduce GFS BigTable Spanner 2014 Dataflow ビッグデータの問題に取り組んだ十数年 BigQuery
  6. 6. プログラミング リソース プロビジョニング 性能 チューニング モニタリング 信頼性デプロイメント&構成 規模の高まりに 対処 利用の向上 典型的なビッグデータ処理 インフラストラクチャーではな く、インサイトに焦点を当てる プログラミング Googleを使ったビッグデータ処理 インサイトを得るまでの時間を短縮
  7. 7. Google confidential │ Do not distribute 概要: 処理するデータ : Consolidated Audit Trail (CAT)のデータ. 全普通株、オプション注文、見積もり、イベントのデータレポジト リ 課題: どうCATを処理し、1000億の市場イベントを 4時間以内に“オー ダー ライフサイクル”へと整理するか 6年分(~30PB)のデータを保存 Cloud Bigtable でクエリを処理・実行し、データ量の増加に対応 60億の 市場イベントを 1時間ごとに書き込み 1.7 GB 毎秒 毎時 6 TB 100億 書き込み 毎時 バースト 1.7 ギガバイト    毎秒 10 テラバイト 毎時
  8. 8. Google confidential │ Do not distribute Overview: Data to process: standard game KPIs, marketing data, custom game insight Several dozen gigabytes of raw logs per day Challenges: Struggled to process large volume of data Long delays between triggering logs and querying data; problematic for games running live events Issues controlling permissions Long-running queries, clunky analysis 概要: 処理するデータ: 標準的なゲームKPI、マーケティングデータ、 カスタムゲームのインサイト 1日に数十ギガバイトの生ログ 課題: 大量のデータの処理に苦労していた ログのトリガーからデータのクエリまでに長い遅延が生じ、ライブイベントを行って いるゲームにとって厄介な問題となっていた パーミッション制御に関する問題 実行時間のかかるクエリ、ぎこちない解析 “BigQuery のおかげで、実際にデータを使うことに集中できるようになり、 データの入手に体力を消耗することがなくなりました” 処理 150ギガのデータを 15秒で 即時の ログのインジェスチョン スケール システムの動作を 妨げない パーミッション 制御に対する 柔軟性
  9. 9. ビッグデータの全ライフサイクルを管理 保存 解析処理キャプチャ
  10. 10. ビッグデータの全ライフサイクルを管理 Cloud Logs Google App Engine Google Analytics Premium Cloud Pub/Sub キャプチャ 保存 解析 バッチ Cloud DataStore 処理 ストリー ム Cloud Monitoring Cloud Bigtable リアルタイムアナリティクス および アラート Cloud Dataflow
  11. 11. デモ ビッグデータを実際に体験!
  12. 12. Manage the Entire Lifecycle of Big Data Cloud Logs Google App Engine Google Analytics Premium Cloud Pub/Sub BigQuery (テーブル) Cloud Bigtable (NoSQL) Cloud Storage (ファイル) Cloud Dataflow BigQuery Analytics (SQL) キャプチャ 保存 解析 バッチ Cloud DataStore 処理 ストリー ム Cloud Monitoring Cloud Bigtable リアルタイムアナリティクスおよびア ラート Cloud Dataflow
  13. 13. ビッグデータ の パートナーエコシステム Chartio
  14. 14. 結論 1. 他のビッグデータ クラウドサービスと異なり、Googleは業界唯一の  フルマネージド(運用レス)のビッグデータ プラットフォームを提供 2. インフラストラクチャーは私たちに任せて、それぞれの事業に集中: 誰でも小規 模でスタートし、安心して規模を拡大していきたいと考えていること理解した上 で、Googleはビッグデータ サービスを設計 3. クラウドでビッグデータ: DIY よりも低TCO
  15. 15. cloud.google.com

×