データを分析し、機械学習などを活用していくためにはデータを蓄積することがまず重要となります。データウェアハウス、データレイクといったデータ分析の第一歩をわかりやすく説明し、それがビジネスにどう役立つかをお話します。また、それを Google Cloud Platform BigQuery や Google Cloud Storage, G Suite といったサービスを活用することでどのように簡単に実現できるかもご紹介します

1. Cloud Onr
Cloud OnAir
Cloud OnAir
ビジネスを変革する！クラウドを活用し
たデータ分析基盤の第一歩
2018 年 4 月 12 日 放送

2. Agenda
Cloud OnAir
1
3
2
4
企業におけるデータの活用
データ活用のための基盤とは
Google Cloud 事例
まとめ

3. Cloud OnAir
Cloud OnAir
企業におけるデータ活用

4. Cloud OnAir
● AI でいい感じに
● 分析で売上の落ちてる
原因がわかる
● 意思決定を助ける
データ活用とは

5. Cloud OnAir
データが使えない状態
● フォーマットが違う
● 格納場所が違う
● データを捨てている
● データが取れてない
● 検索・集計できない
データの現実

6. Cloud OnAir
機械学習、 AI を活用したい
If Your Company Isn’t
Good at Analytics,
It’s Not Ready for AI
“
“もしあなたの会社が分析を得意ではないのであれば、
AI への準備が出来ているとは言わない
– Harvard Business Review , 2017

7. Cloud OnAir
データ分析、 機械学習をビジネスに適用するステップ
ビジネス要件から
必要なデータ要件を
決定
デ
ー
タを収
集
デ
ー
タを活
用
データを
ビジネスに活用

8. Cloud OnAir
データ収集・データ活用のステップ
データを活用する
データから施策を決定
● A/B テストなどで打ち手の 効
果を判断
● PDCA を回す
● データから生成した機械学習モ
デルを使ってみる
● データの鮮度をもっと上げる
データを収集
データを収集、蓄積、分析
● 自動でデータを蓄積
● データを整理する
● KPI を可視化する
データを分析
分析し、打ち手を考える
● 仮説を立てる
● 仮説が合っているかデータを
分析
● 正しければ打ち手にする
● データ種類が足りていない可
能性も考慮する
● データから新しい洞察も

9. Cloud OnAir
データ分析、 機械学習をビジネスに適用するステップ
本日の話
データを活用する
データから施策を決定
● A/B テストなどで打ち手の 効
果を判断
● PDCA を回す
● データから生成した機械学習モ
デルを使ってみる
● データの鮮度をもっと上げる
データを蓄積
データを蓄積、分析
● 自動でデータを蓄積
● データを整理する
● KPI を可視化する
データを分析
分析し、打ち手を考える
● 仮説を立てる
● 仮説が合っているかデータを
分析
● 正しければ打ち手にする
● データ種類が足りていない可
能性も考慮する
● データから新しい洞察も

10. Cloud OnAir
Cloud OnAir
データ活用のための基盤

11. Cloud OnAir
データウェアハウス と データレイク
データレイクデータウェアハウス

12. Cloud OnAir
データレイクデータウェアハウス (DWH)
データウェアハウス とは
● データの統合場所
● 消さない・更新しない・蓄積
● 置くだけではなく、整理する
● 検索可能にする

13. Cloud OnAir
データウェアハウス はなぜ必要なのか
EC データベース
店舗会員
データベース データウェアハウス
会員 ID = 15
EC の購入履歴
店舗会員の購入履歴
データを統合し、横断して検索したい

14. Cloud OnAir
データウェアハウス に求められること
● 巨大なデータ でも
○ クエリが速い
○ 複数データをまたがって
クエリを実行できる
○ 安い
○ 初期投資は抑えたい
○ 基盤は運用したくない
データウェアハウス
● 蓄積
● 統合
● 整理
● 検索

15. Cloud OnAir
Google Cloud で作る、データウェアハウス
● クラウド上のデータウェアハウス
● SaaS 型（フルマネージド）で運用のため
の人員やリソースが不要
● 低コスト、従量課金
● 巨大な一つのストレージで社内のデー
タ流通を促進
BigQuery を利用する

16. Cloud OnAir
Google Cloud で作る、データウェアハウス
性能チューニング
監視
可用性の
担保デプロイと設定
利用効率改善
伝統的な分析基盤
分析と洞察
リソースの確保
成長にあわせた
リソース追加
分析と
洞察
BigQuery なら

17. Cloud OnAir
Google Cloud で作る、データウェアハウス
データ
（CSV, JSON 等）
2018-04-12, A0001, tee_0123
2018-04-10, B2394, shirts_1234
2018-04-10, B2394, shirts_1234
Google スプレッドシート で見る
Google Data Studio で可視化BigQuery
プログラム で利用
様々な
システム
UI で簡単に操作

18. Cloud OnAir
Google Cloud で作る、データウェアハウス
● データを確認
● 集計クエリを実行
● Google スプレッドシートへ
データ連携
BigQuery ウェブ UI で
ほぼすべて完結
詳しくは次週 e-learning で！

19. Cloud OnAir
データレイクデータウェアハウス (DWH)
データレイク とは
● Raw Data （未加工データ）を保存
● 非構造化データ をサポート
● データは基本的に不変
● データ処理ツールに依存しない

20. Cloud OnAir
データレイクはなぜ必要なのか
データウェアハウス
（データベース）
会員ID 名前 住所
A00002 Joe 東京都...
B00002 Azusa 千葉県...
C00002 Yuta 北海道...
構造化されている
データレイク
etc.
構造化されていない
“ 生データ ” を含む

21. Cloud OnAir
データレイクはなぜ必要なのか (2)
データレイクが必要となるシーンの一例：
ラーメン二郎判別機

22. Cloud OnAir
データレイクはなぜ必要なのか (3)
教師データ
画像 : タグ 形式でデータレイクに整理されて保存する
Img.01, “Ookubo_branch”
Img.02, “Jimbocho_branch”
Img.03, “Mita_hq”
Cloud AutoML Vision

23. Cloud OnAir
データレイクに求められる要件
● 安く保存したい
● 読み出し・書き出し
○ 一般的なインターフェース
○ 用途に応じて速い
● 耐久性
○ 無くならない
データ
レイク
蓄積・不変
何からでも読める
システム
分析ソフト

24. Cloud OnAir
データレイクに求められる要件
● 統合型オブジェクトストレージ
● HTTP (S) で操作
● 安全で耐久性のある保管 (11 nines)
● パフォーマンスとコストのバランスの取れ
たストレージクラス
● 分析サービスとの統合
Cloud Storage (GCS) を利用する

25. Cloud OnAir
おさらい ： ゾーンとリージョン
ゾーン
● ゾーンが互いに依存しない設計
● １ゾーンが使用不能になっても、他のゾーンは可動
しているため、ゾーンを束ねて利用
リージョン
● ゾーンをまとめた 「地域 」
● 国はまたがない
● リージョンは 約 150km 以上離れる

26. Cloud OnAir
安全で耐久性のある保管
Multi Regional Storage
● 複数のリージョンにデータが複製される
● 災害対策 (DR) 、複数国へのデータ配信
Regional Storage
● リージョン内部でデータを複製し、 耐
久性が 99.999999999% (11 Nines) になるよう設計

27. Cloud OnAir
安全で耐久性のある保管 (2) - Multi-Regional
GCS - US GCS - Asia
GCS - EU

28. Cloud OnAir
パフォーマンスとコストのバランス
クラス 保存費用
取り出し
費用
ユースケース
Multi-Regional 無料 広い地域へのコンテンツ配信、DR
Regional 無料
コンテンツ配信、
アクティブなストレージ
Nearline 少し
月に１度以下のアクセス、
バックアップ用途
Coldline
（アーカイブ用途）
最安 かかる
年に１度以下のアクセス、
アーカイブ用途
クラスを自動変更する定義を設定可能
（保管日数 360 日以上は 安い Coldline 等 へ自動移動）

29. Cloud OnAir
Cloud
Dataprep
Google Cloud Storage の使い方
Cloud Storage
データ分析/処理
Cloud
Dataflow
BigQuery
Cloud
Dataproc
Cloud
Datalab
データ格納
様々な
システム
ウェブ UI
Cloud
Dataflow
ウェブ UI
SDK
サードパーティツール
Cloud Dataflow 等

30. Cloud OnAir
Cloud
Dataprep
Google Cloud Storage の使い方
Cloud Storage
データ分析/処理
Cloud
Dataflow
BigQuery
Cloud
Dataproc
Cloud
Datalab
データ格納
様々な
システム
ウェブ UI
Cloud
Dataflow
ウェブ UI
SDK
サードパーティツール
Cloud Dataflow 等
E-learning （次週放送）で
説明

31. Cloud OnAir
GCS - Google Cloud サービスとの統合
Cloud Storage
データ分析/処理
Cloud
Dataflow
BigQuery
Cloud
Dataproc
データをロード（BigQuery のストレージにコピー）せず分
析も可能
データを読み出し、結果保存ストレージとして利用
データを読み出し、結果保存ストレージとして利用

32. Cloud OnAir
データレイク と データウェアハウスの姿
データレイク データウェアハウス
事業の
データベース
Webサイトのア
クセスログ
分析者

33. Cloud OnAir
データレイク と データウェアハウスの姿
データレイク データウェアハウス
事業の
データベース
Webサイトのア
クセスログ
分析者
Cloud Storage BigQuery

34. Cloud OnAir
Cloud OnAir
Google Cloud 活用事例

35. Cloud OnAir
ソニーネットワークコミュニケーションズ 様
● BigQuery を利用してデータ分析基盤を構
築
● 基盤の管理より、データの利用や、 データ
構造の最適化に注力
● エンジニア・企画・分析官が近くで
仕事でき、 PDCA を高速化

36. Cloud OnAir
リクルートライフスタイル 様
● Airレジのデータを活用した飲食店 経営
アシスタント “Airメイト” を開発
● BigQuery, Cloud Storage をフル活用
● フルマネージドサービスで構成し、 膨大
なデータ処理

37. Cloud OnAir
Cloud OnAir
まとめ

38. Cloud OnAir
振り返り
データレイク データウェアハウス
事業の
データベース
Webサイトのア
クセスログ
分析者

39. Cloud OnAir
振り返り
データレイク データウェアハウス
事業の
データベース
Webサイトのア
クセスログ
分析者
Cloud Storage BigQuery

40. Cloud OnAir
まとめ
● データを活用するためには、 データを 蓄積、整理・分析 する必要がある
○ データを蓄積：データレイク
○ データを整理・分析：データウェアハウス (DWH)
● クラウドならではのスケーラビリティ、コストを利用することで気軽に構築
機械学習、データ分析などを活用する時を逃さない
第一歩目 ： データ活用のための基盤を構築