[Cloud OnAir] データウェアハウスモダナイゼーション 2019年10月17日放送

Cloud Onr
Cloud OnAir
Cloud OnAir
データウェアハウスモダナイゼーション
〜歴史から振り返るデータウェアハウスの意義〜
2019 年 10 月 17 日放送

Agenda
Cloud OnAir
1
3
2
データウェアハウスを取り巻く環境の変化
サービス / ツールのご紹介
顧客事例

Cloud OnAir
Cloud OnAir
データウェアハウスを取り巻く
環境の変化

Cloud OnAir
データウェアハウスの起源
データウェアハウスの父 : William H. (Bill) Inmon
● データウェアハウスとは、特定の目的のために、様々なデータが
統合され、保存されたデータは変更がされない、
運営者の意思決定をサポートするためのものである。
“A data warehouse is a subject-oriented, integrated, nonvolatile, and
time-variant collection of data in support of management’s
decisions.”
(William H. (Bill) Inmon : “Building the Data Warehouse”, p.29 訳は引用者による)

Cloud OnAir
データウェアハウスの定義 (簡易)
● 特定の目的のため
● データの統合場所
● 消さない、更新しない、蓄積
● 意思決定をサポート

Cloud OnAir
ビジネスニーズの変革
運営レポート
“今、全製品の在庫は
いくつある?”
“全製品を合算した先月の
売上は?”
1
Enterprise BI
アドホック分析
“どのサプライヤーが
間違ったアイテムを
送ってきたか?”
“なぜ、特定地域の売上は
低いのか?”
3
Data mining
予測
“来期のために、
どれほどの燃料を
仕入れるべきか”
“下半期の売上は、
現時点の推移からみると、
どのくらいに
着地しそうか”
4
AI/ML
アドホック
レポート
“先月、特定部門での
新規顧客は何人増えた?”
“何人のお客さんが
このサービスの利用を
やめた?”
2
Self-Service BI
2000’s 2010’s Now90’s

Cloud OnAir
ビジネスニーズの変革 (90’s)
運営レポート
“今、全製品の在庫はいくつ
ある?”
“全製品を合算した先月の売
上は?”
1
Enterprise BI
“どのサプライヤーが間違っ
たアイテムを送ってきたか?”
“なぜ、特定地域の売上は低
いのか?”
3
Data mining
予測
“来期のために、どれほどの
燃料を仕入れるべきか”
“下半期の売上は、現時点の
推移からみると、どのくらいに
4
AI/ML
アドホック
レポート
“先月、特定部門での新規顧
客は何人増えた?”
“何人のお客さんがこのサー
ビスの利用をやめた?”
2
Self-Service BI
2000’s 2010’s Now90’s
運営レポート
いくつある?”
売上は?”
1
Enterprise BI
低いのか?”
3
Data mining
予測
どのくらいに
4
AI/ML
アドホック
レポート
やめた?”
2
Self-Service BI

Cloud OnAir
ユースケース: 運営レポート
ユースケース主な関心
在庫管理: “利用可能な在庫はいくつある?” 量データ
売上: “今月の売上は?” 時系列データ
解約率: “何人のお客さんが解約した?” サービス / 製品の信頼性

Cloud OnAir
アーキテクチャの変革 (90’s)
データソースステージング ETL データウェアハウスデータアクセス
ERP
データウェアハウス
(RDBMS)
データ
キューブ
CRM
その他
バッチ処
理
ステージングエ
リア
データ
マート
データ
マート
ETL
バッチ処
理

Cloud OnAir
運営レポート
ある?”
上は?”
1
Enterprise BI
いのか?”
3
Data mining
予測
4
AI/ML
アドホック
レポート
2
Self-Service BI
2000’s 2010’s Now90’s
運営レポート
いくつある?”
売上は?”
1
Enterprise BI
低いのか?”
3
Data mining
予測
どのくらいに
4
AI/ML
アドホック
レポート
やめた?”
2
Self-Service BI

Cloud OnAir
ユースケース: アドホックレポート
キャンペーンの効果測定: “何人の新しいお客さんが
ニュースレターに登録した?”
複数のデータ
顧客獲得のためのファネル分析: “何人のお客様を
パッシブフェーズからアクティブフェーズにできた?”
強力な BI ツール
市場動向: “自分の市場は、他の市場に比べてどれくらい
成長している?”
データへの即時アクセス

Cloud OnAir
ERP
(アプライアンス)
データ
キューブ
CRM
その他
バッチ処
理
リア
データ
マート
データ
マート
BI
リアル
タイム
ETL
バッチ処
理
キュー

Cloud OnAir
運営レポート
ある?”
上は?”
1
Enterprise BI
いのか?”
3
Data mining
予測
4
AI/ML
アドホック
レポート
2
Self-Service BI
2000’s 2010’s Now90’s
運営レポート
いくつある?”
売上は?”
1
Enterprise BI
低いのか?”
3
Data mining
予測
どのくらいに
4
AI/ML
アドホック
レポート
やめた?”
2
Self-Service BI

Cloud OnAir
ユースケース: アドホック分析
データマイニング: “何故、ある地域の売上は低いのか?” 強力な統計、分析ツール
根本原因分析: “故障しやすい部品を出荷しているサプライヤーは?” 異なるデータの連携
ログ分析: “このユーザーは過去にどの商品に興味を持っていた?” 柔軟なデータ格納庫

Cloud OnAir
ERP
(アプライアンス)
データ
キューブ
Spark JDBC コネクタ
SQL クエリ
kafka
CRM
その他
バッチ処
理
リア
データ
マート
データ
マート
BI
不定形
リアル
タイム
ETL
HDFS
HIVE
バッチ処
理
hadoop

Cloud OnAir
ビジネスニーズの変革 (Now)
運営レポート
ある?”
上は?”
1
Enterprise BI
いのか?”
3
Data mining
予測
4
AI/ML
アドホック
レポート
2
Self-Service BI
2000’s 2010’s Now90’s
運営レポート
いくつある?”
売上は?”
1
Enterprise BI
低いのか?”
3
Data mining
予測
どのくらいに
4
AI/ML
アドホック
レポート
やめた?”
2
Self-Service BI

Cloud OnAir
ユースケース: 予測
ビッグデータ: “Web 上のデータから導き出される
来年のトレンドは?”
ビッグデータ分析
数値予測: “来期に向けて燃料をどのくらい購入すべき?” AI / ML による数値予測
セグメンテーション: “この商品を買った顧客には何を
すすめるべき?”
AI / ML によるカテゴリ予測

Cloud OnAir
アーキテクチャの変革 (Now)
ERP
(SaaS)
データ
キューブ
Spark JDBC コネクタ
SQL クエリ
kafka
CRM
その他
バッチ処
理
リア
データ
マート
データ
マート
BI
不定形
リアル
タイム
ETL
HDFS
HIVE
hadoop
Cloud

Cloud OnAir
サーバーレスでデータウェアハウスを作るメリット
複雑な ETL を
一から構築
アクセス制御への
対応
対応 BI が
レガシー
バッチデータ
処理
手動による
セキュリティ
アップデート
管理、運用業務に
コストがかかる
オンプレミス
データウェアハ
ウス
クラウドデータ
ウェアハウス
(例 : BigQuery)
ETL 構築作業の
自動化
容易な権限管理複数の BI ツールと
の連携
リアルタイム
データ処理
継続的なパッチ
アップデート
データ分析に時間
がかかる

Cloud OnAir
サーバーレスデータ分析のメリット
Analysis and
insights
サーバーレスデータウェアハウス
パフォーマンス
チューニング
モニタリング
信頼性デプロイと設定
利用率の向上
分析と洞察
リソース
プロビジョニング
スケールの
調整
分析と洞察
オンプレミスデータウェアハウス

Cloud OnAir
Forrester Research Names
Google Cloud a Leader in Cloud
Data Warehouses
BigQuery への外部リサーチ機関による評価
お客様は [BigQuery の] 柔軟なインフラ
ストラクチャ、実績のあるハイエンド規模と
パフォーマンス、強力なAI / ML 機能、
そして幅広い分析ユースケースのサポートを
望んでいます。
The Forrester Wave™:
Cloud Data Warehouse, Q4 2018
参照リンク :
https://cloud.google.com/forrester-cloud-data-warehouse/?hl=ja

Cloud OnAir
Cloud OnAir
サービス / ツールのご紹介

Cloud OnAir
移行 / 構築作業者に関して

Cloud OnAir
移行 / 構築方法の決定フロー
自社で作業者を用意できる Google の支援が必要
YES
NO
BigQuery の
無料枠やスターター
パックの利用
パートナーと協力する
Google の
コンサルティング
サービスの利用

Cloud OnAir
データ連携のパートナー

Cloud OnAir
パートナーディレクトリから探す
参照リンク :
https://cloud.withgoogle.com/partners/

Cloud OnAir
● 10 TB BQ Storage
● 500 BQ Flat Rate Slots
● 5 TB GCS (Regional)
● 50 TB BQ Storage API
● 50 GB of BI Engine
BigQuery 無料利用枠とスターターパック
BigQuery のコンポーネント
Google Cloud 一定利用枠
スターターパック無料利用枠
● 10 GB BQ Storage
● 10 GB GCS (Regional)
● 1 TB クエリ (オンデマンド)
BigQuery のコンポーネント
参照リンク :
https://cloud.google.com/bigquery/pricing?hl=ja#free-tier

Cloud OnAir
テクニカルアカウント
マネジメント
長期的な成功と
支援活動
コンサルティング
プロジェクト単位の
サポートと専門知識
トレーニング&
認定資格
トレーニングを通して人
材に浸透
クラウド化のプロセスを加速

Cloud OnAir
インフラデータ分析機械学習アプリケーション開
発
G Suiteセキュリティと信
頼性
変化と
カルチャー
実践内容
プロダクト
PSO のソリューションでお客様のニーズに対応
参照リンク :
https://cloud.google.com/consulting/?hl=ja
PSO : Professional Service Organization

Cloud OnAir
フェーズごとのサポート体制
計画導入最適化評価
テクニカルアカウントマ
ネジメント (TAM)
Cloud Start/
Cloud Discover
Cloud Plan
Cloud Deploy

Cloud OnAir
Cloud Plan: データ分析で扱う内容
アプリケーション、
ストリーミングデータ、
リアルタイムメッセージング、一括
処理、転送サービス、
対象データベース、移行ツールの
取込み
取込み
BI Tools、パートナー、 API、 Data
Studio、 Datalab
可視化
保存オプション、
データベースオプション、
コンプライアンス検討事項
保存
管理者コンソール、 ID と
アクセス、ネットワーキング、
モニタリング、請求
基礎
処理パイプライン、
モニタリング、
パフォーマンス、
マネージドの Spark と
Hadoop の作成
プロセス & 分析

Cloud OnAir
ツールに関して

Cloud OnAir
データウェアハウスの移行に伴うツール
ETL 処理
● Cloud Dataﬂow
● Cloud Dataprep
● Cloud Data Fusionレガシー
bq load / Cloud Data Fusion / Data Transfer Service
Cloud
storage
BigQuery
gsutil コマンドで移
行
Hadoop
bq load コマンド
Cloud Dataproc
ジョブ実行
gsutil コマンドで
データ移行
Cloud
storage
ジョブ実行

Cloud OnAir
移行ツールの選定
YES
NO
ETL ツールがすでにある？
Cloud
Dataﬂow
bq load
Cloud
Data Fusion
Data Transfer
Service
Cloud
Dataproc
GCP に適した形で再構築する？
Sqoop 、NiFi + Spark 、MapReduce
ジョブを利用している?
bq load
GCP からプルでデータソースに
接続する？
カスタムロジックや複雑な
データ処理が必要?
パイプラインの構築も必要?
データを加工せずに BigQuery に
シンクする?
Cloud
Dataprep

Cloud OnAir
YES
NO
Cloud
Dataﬂow
bq load
Cloud
Data Fusion
Data Transfer
Service
Cloud
Dataproc
bq load
接続する？
カスタムロジックや複雑なデータ処理が
必要?
シンクする?
Cloud
Dataprep
過去の Cloud OnAir “GCP 上でストリーミングデータ処理
基盤を構築してみよう！ ”
(2018 年 9 月 13 日放送) をご参照ください
過去の Cloud OnAir “BigQuery への
データインポート方法 [初級]”
(2019 年 3 月 14 日放送 ) をご参照ください
Cloud
Dataproc
Cloud
Dataprep

Cloud OnAir
YES
NO
Cloud
Dataﬂow
bq load
Cloud
Data Fusion
Data Transfer
Service
Cloud
Dataproc
bq load
接続する？
カスタムロジックや複雑な
データ処理が必要?
シンクする?
Cloud
Dataprep
Cloud
Dataproc
Cloud
Dataprep

Cloud OnAir
bq load コマンド
● BigQuery のテーブルにデータを
読み込ませたい
● Java, C#, Python, PHP, Ruby, Node.js,
Go などでプログラミングを組みたい
● ローカルディスクからロードをしたい
● Cloud Storage からロードをしたい
● 制限：
○ コマンド毎 10MB 以下
また 16,000 のレコード
○ フォルダまたWildcardは
使えない
参照リンク :
https://cloud.google.com/bigquery/docs/reference/bq-cli-reference?hl=ja#bq_load

Cloud OnAir
Cloud Data Fusion (ベータ版)
Cloud Data Fusion はデータパイプラインを
より素早く作成し、管理するための
フルマネージドで、クラウドネイティブな、エン
タープライズデータを統合するサービスです。
参照リンク :
https://cloud.google.com/data-fusion/?hl=ja

Cloud OnAir
Cloud Data Fusion を利用した BigQuery へのデータ移行
Streaming
Databases
Applications
Flat Files
IoT
Graph
SaaS
Cloud
Hadoop
データソース
Cloud Data Fusion BigQuery
収集蓄積

Cloud OnAir
Cloud Data Fusionを利用した BigQuery へのデータ移行
Streaming
Kafka, JMS,
SQS, etc
Databases
Oracle,MySQL,
MSSQL,Vertica,etc
Applications
Flat Files
CVS,XML,etc
IoT
MQTT
Graph
SaaS
SF,Marketo,
SAP,etc
Cloud
Snowﬂake,S3,Reds
hift, etc
Hadoop
データソース
Datafusion BigQuery
収集蓄積
Cloud Data Fusion の詳細については
10/31 の Cloud OnAir にてお話します

Cloud OnAir
Cloud Dataprep
● GUI で利用できるフルマネージドの
データクレンジングツール
● クレンジング例
○ フラットなテキストデータを
構造化データに
○ json 形式のデータを csv 形式に
○ Null 値に特定の文字列や数字を
割り当てる
○ PII 情報にマスキングを掛ける
参照リンク :
https://cloud.google.com/dataprep/?hl=ja

Cloud OnAir
Cloud Dataproc
● フルマネージドの Hadoop / Spark
● 現状の Spark ジョブを簡単に移行
● カスタマイズ可能なマシン
● 90 秒以内で立ち上げて、
エフェメラルまたオンデマンドの
クラスター秒単位の請求
● データの暗号化
● Cloud Dataproc Spark Jobs on
GKE によりコンテナ上での Spark
ジョブの実行が可能に (Alpha 版)
参照リンク :
https://cloud.google.com/dataproc/?hl=ja

Cloud OnAir
Cloud OnAir
顧客事例

Cloud OnAir
Google Cloud Blog より引用
https://cloud.google.com/blog/ja/topics/custo
mers/monotaro-bigquery
事例 : モノタロウ様

Cloud OnAir
● 既存アーキテクチャ（Redisベース）より
高度な分析を目指し BigQuery を利用
● 収集したストレージから分析ツールの
データ移動が不要に
● 一つのコンテンツが持つ価値の
最大化に貢献
Google Cloud Next ‘19 より引用
D1-2-S09: BigQuery を利用した視聴データのリアルタイムダッ
シュボード構築
事例 : テレビ東京様

Cloud OnAir
「ワークロードを GCP に移行することで、
技術的収益と経済的収益の両方がもたらされ、
世界中に分散している大規模な機関で
イノベーションを促進することができました。」
Darryl West
Group CIO, HSBC
事例 : HSBC 様

Cloud OnAir
Cloud OnAir
本日のまとめ

Cloud OnAir
● データウェアハウスは意思決定を
サポートするものである
● クラウドに移行すると、柔軟性が上がり
管理コストにもメリットが出る
● 移行に伴い Google の支援も利用できる
● 移行に適したツールを選択する
まとめ

[Cloud OnAir] データウェアハウスモダナイゼーション 2019年10月17日放送

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to [Cloud OnAir] データウェアハウスモダナイゼーション 2019年10月17日放送

Similar to [Cloud OnAir] データウェアハウスモダナイゼーション 2019年10月17日放送 (20)

More from Google Cloud Platform - Japan

More from Google Cloud Platform - Japan (20)

Recently uploaded

Recently uploaded (10)