第 11 回 Google Cloud INSIDE Games & Apps 「祝 BigQuery 10 周年！今こそ学ぶ BigQuery 徹底活用法」 Google Cloud カスタマー エンジニア 葛木 美紀

1. 明日から役立つ
活用
つのヒント
September 2020

2. Google
BigQuery
クラウドスケールの
エンタープライズ
データ ウェアハウス
標準 SQL（ANSI 2011 準拠）の
DML をサポート
暗号化、耐久性、高可用性
特徴 1
サーバーレスプラットフォーム
特徴 2
ストリーミングデータによる
リアルタイムインサイト
特徴 3
予測分析のための
組み込み ML
特徴 4
高速なインメモリ BI Engine
でより高速なレポーティングを実現

3. ML モデル作成の膨大な工数
データ
エクスポート
少量のデータを BigQuery からエクスポート
データ前処理
モデルトレーニング
ハイパー パラメータ チューニング
精度の確認
モデル改善のためさらにデータを取得
...
タスク例
個人情報の保護
データへのアクセス権限設定
セキュリティの考慮

4. BigQuery からデータを
移動せずに
機械学習モデル作成
使い慣れた SQL で
開発速度を向上
一般的な ML タスクを自動化
セキュリティとコンプライアンス
保護されたインフラ上で動作
BigQuery ML

5. 分類
ロジスティック回帰
DNN 分類 (TensorFlow)
XGBoost
回帰
その他の
モデル
k-means クラスタリング
時系列予測
モデルの
インポート
・エクスポート
バッチおよびオンライン予
測用 TensorFlow モデル
NDA
AutoML Tables
線形回帰
DNN 回帰 (TensorFlow)
XGBoost
AutoML Tables
リコメンデーション :
Matrix factorization
NEW
サポートしている機能

6. Agenda
1. 時系列分析
2. リコメンデーション
3. AutoML で LTV 分析
4. k-means による異常検知
5. XGBoost で解約予測

7. 01時系列分析

8. 時系列分析（売上、需要予測、広告効果測定）
● 対象データ:
ユーザーの行動ログ
など時系列データ、経
済指標、天候など外
部要因
● 用途：
需要予測、広告の時
系列 / Causal Impact
分析

9. 活用例:
● 需要予測
● 売上分析
時系列分析（ARIMA）
オプションおよびデフォルトの設定値
● オプション: AUTO_ARIMA (季節性) 適用有無
● 入力時系列の頻度 - 時間, 日, 週, 月, 四半期, 年
● 休日効果を追加可能
● 入力時系列の欠損値、タイムスタンプの重複、異常値の急増
などの自動クリーニング調整
CREATE MODEL yourmodel
OPTIONS (model_type = "ARIMA",
time_series_timestamp_col =
'xxxx',time_series_data_col =
'yyyy') AS SELECT..
ml.PREDICT for forecast values
ml.EVALUATE
ml.TRAINING_INFO
ml.FEATURE_INFO

10. Demo
http://goo.gle/bqmlarima

11. 02リコメンデーション

12. リコメンデーション
● 対象データ: 商品売上データ、
顧客 ID
● ユーザー、製品の類似度から
特定の商品購入者へのおすすめ
商品をリストアップ

13. Matrix Factorization
行列をアイテム x ユーザの好みに分解する
シンプルな埋め込みモデル

14. 活用例:
● 商品、映画、アプリのリコメンデーション
Matrix Factorization
CREATE MODEL yourmodel
OPTIONS (model_type =
"matrix_factorization") AS
SELECT..
ml.PREDICT for user-item ratings
ml.RECOMMEND for full user-item
matrix
ml.EVALUATE
ml.WEIGHTS
ml.TRAINING_INFO
ml.FEATURE_INFO
オプションおよびデフォルトの設定値
● 入力変数: User, 商品、評価レート
● オプション: 潜在的要因, デフォルトはレコード数
● L2 正則化が可能
● 学習、テストデータの分割
（デフォルトはランダムで 80-20）

15. ユーザに推薦
する商品を検索
SELECT * FROM ML.PREDICT(MODEL
models.recommend,
(SELECT user_id, product_id
FROM users, products))
Row predicted_rating user_id product_id
1 1.5746015507788755 101797 26209
2 1.8070705987455633 101797 13176
3 1.7171094544245578 101797 27845
4 1.9763373899260837 101797 47209
5 1.8659380090171271 101797 21137
6 1.721610848530093 101797 47766
7 1.9516130703939483 101797 21903

16. http://goo.gle/bqmlrec
http://goo.gle/bqmlrecommend
Demo

17. 03
AutoML で
LTV 分析

18. AutoML Tables とは
表形式 (構造化) データに対応した AutoML
チャネル
地域
販促
製品
売上
Month
2018-1
2018-1
2018-1
...
Channel ID
INSTORE
INSTORE
WEB
...
Product ID
102934
112932
901243
...
Geo ID
CA102
CA102
AZ203
...
Volume
600
800
300
...
需要予測
欠品予測
価格最適化
顧客生涯価値
顧客のコンバージョン /
Churn 予測
詐欺防止
etc ...
● 最先端の ML モデル
を自動的に構築
● 広範囲なデータ処理
● 大規模データセットを
適切に処理
（BigQuery は 10TB
まで対応）
● GUI での操作で
コード記述不要

19. 生涯価値、購入予測
● 対象データ: 商品売上データ、顧客 ID
● ユーザーの購入パターン、生涯価値、地域ごとの在庫予測などの予測

20. AutoML による LTV 分析
優良顧客をセグメント
通常の顧客
優良顧客

21. 活用例:
● 回帰
● 分類
AutoML
オプションおよびデフォルトの設定値
● オプション: クラスタ数. デフォルトで log10（行数）
● 距離のタイプ - Euclidean（default）, Cosine
● 数値、カテゴリカル変数両方に対応
● GIS を含めた主要な SQL データ型に対応
CREATE MODEL`demo.return_model`
OPTIONS
(model_type='automl_classifier',
labels = ['will_buy_later'])
AS SELECT ...
ml.PREDICT maps rows to closest clusters
ml.CENTROIDS for cluster centroids
ml.EVALUATE
ml.TRAINING_INFO
ml.FEATURE_INFO

22. Demo
http://goo.gle/bqmlautoml

23. 04
k-means による
異常検知

24. 異常検知
● 対象データ: ユーザーの行
動ログなど
● 用途：不正ユーザの行動
検知

25. 一般的な異常検知アプローチ
教師あり (Labeled) 教師なし (Unlabeled)
過去のデータを活用し、何が異常で
何が予期されているかを判断
データの性質に基づいて異常なイベ
ントを特定
Train Detect Train Detect
回帰、分類
クラスタリング

26. k-means クラスタリングによる外れ値検出
● データをクラスターに分割して分析
● データポイントがクラスターの中心から一
定距離外れている場合は異常とみなす

27. 活用例:
● 顧客セグメンテーション
● データ品質の調査
k-means クラスタリング
オプションおよびデフォルトの設定値
● オプション: クラスタ数. デフォルトで log10（行数）
● 距離のタイプ - Euclidean（default）, Cosine
● 数値、カテゴリカル変数両方に対応
● GIS を含めた主要な SQL データ型に対応
CREATE MODEL yourmodel
OPTIONS (model_type = "kmeans") AS
SELECT..
ml.PREDICT maps rows to closest
clusters
ml.CENTROIDS for cluster centroids
ml.EVALUATE
ml.TRAINING_INFO
ml.FEATURE_INFO

28. Demo
http://goo.gle/bqmlkmeans

29. 05
XGBoost で
解約予測

30. 解約予測
● 対象データ: 顧客のステータス、行
動ログ
● ユーザーの解約を検知、
予測

31. 活用例:
● 回帰 (Boosted_tree_regressor)
● 分類 (Boosted_tree_classifier)
XGBoost
オプションおよびデフォルトの設定値
● オプション: クラスタ数. デフォルトで log10（行数）
● 距離のタイプ - Euclidean（default）, Cosine
● 数値、カテゴリカル変数両方に対応
● L1, L2 正則化に対応
CREATE OR REPLACE MODEL
`dataset.model_name`
OPTIONS(model_type=‘boosted_tree_c
lassifier’, booster_type=‘gbtree’,
subsample = 0.85) AS
SELECT …
ml.PREDICT maps rows to closest
clusters
ml.CENTROIDS for cluster centroids
ml.EVALUATE
ml.TRAINING_INFO
ml.FEATURE_INFO

32. Demo
http://goo.gle/bqmlxgbt

33. Pricing
定額（予約）およびフレックススロット
● スロットをそのまま使用
● Cloud AI Platform ジョブは自動的にスロットに変換
オンデマンド
● 通常の Cloud AI Platform コストが発生
● トレーニングコストは $300/TB（東京リージョンの場合）
● Matrix Factorization は使用できません

34. Thank you