DevFest Tokyo 2017の『FirebaseAnalytics + BigQuery + Datastudio』で話したスライドです。

1. FirebaseAnalytics +
BigQuery +
DataStudio
なかむら さとる

2. 自己紹介
● 名前：
なかむら さとる
● 経歴：
（元？現？）某小売系のインフラ・システム運用エンジニア
● その他：
Google Developers Experts(Cloud)、BigQueryとかデータ関連が大好き。
GCPUGで色々話しています。あと#bq_sushiやります。

3. と、いうことは？
● RealtimeDatabase
● CloudFirestore
● Android

4. と、いうことは？
● RealtimeDatabase
● CloudFirestore
● Android

5. Agenda
● Firebase Analyticsって？
● BigQuery Export
● DataStudio

6. Firebase Analyticsって？
● アプリにFirebaseSDKを導入するだけで、自動的にある程度のデータを収集してく
れる。
● 自分で収集するイベントを設定する事もできる。
● データの収集はイベント単位
● 他のサービスとも統合出来る。
○ BigQuery
○ Firebase Crash Reporting
○ FCM
○ Firebase Remote Config
○ Google タグマネージャ

7. Firebase Analyticsって？
● アプリにFirebaseSDKを導入するだけで、自動的にある程度のデータを収集してく
れる。
● 自分で収集するアクションを設定する事もできる。
● データの収集はアクション単位
● 他のサービスとも統合出来る。
○ BigQuery
○ Firebase Crash Reporting
○ FCM
○ Firebase Remote Config
○ Google タグマネージャ
今日はココを重点的に話します！
今日はココ話します！

8. Firebase Analyticsの画面
https://console.firebase.google.com/u/0/project/fir-demo-project/analytics/ap
p/android:com.labpixies.flood/overview%3FdataFilters=noFilter&dateRange=la
st30Days&rowStart=0&pageSize=10

9. BigQueryって？

10. BigQueryの仕組み
■The 12 Components of Google BigQuery
https://medium.com/google-cloud/the-12-c
omponents-of-google-bigquery-c2b49829a7
c7
■重要なコンポーネント
・Dremel（クエリエンジン）
・Colossus（ストレージエンジン）
・Jupiter（ネットワーク）
・Borg（大規模コンテナ・クラスタ管理）

11. サーバレス・サービスモデル
● 完全なサーバレスモデルである
○ ハードウェア、機能アップデートの管理はすべて Googleが行う
○ VMやCPU、メモリ、ディスクサイズなどの設定も不要
○ 数秒で数十万コアを利用することが出来る
○ 利用者はデータを入れること、抽出することだけを考える

12. 独自のストレージエンジン
● Colossus
○ GFS(Google File System)の後継
○ データセンター規模でのファイルシステム
○ GmailやDocsなどと同じインフラ
○ 同じデータを3箇所のデータセンターにレプリケーション
○ データのシャーディング
○ 暗号化
● Capacitor
○ カラムナーストレージフォーマット
○ データの最適化（並べ替えなど）
○ テーブルパーティショニング
● Poseidon
○ 様々なファイルフォーマットへの対応
（CSV,JSON,Avro,DataStore）
○ クエリとインポート/エクスポートの分離

13. Dremelというクエリエンジン
● 2015年にアップデート
● 最初はBigQuery独自のSQLだけでしたが、Standard-SQLにも対応
（※今後はStandard-SQLを利用、オプティマイザを実装）
● シャッフルやソートはインメモリで実施
● Borgで管理
● いつでも元気にフルスキャン

14. 独立したストレージとネットワーク
● Jupiterネットワーク
○ Googleが独自に開発したネットワーク（ H/W,S/Wともに）
○ 1Pb/secの帯域
○ 謎技術。。。。。（SDNであることは間違いない）
○ ストレージはネットワークで接続

15. 費用について
● クエリ課金
○ クエリ毎に利用したカラムに対するデータ容量で課金
○ 月額固定料金
● ストレージ課金
○ データ容量に対して課金
○ 90日以上変更の無いテーブルはデータ容量に対しての課金が半額
● ストリーミングインサート
○ バッチでInsertするのではなく、1行ずつ個別にいれるデータ量にたいして課金
● https://cloud.google.com/bigquery/pricing?hl=ja#transfer

16. IAMと認証、監査ログ
● Google CloudのIAMと権限の連携（Read/Write/Admin）
● DataSet単位での権限付け
● 認証はO-Authとサービスアカウント
● すべての操作を監査ログで保存し、BigQueryへExportも可能

17. 制限事項
● https://cloud.google.com/bigquery/quota-policy?hl=ja

18. BigQuery Export
● ユーザー単位で行動データ(JSON)がBigQueryにExportされます
● RealTimeExport（間隔は多分20分）と1日1回のExportの2つがあります。
● Blazeの契約が必要です。

19. それで何が嬉しいん？
● そもそもそんなデータ作るのめんどい
● 他のデータと行動データをくっつけることが出来る
○ 持ってるアプリのデータ
○ Adwords、DCM、YouTubeのレポートなどなど

20. デモる。
サンプルデータでデモします！

21. DataStudioとは
● 簡単に言うと、パワポスライドに数値を埋め込むことが出来るツール
● リアルタイムにデータを取得することが出来たり、『ある程度』利用者が自由に
データを出すことが出来る
● BIツールの超簡易版

23. デモる。
サンプルデータでデモる。

24. つまり・・・・・

25. つまり・・・・・

26. つまり・・・・・
BigQuery

27. つまり・・・・・
BigQuery
他の色んなデータ

28. つまり・・・・・
BigQuery
他の色んなデータ

29. つまり・・・・・
BigQuery
他の色んなデータ

30. データを気軽に楽しく使いましょう！

31. もうちょっと話ししたい人が居れば

32. もうちょっと話ししたい人が居れば
おもてに出ろ！
（※廊下で話ししましょう）
（※BigQueryならなんぼでも）