Google Cloud ベストプラクティス：Google BigQuery 編 - 01 : BigQuery とは？

Confidential & Proprietary
Google BigQueryIntroduction / BigQuery Organization /
Exploring and Interacting with BigQuery
Google Cloud カスタマーエンジニア
Google Cloud ベストプラクティス

Agenda
● Introduction
● BigQuery Organization
● Exploring and Interacting
with BigQuery
Google Cloud ベストプラクティス Google BigQuery
※このスライドは 2017 年 12 月時点の情報に基づき作成しています。最新情報は Google Cloud Platform のドキュメントをご参照ください。
　https://cloud.google.com/docs/

● 億件レベルの大規模データセットに対する高速クエリ
● 分析用のデータウェアハウス
○ UPDATE, DELETE, INSERT は制限あり
● セットアップ、パフォーマンスチューニングやクラスタ拡張といったイ
ンフラ作業不要
● ストレージ容量無制限。自動スケールアウト
Google BigQuery とは

● BI ツールを使って非技術者でも操作可能
○ Tableau, QlickView, Google DataStudio, Google
Spreadsheet / Microsoft Excel (ODBC, JDBC)
● ETL
○ クエリ結果をテーブルに出力可能
○ JSON 関数/正規表現関数
● データ処理エンジンとの連携
○ Cloud Dataflow, Cloud Dataproc, Hadoop
Google BigQuery とは

BigQuery
ログ収集/分析基盤
Cloud Logging
App Engine
Analytics Server
Google Analytics
Compute Engine
On-premise / 他社クラウド
Google
Spreadsheet
Stream API
File
3rd party tools
Simba ODBC Driver
Google BigQuery 参考構成

5 年間における絶え間ないイノベーション
2010 2011 2012 2013 2014
一般公開
Large query results
2015 2016
900
300
0
1,200
コミットされたコード数
Google I/Oでのベータリリース
Dremel X
Big JOIN サポート
Dynamic Execution
Faster shuffle
100k qps ストリーミング
標準SQL
Table Partitioning
Capacitor
User-defined functions

BigQuery Organization

Dataset (organization, access control)
Job (query, import, export, copy)
Project (billing, top-level container)
Table (data with schema)
Projects
● オブジェクトの Root Namespace
● 課金管理
● ユーザ管理
● ユーザ権限管理
● 1 つ以上の Dataset を持つ
● Job を持つ
● ACL ( Access Control List ) をもつ

Datasets
● TableやViewの集合を持つ
● データセットのすべての tables/viewsにアクセスコント
ロールが適用
● ACLsはReaders, Writers とOwners
Projectのメンバー以外にアクセス権を与えることが可
能

Tables
● 行と列の集合
○ マネージドストレージにデータ格納
● スキーマを持つ
○ カラムの値は強い型を記述
● Viewsをサポート
○ SQLクエリでVirtual tablesを定義
● テーブルは外部に持てる (federated)
○ Google Cloud Storage 等を直接クエリできる

Jobs
● すべての長時間実行される可能性があるものに使わ
れる
● Examples:
○ クエリ
○ データのインポート、エクスポート
○ データのコピー
● キャンセルできる

Jobs
$ bq ls -a -j
jobId Job Type State Start Time Duration
-------------------------------------------- ---------- --------- ----------------- ----------
job_WFk8LFLjxBABcv595_77PfRAPus query SUCCESS 29 May 15:30:02 0:00:00
job_lYDOJYrbdwKXwSxRpWh6QhfNWpE query SUCCESS 29 May 14:51:46 0:00:01
job_CzrUdmhK9a95wuIGPeDAObUe5dg query SUCCESS 29 May 09:57:12 0:00:00
● BigQuery は処理の単位をジョブとして管理

Jobs
● BigQuery は処理の単位をジョブとして管理
$ bq --format json show -j job_WFk8LFLjxBABcv595_77PfRAPus
{"status":{"state":"DONE"},"kind":"bigquery#job","statistics":{"query":{"cacheHit":true,"totalBytesP
rocessed":"0"},"endTime":"1432881002581","creationTime":"1432881002386","totalBytesProcessed":"0","s
tartTime":"1432881002509"},"jobReference":{"projectId":"fukudak-playground","jobId":"job_WFk8LFLjxBA
Bcv595_77PfRAPus"},"etag":""Gn3Hpo5WaKnpFuT457VBDNMgZBw/byQrtfxSXA8MpoOtROYPvCfyNmE"","user_email"
:"fukudak@google.com","configuration":{"query":{"useQueryCache":true,"destinationTable":{"projectId"
:"fukudak-playground","tableId":"anon656e2eb1f794dbeb3a4233962b14d8418e618b74","datasetId":"_ccf1fa0
a59a1479e1ec782cce6708e9edf3984dc"},"priority":"INTERACTIVE","writeDisposition":"WRITE_TRUNCATE","cr
eateDisposition":"CREATE_IF_NEEDED","query":"SELECTn count(*)nFROMn
[bigquery-samples:wikimedia_pageviews.201201];"}},"id":"fukudak-playground:job_WFk8LFLjxBABcv595_77P
fRAPus","selfLink":"https://www.googleapis.com/bigquery/v2/projects/fukudak-playground/jobs/job_WFk8
LFLjxBABcv595_77PfRAPus"}

Exploring and Interacting
with BigQuery

ユーザ・インタフェース
● GUI BigQuery 管理コンソール(https://bigquery.cloud.google.com)
● CLI（bqコマンド)
● Cloud Datalab
● Google DataStudio
● API (RESTful API + 各種言語ライブラリ）
● 3rd パーティツール (Tableau, Qlikview, R, Simba ODBC driver,etc. )

17 億件 (72.7GB) のフルスキャンが 6.7 秒！

$ bq query ‘select count(*) from
publicdata:samples.shakespeare’
コマンド
● Python ベースのコマンドラインツール
● Google Cloud SDK にバンドル (link)
● BigQuery コマンドの主な機能
○ cp : テーブルのコピー
○ extract : ファイル出力
○ insert : 行の挿入
○ load : ファイルのロード
○ query: クエリの実行
○ rm: テーブルの削除

# load
$ bq load dataset.table ./data.csv ./schema.json
# insert
$ bq insert dataset.table /tmp/mydata.json
# query
bq query ‘select count(*) from publicdata:samples.natality’
# extract
$ bq extract --destination_format=NEWLINE_DELIMITED_JSON
94949352.ga_sessions_20150930 gs://bucketname
コマンド

curl -H "$(python auth.py)"
-H "Content-Type: application/json"
-X POST
-d {'jobReference': {
'jobId': 'job_1429217599',
'projectId': 'bigquery-e2e'},
'configuration': {
'query': {
'query': 'SELECT ...’}}}
"https://www.googleapis.com/bigquery/v2/projects/bigquery-e2e/jobs"
API
● RESTful API

Google API Client Library
https://cloud.google.com/bigquery/client-libraries

https://cloud.google.com/bigquery/client-libraries
Google Apps Script

3rd パーティ製ツール
https://cloud.google.com/bigquery/partners/

Google DataStudio

Cloud Datalab

Google BigQuery
Google Cloud ベストプラクティス
Thank you
1 : Introduction / BigQuery Organization / Exploring and Interacting with BigQuery
2 : Data ingestion into BigQuery / Writing Queries in BigQuery / Data extraction and exportation from BigQuery
3 : Best Practices and Performance Optimization / Cost Optimization

Google Cloud ベストプラクティス：Google BigQuery 編 - 01 : BigQuery とは？

Google Cloud ベストプラクティス：Google BigQuery 編 - 01 : BigQuery とは？

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Google Cloud ベストプラクティス：Google BigQuery 編 - 01 : BigQuery とは？

Similar to Google Cloud ベストプラクティス：Google BigQuery 編 - 01 : BigQuery とは？ (20)

More from Google Cloud Platform - Japan

More from Google Cloud Platform - Japan (20)

Recently uploaded

Recently uploaded (7)

Google Cloud ベストプラクティス：Google BigQuery 編 - 01 : BigQuery とは？