Google BigQuery 導入編

Google BigQuery
導入編
@2016 LIG INC.

@2016 LIG INC.
自己紹介
・高遠和也(づや)
・株式会社LIGでLIGブログの開発してます
・PHPer
・AWSはけっこう使う

@2016 LIG INC.
超高速と言われている
Google BigQuery
を試してみる
今日の内容

@2016 LIG INC.
・超高速
・安い(使い方次第だとは思うが)
・セキュリティばっちり
Google BigQuery

@2016 LIG INC.
GCPの登録とかは
(たぶん)誰かが説明してるはずなので
割愛
初期設定

@2016 LIG INC.
Datasetの作成
入力項目は
「?」を押すと英語の説明が読める

@2016 LIG INC.
Datasetの作成
名前
場所
データの保持期限を選択する
保持期限すぎると勝手に消えるらし
くて削除し忘れがないのは便利

@2016 LIG INC.
Datasetの作成
あっさり完成

@2016 LIG INC.
Tableの作成
CSVで初期データ入れれる
JSONとかも選べる
Table名
とスキーマ決めていく
今回は３つ

@2016 LIG INC.
Tableの作成
あっさり完成
(1回失敗したけど。integerにstringがま
じってた)

@2016 LIG INC.
Query試す
・SQLを触ったことあれば戸惑わず使えそう
リファレンス
　https://developers.google.com/bigquery/docs/query-reference

@2016 LIG INC.
サンプルデータでQuery試す
1.1秒！
3億1千万のレコード

@2016 LIG INC.
早い！！
　　　(気がする)

@2016 LIG INC.
2.5秒！
3億1千万のレコード
に対して正規表現で検索

@2016 LIG INC.
これは早い！！
　　　　　(感覚値)

@2016 LIG INC.
MySQLでも試してみる
・MySQL 5.6.20
・なるたけ同じスキーマを用意
・innodb_buffer_pool_size 2GB

@2016 LIG INC.
・CSVで1万件エクスポートしてコピー
・複製してとりあえず
6千万件くらいのデータをもつTable作成

@2016 LIG INC.
6千万件で
13.21秒！

@2016 LIG INC.
6千万件からの検
索で216.55秒！

@2016 LIG INC.
まとめ
Google BigQuery 早い！！
　　　　　(確信!!)

@2016 LIG INC.
ご静聴
ありがとうございました。

Recommended