Submit Search
Upload
Google BigQueryを使ってみた!
•
43 likes
•
13,530 views
Yusuke Wada
Follow
PerlCasual #06 2014/10/24 Yusuke Wada a.k.a. yusukebe
Read less
Read more
Technology
Report
Share
Report
Share
1 of 39
Download Now
Download to read offline
Recommended
Google Analytics のデータ分析ハンズオン
Google Analytics のデータ分析ハンズオン
健一 辰濱
Android 開発の昔と今
Android 開発の昔と今
健一 辰濱
AdTruthが生み出すGoogle アナリティクス プレミアムの新しい活用方法 第1部
AdTruthが生み出すGoogle アナリティクス プレミアムの新しい活用方法 第1部
Sumio Ebisawa
「デジタルマーケティングプラットホーム」 に進化するGoogle アナリティクス
「デジタルマーケティングプラットホーム」 に進化するGoogle アナリティクス
Sumio Ebisawa
これでBigQueryをドヤ顔で語れる!BigQueryの基本
これでBigQueryをドヤ顔で語れる!BigQueryの基本
Tomohiro Shinden
BigQueryの課金、節約しませんか
BigQueryの課金、節約しませんか
Ryuji Tamagawa
SQLおじさん(自称)がBigQueryのStandard SQLを使ってみた
SQLおじさん(自称)がBigQueryのStandard SQLを使ってみた
Kumano Ryo
Perlcasual#6_2014-10-24
Perlcasual#6_2014-10-24
akihiro_0228
More Related Content
Viewers also liked
HTTP2Study chronicle #http2conf
HTTP2Study chronicle #http2conf
Jxck Jxck
Google big query × Amazon redshift
Google big query × Amazon redshift
Fumihide Nario
Ansvar Community Insurance Proposal
Ansvar Community Insurance Proposal
Statewide Insurance Brokers
企画案
企画案
Shinichiro Aska
How To Select Best Transmission For Your Vehicle
How To Select Best Transmission For Your Vehicle
Dreamcars Auto Repair
The Test, Gillie, Gettysburg, 4 JUL 2014
The Test, Gillie, Gettysburg, 4 JUL 2014
David R. Gillie
福岡商工会議所講演会(2017年2月17日)
福岡商工会議所講演会(2017年2月17日)
隆志 柳瀬
AIG Corporate Travel PDS
AIG Corporate Travel PDS
Statewide Insurance Brokers
TreeFrog Frameworkの紹介
TreeFrog Frameworkの紹介
ao27
ホームセンターにある画像をVision apiで分析してみた話
ホームセンターにある画像をVision apiで分析してみた話
Wasaburo Miyata
BigQuery case study in Groovenauts & Dive into the DataflowJavaSDK
BigQuery case study in Groovenauts & Dive into the DataflowJavaSDK
nagachika t
Ruby Kaja のご提案
Ruby Kaja のご提案
nagachika t
オプショナル型。 〜 なんとなく付ける ! ? 撲滅
オプショナル型。 〜 なんとなく付ける ! ? 撲滅
Tomoki Hasegawa
App engine admin apiを利用したgae%2 f go環境へのデプロイとgcp東京リージョンの性能評価
App engine admin apiを利用したgae%2 f go環境へのデプロイとgcp東京リージョンの性能評価
Kumano Ryo
Gceハンズオン20150411イン福岡
Gceハンズオン20150411イン福岡
Ryosuke Akahoshi
Distributed Deep Q-Learning
Distributed Deep Q-Learning
Lyft
GCP HTTPロードバランサ運用例
GCP HTTPロードバランサ運用例
Fumihiko Shiroyama
Firebase によるリアルタイム モバイル開発 @gcpug 福岡
Firebase によるリアルタイム モバイル開発 @gcpug 福岡
Google Cloud Platform - Japan
Inspection of CloudML Hyper Parameter Tuning
Inspection of CloudML Hyper Parameter Tuning
nagachika t
Webサービスのコンテンツパターン 或いはデータの活⽤
Webサービスのコンテンツパターン 或いはデータの活⽤
Yusuke Wada
Viewers also liked
(20)
HTTP2Study chronicle #http2conf
HTTP2Study chronicle #http2conf
Google big query × Amazon redshift
Google big query × Amazon redshift
Ansvar Community Insurance Proposal
Ansvar Community Insurance Proposal
企画案
企画案
How To Select Best Transmission For Your Vehicle
How To Select Best Transmission For Your Vehicle
The Test, Gillie, Gettysburg, 4 JUL 2014
The Test, Gillie, Gettysburg, 4 JUL 2014
福岡商工会議所講演会(2017年2月17日)
福岡商工会議所講演会(2017年2月17日)
AIG Corporate Travel PDS
AIG Corporate Travel PDS
TreeFrog Frameworkの紹介
TreeFrog Frameworkの紹介
ホームセンターにある画像をVision apiで分析してみた話
ホームセンターにある画像をVision apiで分析してみた話
BigQuery case study in Groovenauts & Dive into the DataflowJavaSDK
BigQuery case study in Groovenauts & Dive into the DataflowJavaSDK
Ruby Kaja のご提案
Ruby Kaja のご提案
オプショナル型。 〜 なんとなく付ける ! ? 撲滅
オプショナル型。 〜 なんとなく付ける ! ? 撲滅
App engine admin apiを利用したgae%2 f go環境へのデプロイとgcp東京リージョンの性能評価
App engine admin apiを利用したgae%2 f go環境へのデプロイとgcp東京リージョンの性能評価
Gceハンズオン20150411イン福岡
Gceハンズオン20150411イン福岡
Distributed Deep Q-Learning
Distributed Deep Q-Learning
GCP HTTPロードバランサ運用例
GCP HTTPロードバランサ運用例
Firebase によるリアルタイム モバイル開発 @gcpug 福岡
Firebase によるリアルタイム モバイル開発 @gcpug 福岡
Inspection of CloudML Hyper Parameter Tuning
Inspection of CloudML Hyper Parameter Tuning
Webサービスのコンテンツパターン 或いはデータの活⽤
Webサービスのコンテンツパターン 或いはデータの活⽤
Similar to Google BigQueryを使ってみた!
「チーム開発実践入門」勉強会
「チーム開発実践入門」勉強会
Yu Ishikawa
GoogleAnalytics Tools クックブック
GoogleAnalytics Tools クックブック
Takashi Sudou
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
Techon Organization
20200629 データベース基礎~データベースの扱いとデータ設計~
20200629 データベース基礎~データベースの扱いとデータ設計~
Hikaru Tanaka
Qgis2.18 基礎編
Qgis2.18 基礎編
Jyun Tanaka
DMTC 2nd プレゼンテーション
DMTC 2nd プレゼンテーション
真悟 平山
企業等に蓄積されたデータを分析するための処理機能の提案
企業等に蓄積されたデータを分析するための処理機能の提案
Toshiyuki Shimono
10+1 Things you should know about JavaScript testing
10+1 Things you should know about JavaScript testing
Takuto Wada
Similar to Google BigQueryを使ってみた!
(8)
「チーム開発実践入門」勉強会
「チーム開発実践入門」勉強会
GoogleAnalytics Tools クックブック
GoogleAnalytics Tools クックブック
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
初めてのデータ分析基盤構築をまかされた、その時何を考えておくと良いのか
20200629 データベース基礎~データベースの扱いとデータ設計~
20200629 データベース基礎~データベースの扱いとデータ設計~
Qgis2.18 基礎編
Qgis2.18 基礎編
DMTC 2nd プレゼンテーション
DMTC 2nd プレゼンテーション
企業等に蓄積されたデータを分析するための処理機能の提案
企業等に蓄積されたデータを分析するための処理機能の提案
10+1 Things you should know about JavaScript testing
10+1 Things you should know about JavaScript testing
More from Yusuke Wada
僕がつくった 70個のうちの48個のWebサービス達
僕がつくった 70個のうちの48個のWebサービス達
Yusuke Wada
スッとGoを取り入れる
スッとGoを取り入れる
Yusuke Wada
東京脱出計画中
東京脱出計画中
Yusuke Wada
Extreme remote working
Extreme remote working
Yusuke Wada
Podcastを支える技術、エンジニアのためのWebメディア、そしてCPAN
Podcastを支える技術、エンジニアのためのWebメディア、そしてCPAN
Yusuke Wada
創造のプロセスを回せ!v0.01
創造のプロセスを回せ!v0.01
Yusuke Wada
It's not only about "REMOTE"
It's not only about "REMOTE"
Yusuke Wada
事故からはじまるスケールチャンス
事故からはじまるスケールチャンス
Yusuke Wada
とある Perl Monger の働き方
とある Perl Monger の働き方
Yusuke Wada
5 minutes - YAPC::Asia Tokyo 2014
5 minutes - YAPC::Asia Tokyo 2014
Yusuke Wada
Podcastをカジュアルに 支える技術
Podcastをカジュアルに 支える技術
Yusuke Wada
The master plan ofscaling a web application
The master plan ofscaling a web application
Yusuke Wada
そのWebサービスは本当に「あたりまえ」だったのか?
そのWebサービスは本当に「あたりまえ」だったのか?
Yusuke Wada
Mojoliciousでつくる! Webアプリ入門
Mojoliciousでつくる! Webアプリ入門
Yusuke Wada
10 things to learn from Bokete
10 things to learn from Bokete
Yusuke Wada
Inside Bokete: Web Application with Mojolicious and others
Inside Bokete: Web Application with Mojolicious and others
Yusuke Wada
僕らの履歴書
僕らの履歴書
Yusuke Wada
僕らがWebサービスをつくる5つの理由
僕らがWebサービスをつくる5つの理由
Yusuke Wada
僕らがつくるための 「5W」について
僕らがつくるための 「5W」について
Yusuke Wada
「Webサービスのつくり方」 のつくり方
「Webサービスのつくり方」 のつくり方
Yusuke Wada
More from Yusuke Wada
(20)
僕がつくった 70個のうちの48個のWebサービス達
僕がつくった 70個のうちの48個のWebサービス達
スッとGoを取り入れる
スッとGoを取り入れる
東京脱出計画中
東京脱出計画中
Extreme remote working
Extreme remote working
Podcastを支える技術、エンジニアのためのWebメディア、そしてCPAN
Podcastを支える技術、エンジニアのためのWebメディア、そしてCPAN
創造のプロセスを回せ!v0.01
創造のプロセスを回せ!v0.01
It's not only about "REMOTE"
It's not only about "REMOTE"
事故からはじまるスケールチャンス
事故からはじまるスケールチャンス
とある Perl Monger の働き方
とある Perl Monger の働き方
5 minutes - YAPC::Asia Tokyo 2014
5 minutes - YAPC::Asia Tokyo 2014
Podcastをカジュアルに 支える技術
Podcastをカジュアルに 支える技術
The master plan ofscaling a web application
The master plan ofscaling a web application
そのWebサービスは本当に「あたりまえ」だったのか?
そのWebサービスは本当に「あたりまえ」だったのか?
Mojoliciousでつくる! Webアプリ入門
Mojoliciousでつくる! Webアプリ入門
10 things to learn from Bokete
10 things to learn from Bokete
Inside Bokete: Web Application with Mojolicious and others
Inside Bokete: Web Application with Mojolicious and others
僕らの履歴書
僕らの履歴書
僕らがWebサービスをつくる5つの理由
僕らがWebサービスをつくる5つの理由
僕らがつくるための 「5W」について
僕らがつくるための 「5W」について
「Webサービスのつくり方」 のつくり方
「Webサービスのつくり方」 のつくり方
Recently uploaded
The 86th National Convention of IPSJ (Student Encouragement Award))
The 86th National Convention of IPSJ (Student Encouragement Award))
yoshidakids7
AWS Lambdaと AWS API Gatewayを使ったREST API作り
AWS Lambdaと AWS API Gatewayを使ったREST API作り
iPride Co., Ltd.
バイオリンの運弓動作計測による初心者と経験者の差異分析
バイオリンの運弓動作計測による初心者と経験者の差異分析
sugiuralab
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
Takayuki Nakayama
これからはじめるAnsible - Ansible Night Tokyo 2024
これからはじめるAnsible - Ansible Night Tokyo 2024
Hideki Saito
00001_test_automation_portfolio_20240313
00001_test_automation_portfolio_20240313
ssuserf8ea02
AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。
AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。
iPride Co., Ltd.
チームで開発するための環境を整える
チームで開発するための環境を整える
onozaty
キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~
キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~
honeshabri
IGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdf
IGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdf
IGDA Japan SIG-Audio
SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」
SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」
IGDA Japan SIG-Audio
JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜
JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜
Naomi Yamasaki
Recently uploaded
(12)
The 86th National Convention of IPSJ (Student Encouragement Award))
The 86th National Convention of IPSJ (Student Encouragement Award))
AWS Lambdaと AWS API Gatewayを使ったREST API作り
AWS Lambdaと AWS API Gatewayを使ったREST API作り
バイオリンの運弓動作計測による初心者と経験者の差異分析
バイオリンの運弓動作計測による初心者と経験者の差異分析
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
キンドリル_ネットワーク自動化成熟度診断サービス ご紹介資料 2024年3月版
これからはじめるAnsible - Ansible Night Tokyo 2024
これからはじめるAnsible - Ansible Night Tokyo 2024
00001_test_automation_portfolio_20240313
00001_test_automation_portfolio_20240313
AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。
AWS_Bedrock入門 このスライドは2024/03/08の勉強会で発表されたものです。
チームで開発するための環境を整える
チームで開発するための環境を整える
キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~
キャラで動かすGPT ~GPTsでどんな感じに作っているとか考えていることとか~
IGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdf
IGDA Japan SIG Audio #22 オンラインセミナー VRの知る.pdf
SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」
SIG-AUDIO 2024 Vol.02 オンラインセミナー 「必殺使音人(ひっさつしおとにん)カットシーンを成敗せよ」
JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜
JAWS DAYS 2024 E-3 ランチにまつわるちょっといい話 〜給食がない町の小中学生に温かい昼食を〜
Google BigQueryを使ってみた!
1.
Google BigQueryを つかってみた!
PerlCasual#06 2014/10/24 Yusuke Wada a.k.a. yusukebe
2.
2つの問題意識
3.
1. 開発サイドから •
例えばアクセスログが膨らんで活用できない 1.サイズが大きい 2.分散されている 3.量が多いので解析するのが難しい • 何か困った時に過去のログが使えない... 大きなログを簡単に追いたい!
4.
2. ビジネスサイドから •
例えば行動ログ的な細かい指標が無い 1.データベース上の静的な情報のみ 2.Google Analyticsは非常に優秀だが... 3.ユーザーに紐付く情報を解析したい 指定したログを貯めてディレクターの人 でも解析・分析でできるようにしたい!
5.
と、その時... 巷でビッグクエリーという言葉を 聞くようになる...
6.
とか!
7.
Google BigQueryは巨大なデータを様々 なフォーマットで放り込めてSQLライ
クなクエリで問い合わせが可能でチョー 高速!120億レコードに対するクエリ を5秒でフルスキャン!ステキー しか も利用料も安いと来たもんだっ!
8.
ってことで Google BigQueryを使ってみた話+α
9.
データを用意する 業務で使っているログの場合 •
RPCへのアクセス+ユーザー識別子 • 一旦JSON形式でファイルへ書き出す • 集約サーバーに投げる • fluent-plugin-bigquery で BigQuery へ挿入
10.
Google BigQuery 集約サーバ
APIサーバAPIサーバAPIサーバ
11.
データを用意する デモのためにTwitter APIを利用する
• Streaming APIの「statuses/sample」を利用 • publicなツィートのほんの一部を取得可能 • fluent-plugin-twitter で簡単に • 最後はやはり fluent-plugin-bigquery を使う
12.
Google BigQuery Tweet収集サーバ
13.
スキーマは必要
15.
Google BigQueryは ブラウザから色々できる
16.
例えば... • BigQuery
Browser Tool (後述) • Googleアカウントベースで権限の追加 • 利用状況の確認 • APIクライアントの作成や削除 • APIリクエストのモニタリング • 課金の管理 フルマネージドで便利!
17.
独自のSQLで問い合わせる https://cloud.google.com/bigquery/query-reference
18.
ここで BigQuery Browser
Tool 登場
19.
SELECT COUNT(*) AS
tweet_count FROM [twitter-stream-sample:twitter.tweet] ちなみに10月18日(土)から収集開始
20.
22,289,497件 / 7.5秒
21.
Browser Toolで出来ること •
Queryの実行と結果を表形式で見る • Queryの保存とロード • CSV形式での結果のダウンロード • 新しいテーブルやDataSetの作成など 必要最小限の機能が揃っている さらにBigQuery Connector for Excelを使えばExcelとの連動も可能
22.
例えばディレクターが新しい KPIを図るためにQueryを 構築することも考えられる
23.
以上 Google BigQuery
を使ってみた話終わり One More Thing
24.
今作ってるモノ BigView For
Visualizing Google BigQuery • 元々業務でBigQueryの結果を可視化するため • Browser Toolのある種拡張 • BigQueryのThird-partyサービスは複雑で高価 • 目指すところはKibanaっぽいところ?
26.
BigViewで出来ること • Googleアカウントでのログイン
• 権限を持つプロジェクトへのクエリの実行 • とある条件下での結果のチャート表示 • Pieチャート • Lineチャート • クエリの保存 (未実装)
27.
BigViewを使ってみる
29.
1時間ごとのツイート数 をグラフにしてみる
30.
SELECT USEC_TO_TIMESTAMP((UTC_USEC_TO_HOUR(created_at))) AS
time, COUNT(*) AS tweet_count FROM [twitter-stream-sample:twitter.tweet] GROUP BY time ORDER BY time
32.
この辺はデータが欠落してます><
33.
ユーザーの使用言語の割合を チャートにしてみる
34.
SELECT user_lang, COUNT(user_lang)
AS lang_count FROM [twitter-stream-sample:twitter.tweet] GROUP BY user_lang ORDER BY lang_count DESC
37.
何らかのライセンスで パブリックに使ってもらう かもしれません!
38.
まとめ
39.
• Google BigQueryはブラウザで色々できちゃって
楽だし安いそして早い/速い • 実装(連携?)はおおよそfluentdにお任せ • 活用できてないデータを活かすことが出来る • Browser ToolでディレクターがSQLを書く? • BigViewでシンプルなデータの視覚化を目指す • Googleの回し者ではないです ^^
Download Now