Your SlideShare is downloading. ×
0
Google BigQuery
Analytics 読書会#1
2014/08/13(Wed)
tagomoris
BigQueryと俺
2014/08/13(Wed)
tagomoris
appengine ja hackathon
#6 in 2010/07/31
kazunori -san says: 「BQまじすごい」
ペーパーを眺めてあーだこーだ言う
with @ashigeru 先生
COUNT(DISTINCT va...
そして時は流れ
someday in Dec 2013
tagomoris:「なんか面白趣味プロダクトのネタないかな」
kazunori:「Fluentd BigQueryプラグインほしい!」
tagomoris:「ガタッ!」
fluent-plugin-bigquery爆誕
当初streaming insertのAPI制限がきつかった
buffer pluginも書いてカリカリチューン
fluent-plugin-buffer-lightening
今となってはだいぶ緩い
fluent-plugin-bigquery
メンテナ募集中!
閑話休題
Using the Command-Line Client
CLIも使えるよ
Pythonで書かれてるよ
コードが読めるのでBigQuery APIの使いか
たを学ぶのにもちょうべんり
Install and Setup (1)
Pythonは予め入れておけ、2.7だぞ
BigQuery clientのコードはGoogle codeにある
Google Cloud SDKにBigQuery clientも入って
るのでインスト...
Install and Setup (2)
入れたらとりあえずGoogleアカウント認証
gcloud auth login
ブラウザでOAuth認証
実行端末に認証情報が保存される
project id の入力
Install and Setup (3)
権限は好きなときにrevokeできるよ
Webブラウザで
PC単位でなら: gcloud auth revoke
プロジェクト単位なら: gcloud config set
project <proje...
ここで一句
“gcloud components update” まじうざい
Using the Client (1)
bq と打てば何ができるかわかる、超べんり
bq [global flags] <command> [command flags]
[command argument]
bq --help と打てばオプショ...
Using the Client (2)
bq ls コマンドで何があるかわかる、べんり
project id list: bq ls -p
datasets list: bq ls
tables list: bq ls <dataset_na...
Using the Client (3)
CLIだとprojectの違うアクセス設定されている
datasetとかが表示できない
でも名前がわかってれば中身は見られる
bq ls publicdata:samples
この本の後のほうで残りのコ...
Service Account Access (1)
Google個人アカウントじゃなくてService
Accountというやつも使えるよ
private keyだけで認証できる、べんり
サンプルコードとか自分で書いたコードを実
行するときに...
Service Account Access (2)
$HOME/.bigqueryrc にGoogleアカウント設定
がある(ある?)
このファイルはCLI global flagsのリスト
CLIでの指定は設定ファイルのを上書きする
Service Account Access (3)
Service Account設定は別ファイルに作る
<service-account-id>@developer.gserviceaccount.com
$HOME/.bigquery.<...
Service Account Access (4)
この章のダウンロードコンテンツ:
設定ファイル作成用便利スクリプト
(以下省略、はいはい便利便利)
python-setuptools / pip を忘れるな!
Service Account Access (5)
bq --bigqueryrc=$HOME/.bigqueryrc.foo ls
なんか言われたら easy_install pyOpenSSl
It’s not typo
system p...
おしまい
Upcoming SlideShare
Loading in...5
×

BigQuery読書会#1資料

1,157

Published on

http://bigquery-analytics-reading.connpass.com/event/7700/

Published in: Technology

Transcript of "BigQuery読書会#1資料"

  1. 1. Google BigQuery Analytics 読書会#1 2014/08/13(Wed) tagomoris
  2. 2. BigQueryと俺 2014/08/13(Wed) tagomoris
  3. 3. appengine ja hackathon #6 in 2010/07/31 kazunori -san says: 「BQまじすごい」 ペーパーを眺めてあーだこーだ言う with @ashigeru 先生 COUNT(DISTINCT val) 問題 http://d.hatena.ne.jp/kazunori_279/20100527/1274950030
  4. 4. そして時は流れ
  5. 5. someday in Dec 2013 tagomoris:「なんか面白趣味プロダクトのネタないかな」 kazunori:「Fluentd BigQueryプラグインほしい!」 tagomoris:「ガタッ!」
  6. 6. fluent-plugin-bigquery爆誕 当初streaming insertのAPI制限がきつかった buffer pluginも書いてカリカリチューン fluent-plugin-buffer-lightening 今となってはだいぶ緩い
  7. 7. fluent-plugin-bigquery メンテナ募集中!
  8. 8. 閑話休題
  9. 9. Using the Command-Line Client CLIも使えるよ Pythonで書かれてるよ コードが読めるのでBigQuery APIの使いか たを学ぶのにもちょうべんり
  10. 10. Install and Setup (1) Pythonは予め入れておけ、2.7だぞ BigQuery clientのコードはGoogle codeにある Google Cloud SDKにBigQuery clientも入って るのでインストールはそっちから 本のAppEngineコードも試したければ言語にあ わせたAppEngine SDKも入れよう
  11. 11. Install and Setup (2) 入れたらとりあえずGoogleアカウント認証 gcloud auth login ブラウザでOAuth認証 実行端末に認証情報が保存される project id の入力
  12. 12. Install and Setup (3) 権限は好きなときにrevokeできるよ Webブラウザで PC単位でなら: gcloud auth revoke プロジェクト単位なら: gcloud config set project <project_id> 複数project持ってるならデフォルトを選ぶこ と
  13. 13. ここで一句 “gcloud components update” まじうざい
  14. 14. Using the Client (1) bq と打てば何ができるかわかる、超べんり bq [global flags] <command> [command flags] [command argument] bq --help と打てばオプションリストが出る、 超べんり bq help <command> でヘルプが出る、最高
  15. 15. Using the Client (2) bq ls コマンドで何があるかわかる、べんり project id list: bq ls -p datasets list: bq ls tables list: bq ls <dataset_name> recent job list: bq ls -j --format で整形できる、まじべんり
  16. 16. Using the Client (3) CLIだとprojectの違うアクセス設定されている datasetとかが表示できない でも名前がわかってれば中身は見られる bq ls publicdata:samples この本の後のほうで残りのコマンドも試すよ
  17. 17. Service Account Access (1) Google個人アカウントじゃなくてService Accountというやつも使えるよ private keyだけで認証できる、べんり サンプルコードとか自分で書いたコードを実 行するときにとくにべんり
  18. 18. Service Account Access (2) $HOME/.bigqueryrc にGoogleアカウント設定 がある(ある?) このファイルはCLI global flagsのリスト CLIでの指定は設定ファイルのを上書きする
  19. 19. Service Account Access (3) Service Account設定は別ファイルに作る <service-account-id>@developer.gserviceaccount.com $HOME/.bigquery.<service-account-id> service_account = <service-account-id>@... service_account_credential_file = TOKEN_PATH service_account_private_key_file = PKEY_PATH project_id = PROJECT_ID
  20. 20. Service Account Access (4) この章のダウンロードコンテンツ: 設定ファイル作成用便利スクリプト (以下省略、はいはい便利便利) python-setuptools / pip を忘れるな!
  21. 21. Service Account Access (5) bq --bigqueryrc=$HOME/.bigqueryrc.foo ls なんか言われたら easy_install pyOpenSSl It’s not typo system pythonに入れられなかったら PYTHONPATH export $BIGQUERYRC=PATH もちょうべんり
  22. 22. おしまい
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×