BigQuery読書会#1資料

1,345
-1

Published on

http://bigquery-analytics-reading.connpass.com/event/7700/

Published in: Technology

BigQuery読書会#1資料

  1. 1. Google BigQuery Analytics 読書会#1 2014/08/13(Wed) tagomoris
  2. 2. BigQueryと俺 2014/08/13(Wed) tagomoris
  3. 3. appengine ja hackathon #6 in 2010/07/31 kazunori -san says: 「BQまじすごい」 ペーパーを眺めてあーだこーだ言う with @ashigeru 先生 COUNT(DISTINCT val) 問題 http://d.hatena.ne.jp/kazunori_279/20100527/1274950030
  4. 4. そして時は流れ
  5. 5. someday in Dec 2013 tagomoris:「なんか面白趣味プロダクトのネタないかな」 kazunori:「Fluentd BigQueryプラグインほしい!」 tagomoris:「ガタッ!」
  6. 6. fluent-plugin-bigquery爆誕 当初streaming insertのAPI制限がきつかった buffer pluginも書いてカリカリチューン fluent-plugin-buffer-lightening 今となってはだいぶ緩い
  7. 7. fluent-plugin-bigquery メンテナ募集中!
  8. 8. 閑話休題
  9. 9. Using the Command-Line Client CLIも使えるよ Pythonで書かれてるよ コードが読めるのでBigQuery APIの使いか たを学ぶのにもちょうべんり
  10. 10. Install and Setup (1) Pythonは予め入れておけ、2.7だぞ BigQuery clientのコードはGoogle codeにある Google Cloud SDKにBigQuery clientも入って るのでインストールはそっちから 本のAppEngineコードも試したければ言語にあ わせたAppEngine SDKも入れよう
  11. 11. Install and Setup (2) 入れたらとりあえずGoogleアカウント認証 gcloud auth login ブラウザでOAuth認証 実行端末に認証情報が保存される project id の入力
  12. 12. Install and Setup (3) 権限は好きなときにrevokeできるよ Webブラウザで PC単位でなら: gcloud auth revoke プロジェクト単位なら: gcloud config set project <project_id> 複数project持ってるならデフォルトを選ぶこ と
  13. 13. ここで一句 “gcloud components update” まじうざい
  14. 14. Using the Client (1) bq と打てば何ができるかわかる、超べんり bq [global flags] <command> [command flags] [command argument] bq --help と打てばオプションリストが出る、 超べんり bq help <command> でヘルプが出る、最高
  15. 15. Using the Client (2) bq ls コマンドで何があるかわかる、べんり project id list: bq ls -p datasets list: bq ls tables list: bq ls <dataset_name> recent job list: bq ls -j --format で整形できる、まじべんり
  16. 16. Using the Client (3) CLIだとprojectの違うアクセス設定されている datasetとかが表示できない でも名前がわかってれば中身は見られる bq ls publicdata:samples この本の後のほうで残りのコマンドも試すよ
  17. 17. Service Account Access (1) Google個人アカウントじゃなくてService Accountというやつも使えるよ private keyだけで認証できる、べんり サンプルコードとか自分で書いたコードを実 行するときにとくにべんり
  18. 18. Service Account Access (2) $HOME/.bigqueryrc にGoogleアカウント設定 がある(ある?) このファイルはCLI global flagsのリスト CLIでの指定は設定ファイルのを上書きする
  19. 19. Service Account Access (3) Service Account設定は別ファイルに作る <service-account-id>@developer.gserviceaccount.com $HOME/.bigquery.<service-account-id> service_account = <service-account-id>@... service_account_credential_file = TOKEN_PATH service_account_private_key_file = PKEY_PATH project_id = PROJECT_ID
  20. 20. Service Account Access (4) この章のダウンロードコンテンツ: 設定ファイル作成用便利スクリプト (以下省略、はいはい便利便利) python-setuptools / pip を忘れるな!
  21. 21. Service Account Access (5) bq --bigqueryrc=$HOME/.bigqueryrc.foo ls なんか言われたら easy_install pyOpenSSl It’s not typo system pythonに入れられなかったら PYTHONPATH export $BIGQUERYRC=PATH もちょうべんり
  22. 22. おしまい

×