BigQuery + Fluentd

2,925 views

Published on

LT: Fluentd から BigQuery へデータ投入

Published in: Software
0 Comments
3 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
2,925
On SlideShare
0
From Embeds
0
Number of Embeds
114
Actions
Shares
0
Downloads
14
Comments
0
Likes
3
Embeds 0
No embeds

No notes for slide

BigQuery + Fluentd

  1. 1. BigQuery + Fluentd 2014/12/13 GDG Kyoto 2014 年忘れ勉強会
  2. 2. BigQuery とは...  Google Cloud Platform で 提供されるサービスのひとつ  RDBライクな分散クエリエンジン 巨大なデータベースに対して 高速にクエリ処理できる 他社製品だと,Redshift(AWS), Impala(Cloudera), Vertica(HP) など
  3. 3. 速さの秘訣①  カラム志向型データベース 3 テーブル 通常のRDBMS BigQuery 列方向のスキャンが速い! (平均,最大/最小値,...)
  4. 4. 速さの秘訣②  分散処理 4 クエリ 数千台!
  5. 5. お高いんでしょ??  ストレージ料金  容量:$0.02 / GB・月  ストリーム投入:$0.01 / 10万行 (2015年~) (※MB・秒 単位で計算される)  クエリ料金  オンデマンドタイプの時 • $5 / TB (MB単位)  予約タイプの時 • 月額$2万 / 毎秒5GB 5
  6. 6. 使い方  Developpers Console (console.developers.google.com) から BigQuery APIを有効にする 6
  7. 7. 使い方  BigQueryのコンソールに移動して操作  データセットやテーブルの作成・削除  データインポート  クエリ実行 7
  8. 8. Fluentd  オープンソースの ログ集約管理ソフトウェア  TresureData製  syslogやログファイルからデータを収集し 集計処理や伝送処理を受け持つ。 8 DB 監視 ツール Erasticsearch S3 Bigquery ... Kibana Grafana ...
  9. 9. ということで,組み合わせてみる 9 RaspberryPi BigQuery Python
  10. 10. BigQuery のテーブルスキーマ 10 > bq mk -t kosaic-jp:fluent_test.fluent_test schema.json Google Cloud SDK Shell から プロジェクト名:データセット名.テーブル名[ { "name": "time", "type": "TIMESTAMP" }, { "name": "value", "type": "FLOAT" } ]
  11. 11. fluentd.conf 11 <source> type forward port 24224 </source> <match test.**> type bigquery method insert auth_method private_key email ~~@developer.gserviceaccount.com private_key_path ~.p12 project kosaic-jp dataset fluent_test table fluent_test time_format %s time_field time fetch_schema true field_integer time </match> ← OAuthの秘密鍵ファイル(P12)パス ← OAuthのメールアドレス ← プロジェクト名 ← データセット名 ← テーブル名 ← タグ
  12. 12. Python 12 #!/usr/bin/python import time from fluent import sender from fluent import event FL_TAG="test" # init fluentd sender.setup(FL_TAG) # send data event.Event("metrics", { "value": 6.0 })
  13. 13. Demo 13
  14. 14. まとめ 14 という記事がQiitaにありましたので 今回試してみました。 詳しいことを知りたいかたは 以下の元記事をごらんください (_ _) 『Raspberry PiからFluentdでBigQueryにデータを送る ウェザーステーションの作り方』 http://qiita.com/kazunori279/items/0f8d827ac9966c9804ab

×