Downloaded 21 times
![TreasureDataの操作
データベースの確認
$ td tables
データにアクセス
$ td query -w –d データベース名 "SELECT v['code'] AS code,
COUNT(1) AS cnt
FROM テーブル名 GROUP BY v['code']"](https://image.slidesharecdn.com/fluentdtreasuredata-131030032441-phpapp02/75/Fluentd-TreasureData-18-2048.jpg)
![td-agentインストール
yumコマンドでtd-agentをインストール
$ sudo vi /etc/yum.repos.d/td.repo
$ sudo yum install -y td-agent
td.repo
[treasuredata]name=TreasureDatabaseurl=
http://packages.treasure-data.com/redhat/$basearchgpgcheck=0](https://image.slidesharecdn.com/fluentdtreasuredata-131030032441-phpapp02/75/Fluentd-TreasureData-21-2048.jpg)
![googledriveと連携
スケジュール作成時にスプレッドシートを指定
する
$ td sched:create [スケジュール名]"0 7 * * *" -t "Asia/Tokyo" -d
applog
--result „gspreadsheet://[ユーザー名]:[パスワード]
@[ドメイン名]/[ドライブ名]/[シート名]?mode=replace'
“SELECT ・・・・・・・・・・・”
※td-agentもしくはtoolbeltが入ったマシンからコマンドを実行する。](https://image.slidesharecdn.com/fluentdtreasuredata-131030032441-phpapp02/75/Fluentd-TreasureData-29-2048.jpg)
![[db tech showcase Tokyo 2014] D33: Prestoで実現するインタラクティブクエリ by トレジャーデータ株式会社 斉藤太郎](https://cdn.slidesharecdn.com/ss_thumbnails/dbtstokyo2014d33presto-141120012543-conversion-gate01-thumbnail.jpg?width=640&height=640&fit=bounds)
Fluentd勉強会 （導入編 TreasureData活用）
- 1. fluentd 勉強会 at ipros 導入編TreasureData活用 株式会社イプロス カイゼンチームリーダー 竹内孝志
- 2.
- 3.
- 4.
- 5.
- 6.
- 7. TreasureData概要 TreasureDataとはトレジャーデータが提供す るクラウドデータウェアハウスサービスのこ とをいう。 正式名称『Treasure Data CloudData Warehousing Service』。 クラウドストレージ上の任意のデータに対す るアクセス，および大規模な集計ジョブを走 らせることが可能。
- 8.
- 9.
- 10.
- 11.
- 12.
- 13.
- 14.
- 15.
- 16. TreasureDataへ接続 $ td account–f Enter your Treasure Data credentials. Email: ※TreasureDataのIDとパスワードを入力する。
- 17. TreasureDataの操作 DB作成 $ td db:createデータベース名 $ td table:create データベース名テーブル名 データ投入 $ td sample:apache apache.json $ td table:import データベース名 テーブル名--json apache.json tail -n 1 apache.json {"host":"200.129.205.208","user":"","method":"GET","path”:"/category/electronics”,"code":200,"refe rer":"-","size":62, "agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.11 (KHTML, like Gecko) Chrome/17.0.963.56 Safari/535.11","time":1334035906}
- 18. TreasureDataの操作 データベースの確認 $ td tables データにアクセス $td query -w –d データベース名 "SELECT v['code'] AS code, COUNT(1) AS cnt FROM テーブル名 GROUP BY v['code']"
- 19.
- 20.
- 21. td-agentインストール yumコマンドでtd-agentをインストール $ sudo vi/etc/yum.repos.d/td.repo $ sudo yum install -y td-agent td.repo [treasuredata]name=TreasureDatabaseurl= http://packages.treasure-data.com/redhat/$basearchgpgcheck=0
- 22. td-agentインストール 起動 $ /etc/init.d/td-agent start APIキー確認 $td account -f $ td apikey:show
- 23.
- 24. apacheのログ送信 td-agent.conf <match td.*.*> type tdlog apikeyXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX auto_create_table buffer_type file buffer_path /var/log/td-agent/buffer/td use_ssl true </match> <source> type tail path /var/log/httpd/httpd.access_log pos_file /tmp/httpd.access.log.pos format apache tag td.test.httpd </source>
- 25. 自由形式のログを送信 こんなアクセスログがあったとする。 アクセスログ 2013-10-22 07:46:37,028 12708592013-10-17 2013-10-22 09:03:46,635 1197675 2013-10-19 2013-10-22 12:32:25,593 1189472 2013-10-22 2013-10-22 12:33:05,671 1271888 2013-10-22 2013-10-22 12:38:21,005 1272255 2013-10-22 2013-10-22 12:41:40,961 1021213 2013-10-22 2013-10-22 12:43:46,654 1271174 2013-10-19 2013-10-22 12:44:43,604 1077677 2013-10-22 2013-10-22 12:45:38,035 1272280 2013-10-22 2013-10-22 12:47:23,007 1080238 2013-10-22 2013-10-22 12:47:38,265 1271174 2013-10-19
- 26. 自由形式のログを送信 設定ファイルに送信するログの記述を追加する td-agent.conf <source> type tail path /var/ipros/log/followmailopen.log tagtd.applog<%= env_suffix %>.followmailopen format /^(?<time>d{4}-d{2}-d{2} d{2}:d{2}:d{2},d{3}) (?<memberid>S+) (?<senddate>d{4}-d{2}-d{2})/ pos_file /var/log/td-agent/td.applog.followmailopen.pos </source>
- 27. フォーマットの指定方法 format /^(?<time>d{4}-d{2}-d{2} d{2}:d{2}:d{2},d{3}) 定型文 各カラムのフォーマット (?<memberid>S+)(?<senddate>d{4}-d{2}-d{2})/ カラム名 フォーマット
- 28.
- 29. googledriveと連携 スケジュール作成時にスプレッドシートを指定 する $ td sched:create[スケジュール名]"0 7 * * *" -t "Asia/Tokyo" -d applog --result „gspreadsheet://[ユーザー名]:[パスワード] @[ドメイン名]/[ドライブ名]/[シート名]?mode=replace' “SELECT ・・・・・・・・・・・” ※td-agentもしくはtoolbeltが入ったマシンからコマンドを実行する。
- 30.
- 31.
- 32.
- 33.
- 34.
- 35.
- 36.
- 37.
- 38.
- 39.
- 40.
- 41.