1.
Board Meeting
Treasure Agent
Presentation
Monitoring Service
August 15th, 2013 - 3:30PM PDT
Presented by
Hironobu Yoshikawa – CEO
Kazuki Ohta – CTO
Rich Ghiossi – VP, Marketing
Keith Goldstein – VP, Sales
Kengo Hirouchi – Director, Japan
Ankush Rustagi – Director, Marketing
Founder & CTO
太田 一樹
@kzk_mover
<k@treasure-data.com>
www.treasuredata.com
Copyright 2013

2.
会社概要
チーム概要
2011年12月創業、米国カリフォルニア州。
創業者は日本人3人組。2013年12月現在、社
員約30名。
Hiro Yoshikawa – CEO
Open source business veteran
Kaz Ohta – CTO
Founder of Hadoop Group Japan
Sadayuki Furuhashi – Chief Architect
MessagePack, Fluentd
ビッグデータの収集・保存・解析を一手に行
えるクラウドサービスを提供。他のサービス
と異なり、数日で始められるのが特徴。
サービスコンセプト
• すぐに使い始められる
• クラウドサービスとしての提供を行う
• シンプルな機能セット、手厚いサポート
• “Trend Setting Products” in Data for 2014
(Database Trends and Applications)
• “5 Hot Big Data Startups”
(Enterprise Apps Today)
Keith Goldstein – VP Sales & BD
VP, Business Devt, Tibco and Talend
Rich Ghiossi – VP Marketing
VP Marketing, ParAccel and HP
投資家概要
Sierra Ventures – (Tim Guleri)
Leading venture capital firm in Big Data
Bill Tai
Renown investor, GP Charles River Ventures
Jerry Yang
Founder, Yahoo!
Yukihiro “Matz” Matusmoto
Creator, “Ruby” programming language
James Lindenbaum
Founder, Heroku

3.
3
”データ解析の世界をシンプルにする”

4.
4
”データ解析の世界をシンプルにする”
”データ収集をシンプルにする”

5.
5
Project
• もともとはTreasure Data のデータコレクタ部分を、オープンソース化
• 2013年、国内外で広く浸透
• 世界中でデータを解析可能な形で収集するのをお手伝い
"We use Fluentd to collect massive data logs for our platforms. Having
developed a system based on Fluentd, we are now effectively monitoring and
analyzing our services in real-time. We are very much satisfied with its flexibility,
especially how easy it is to use in tandem with other systems."
"We utilize Fluentd to collect a very large amount of logs. The logs are
written into Hadoop HDFS clusters, and are also used to analyze
various service statuses in realtime. We also use many plugins from
rubygems.org to further enhance this mechanism."
Fluentd is very similar to Apache Flume or Facebook’s Scribe
[but] it’s easier to install and maintain and has better
documentation and support than either Flume or Scribe”
Fluentd オープンソースプロジェクトのユーザー例 (http://fluentd.org/)

6.
6
本日の話: Fluentdのモニタリング
• 公式ドキュメント
• http://docs.fluentd.org/articles/monitoring
• いくつかの方法が紹介されています。
• Fluentd Meetup #2 @外道父 Fluentdを優しく見守る監視事例
• http://www.slideshare.net/GedowFather/fluentd-meetup-2fluentd
• Monitによる監視事例
• あまりまとまった資料が無く、よく質問される。監視して
れば防げるデータ事故がかなり多い。 @ TD

7.
7
そもそも何をモニタリングしないといけないか？
• 基本編
• プロセス監視
• ポート監視
• システム情報
• CPU/Memory/Network
• Fluentd特化編
• buffer れ
• buffer flushのリトライ回数
• Fluentd自体のエラー / ワーニングログ

8.
8
モニターエージェント
• Fluentdの内部情報をHTTP経由で取得可能にするためのプラグイン
#
# 設定ファイルに下記を追加
#
<source>
type monitor_agent
bind 0.0.0.0
port 24220
</source>
$ curl http://host:24220/api/plugins.json
{"plugins":[
{"plugin_id":"object:
3fec669d6ac4","type":"forward","output_plugin":fal
se,"config":{"type":"forward"}},
{"plugin_id":"object:
3fec66ae3dcc","type":"stdout","output_plugin":true
,"config":{"type":"stdout"}},{"plugin_id":"object:
3fec66aead48","type":"forward","output_plugin":tr
ue,"buffer_queue_length":
0,"buffer_total_queued_size":0,"retry_count":
0,"config”{"type":"forward","host":"192.168.0.11"}}]
}
バッファ情報が取得可能、バッファ
れを検知出来る。

9.
9
アンケート: みなさんどこまでやっていますか？
• プロダクションで使ってる人？
• CPU/Memory等のシステム情報？
• Fluentdのプロセス監視？
• Fluentdのポート監視?
• Fluentdのログ？
• Fluentdのバッファ
れ？

10.
10
本日発表
”Treasure Agent Monitoring Service”

11.
11
Treasure Agent Monitoring Service
• td-agentのモニタリングサービス
• Treasure Dataのクラウドサービスの一機能
• fluent-plugin-td-monitoringをインストール
• td-agent v1.1.18 にはこっそり既に入っております
Treasure Agent
td-monitoring
Treasure Data Service
統計情報の定期送付 (毎分)
• システム統計情報
• Fluentd内部メトリクス情報
• SSLによる送信

12.
12
設定ファイルの書き換え (8行! 簡単!)
#
# 設定ファイルに下記を追加
#
<source>
type td_monitor_agent
# TD の APIキー
apikey TREASURE_DATA_APIKEY
# インスタンスID
instance_id aggregator1
</source>
リスタート後、動作開始
#
# カウント処理を追加
#
<match apache.**>
type td_counter
<store>
type file
path /path/to/apache.log
time_slice_format %Y%m%d
time_slice_wait 10m
time_format %Y%m%dT%H%M%S%z
buffer_type file
buffer_path /path/to/buf
</store>
</match>

13.
13
デモ

14.
14
提供形態: フリー (無料)
• Treasure Dataのフリープランの一機能
• 台数など、何らかの制限はフリープランにつけると
思います
• まずはaggregatorノードから使ってみて下さい
• 本日はベータリリース
• フィードバック頂けるユーザー様を探しています
• k@treasure-data.com までメールを頂くか、終了後
に Treasure Data の誰かに名刺を渡して頂けると嬉
しいです！！！

15.
15
まとめ
• Fluentdのモニタリングサービスはじめます
• $ yum upgrade td-agent
• $ apt-get upgrade td-agent
• $ gem install fluent-plugin-td-monitoring
• フィードバックを頂ける先進ユーザーを探して
います。 k@treasure-data.com までメール下さ
い！