1. OSSで支えられる
ライブドアの巨大ログ集計
- HiveとFluentd -
第2回 NHNテクノロジーカンファレンス
2012/08/18
TAGOMORI Satoshi (@tagomoris)
12年8月18日土曜日

2. TAGOMORI Satoshi (@tagomoris)
NHNJapan株式会社 ウェブサービス本部 開発2室
12年8月18日土曜日

3. 今日の話
どういうことをやっているかの話
機能とコンポーネント分離の話
規模の拡大とデプロイの話
12年8月18日土曜日

4. どういうことをやっているかの話
12年8月18日土曜日

5. アクセスログ収集・集計
システム・サービスの稼動状況を明確にする
PV, UUの集計
HTTPレスポンスコード毎の割合の時系列変化
レスポンスタイムの統計・時系列変化
そのほか必要に応じたログ調査など
12年8月18日土曜日

6. 概要
Web Server
Fluentd
log
Web Server info
Graphs
(GrowthForecast)
log
Hive Client
query
Hive Server
Hadoop/HDFS
12年8月18日土曜日

7. 構成ソフトウェア
Hadoop Cluster (Hadoop, Hive)
CDH3u5 + CentOS5 + JDK6
Fluentd Cluster
Fluentd 0.10.25 + CentOS5 + Ruby 1.9.3-p194 + jemalloc
Others
GrowthForecast, HRForecast
fluent-agent-lite, Shib, ShibUI
12年8月18日土曜日

8. Hive
オープンソースプロダクト
Hadoop MapReduce のためのDSL(ドメイン特化言語)
HiveQL というほぼSQLそのままのものを使える
特に集計・統計においてパフォーマンスが良い
Hive Server経由でRPCを使える
12年8月18日土曜日

9. Fluentd
オープンソースプロダクト
構造化ログ収集用ソフトウェア
インストールが簡単、拡張性があり、比較的高速に動作
プラグイン機構を備えていて豊富な公開プラグインが存在
いくつかの機能を使うことでデータ処理にも使用可能
12年8月18日土曜日

10. アクセスログ収集・集計
ログ収集・変換: Fluentd
集計処理: Hive
リアルタイム統計処理: Fluentd
12年8月18日土曜日

11. 概要
Web Server
Fluentd
log
Web Server info
Graphs
(GrowthForecast)
log
Hive Client
query
Hive Server
Hadoop/HDFS
12年8月18日土曜日

12. 実装の詳細
"Hive Tools in NHN Japan"
Hadoop Source Code Reading vol.9 (2012/05/30)
http://www.slideshare.net/tagomoris/hive-tools-in-nhn-japan-hadoopreading
"Distributed message stream processing on Fluentd"
Fluentd meetup in Japan #1 (2012/02/04)
http://www.slideshare.net/tagomoris/distributed-stream-processing-on-fluentd-fluentd
"Plugins by tagomoris"
Fluentd Casual Talks (2012/05/18)
http://www.slideshare.net/tagomoris/plugins-by-tagomoris-fluentdcasual
12年8月18日土曜日

13. 実装の詳細
ごめん、無理……
"Hive Tools in NHN Japan" 30分
Hadoop Source Code Reading vol.9 (2012/05/30)
http://www.slideshare.net/tagomoris/hive-tools-in-nhn-japan-hadoopreading
"Distributed message stream processing on Fluentd"
Fluentd meetup in Japan #1 (2012/02/04)
60分
30分
http://www.slideshare.net/tagomoris/distributed-stream-processing-on-fluentd-fluentd
"Plugins by tagomoris"
Fluentd Casual Talks (2012/05/18) 10分
30分
http://www.slideshare.net/tagomoris/plugins-by-tagomoris-fluentdcasual
12年8月18日土曜日

14. 集計クエリの登録と実行
Shib / ShibUI の画面でごらんください
Shib でのクエリ入力と実行
ShibUI でのクエリ登録、グラフの閲覧
ShibUI でのクエリ作成
12年8月18日土曜日

15. Why We Don't Use
Data Analytics Services?
12年8月18日土曜日

16. なぜ自分達で作るか
なぜ Google Analytics (or others)じゃいけないのか？
根拠: 数字の理由が説明可能でなければならない
再現性: データさえあれば追試可能でなければならない
機能と継続性の問題
機能とコンポーネント分離の話
規模の拡大とデプロイの話
12年8月18日土曜日

17. 機能とコンポーネント分離の話
12年8月18日土曜日

18. コンポーネント分離
Hadoop / HDFS
Hive Server
例:Hive系 Shib (node.js)
ShibUI
(Perl/Plack Web Application: Kossy)
Users
(Web Browser)
HRForecast
12年8月18日土曜日

19. 機能のアップデート
ミドルウェアの機能アップデート
この分野のツールはアップデートが頻繁にある
しかも適用したいアップデートが多い
UIツール等の機能アップデート
(社内)ユーザ向けの機能の追加・修正など
頻繁に行えないようでは仕事をしているとは言えない
12年8月18日土曜日

20. 機能向上のための鉄則
頻繁に、ただし全体を壊さずにアップデートしたい
コンポーネント分離を徹底する
インターフェイスを明確に定めて疎結合化するため
ある箇所の変更の影響範囲をできるだけ小さくするため
小さく、変更内容が追えるツールをOSSで揃える
更新タイミングをコントロール可能な状態を維持する
12年8月18日土曜日

21. 規模の拡大とデプロイの話
12年8月18日土曜日

22. デプロイ対象
deliver archiver backup
servers
deliver
servers
servers
worker worker worker worker
worker worker worker worker worker
servers
servers serializer serializer
例:Fluentdクラスタ HDFS
(WebHDFS)
12年8月18日土曜日

23. 規模の拡大への対応
量の拡大
PV増にともなうアクセスログの増大への対応
「サーバを増やしてリストに追加するだけ」になってる？
バリエーションの拡大
サービス増減に関して手間がかかるようでは駄目
「ログを流せばあとは全自動」になってる？
私見
「スケールする」と言うとき、両方に対応できているべき
12年8月18日土曜日

24. スケールするクラスタ構成の鉄則
変更は少なく、追加は容易に
変更なしでバリエーション増に対応できる設定セットを作る
その上で規模の桁が違う一部にだけ特例の設定を行う
汎用の公開ソフトウェアを可能な限りそのまま使う
デプロイ手順が複雑な構成はスケールしない
できるだけミドルウェアに任せることで複雑さを軽減する
10%+の性能よりもデプロイ容易性の方が価値が高い
12年8月18日土曜日

25. 場合によっては
あらゆるところに
手を入れる覚悟をしておく
12年8月18日土曜日

26. コンセプトの良いOSSを
選んで使う
Hive と Fluentd
12年8月18日土曜日

27. Thanks!
photo: crouton & luke
by @kbysmnr
12年8月18日土曜日