OSSで支えられるライブドアの巨大ログ集計 #nhntech

OSSで支えられるライブドアの巨大ログ集計 - HiveとFluentd - 第2回 NHNテクノロジーカンファレンス 2012/08/18 TAGOMORI Satoshi (@tagomoris)12年8月18日土曜日

TAGOMORI Satoshi (@tagomoris) NHNJapan株式会社ウェブサービス本部開発2室12年8月18日土曜日

今日の話どういうことをやっているかの話機能とコンポーネント分離の話規模の拡大とデプロイの話12年8月18日土曜日

どういうことをやっているかの話12年8月18日土曜日

アクセスログ収集・集計システム・サービスの稼動状況を明確にする PV, UUの集計 HTTPレスポンスコード毎の割合の時系列変化レスポンスタイムの統計・時系列変化そのほか必要に応じたログ調査など12年8月18日土曜日

概要 Web Server Fluentd log Web Server info Graphs (GrowthForecast) log Hive Client query Hive Server Hadoop/HDFS12年8月18日土曜日

構成ソフトウェア Hadoop Cluster (Hadoop, Hive) CDH3u5 + CentOS5 + JDK6 Fluentd Cluster Fluentd 0.10.25 + CentOS5 + Ruby 1.9.3-p194 + jemalloc Others GrowthForecast, HRForecast ﬂuent-agent-lite, Shib, ShibUI12年8月18日土曜日

Hive オープンソースプロダクト Hadoop MapReduce のためのDSL(ドメイン特化言語) HiveQL というほぼSQLそのままのものを使える特に集計・統計においてパフォーマンスが良い Hive Server経由でRPCを使える12年8月18日土曜日

Fluentd オープンソースプロダクト構造化ログ収集用ソフトウェアインストールが簡単、拡張性があり、比較的高速に動作プラグイン機構を備えていて豊富な公開プラグインが存在いくつかの機能を使うことでデータ処理にも使用可能12年8月18日土曜日

アクセスログ収集・集計ログ収集・変換: Fluentd 集計処理: Hive リアルタイム統計処理: Fluentd12年8月18日土曜日

概要 Web Server Fluentd log Web Server info Graphs (GrowthForecast) log Hive Client query Hive Server Hadoop/HDFS12年8月18日土曜日

実装の詳細 "Hive Tools in NHN Japan" Hadoop Source Code Reading vol.9 (2012/05/30) http://www.slideshare.net/tagomoris/hive-tools-in-nhn-japan-hadoopreading "Distributed message stream processing on Fluentd" Fluentd meetup in Japan #1 (2012/02/04) http://www.slideshare.net/tagomoris/distributed-stream-processing-on-fluentd-fluentd "Plugins by tagomoris" Fluentd Casual Talks (2012/05/18) http://www.slideshare.net/tagomoris/plugins-by-tagomoris-fluentdcasual12年8月18日土曜日

実装の詳細ごめん、無理…… "Hive Tools in NHN Japan" 30分 Hadoop Source Code Reading vol.9 (2012/05/30) http://www.slideshare.net/tagomoris/hive-tools-in-nhn-japan-hadoopreading "Distributed message stream processing on Fluentd" Fluentd meetup in Japan #1 (2012/02/04) 60分 30分 http://www.slideshare.net/tagomoris/distributed-stream-processing-on-fluentd-fluentd "Plugins by tagomoris" Fluentd Casual Talks (2012/05/18) 10分 30分 http://www.slideshare.net/tagomoris/plugins-by-tagomoris-fluentdcasual12年8月18日土曜日

集計クエリの登録と実行 Shib / ShibUI の画面でごらんください Shib でのクエリ入力と実行 ShibUI でのクエリ登録、グラフの閲覧 ShibUI でのクエリ作成12年8月18日土曜日

Why We Dont Use Data Analytics Services?12年8月18日土曜日

なぜ自分達で作るかなぜ Google Analytics (or others)じゃいけないのか？根拠: 数字の理由が説明可能でなければならない再現性: データさえあれば追試可能でなければならない機能と継続性の問題機能とコンポーネント分離の話規模の拡大とデプロイの話12年8月18日土曜日

機能とコンポーネント分離の話12年8月18日土曜日

コンポーネント分離 Hadoop / HDFS Hive Server 例:Hive系 Shib (node.js) ShibUI (Perl/Plack Web Application: Kossy) Users (Web Browser) HRForecast12年8月18日土曜日

機能のアップデートミドルウェアの機能アップデートこの分野のツールはアップデートが頻繁にあるしかも適用したいアップデートが多い UIツール等の機能アップデート (社内)ユーザ向けの機能の追加・修正など頻繁に行えないようでは仕事をしているとは言えない12年8月18日土曜日

機能向上のための鉄則頻繁に、ただし全体を壊さずにアップデートしたいコンポーネント分離を徹底するインターフェイスを明確に定めて疎結合化するためある箇所の変更の影響範囲をできるだけ小さくするため小さく、変更内容が追えるツールをOSSで揃える更新タイミングをコントロール可能な状態を維持する12年8月18日土曜日

規模の拡大とデプロイの話12年8月18日土曜日

デプロイ対象 deliver archiver backup servers deliver servers servers worker worker worker worker worker worker worker worker worker servers servers serializer serializer 例:Fluentdクラスタ HDFS (WebHDFS)12年8月18日土曜日

規模の拡大への対応量の拡大 PV増にともなうアクセスログの増大への対応「サーバを増やしてリストに追加するだけ」になってる？バリエーションの拡大サービス増減に関して手間がかかるようでは駄目「ログを流せばあとは全自動」になってる？私見「スケールする」と言うとき、両方に対応できているべき12年8月18日土曜日

スケールするクラスタ構成の鉄則変更は少なく、追加は容易に変更なしでバリエーション増に対応できる設定セットを作るその上で規模の桁が違う一部にだけ特例の設定を行う汎用の公開ソフトウェアを可能な限りそのまま使うデプロイ手順が複雑な構成はスケールしないできるだけミドルウェアに任せることで複雑さを軽減する 10%+の性能よりもデプロイ容易性の方が価値が高い12年8月18日土曜日

場合によってはあらゆるところに手を入れる覚悟をしておく12年8月18日土曜日

コンセプトの良いOSSを選んで使う Hive と Fluentd12年8月18日土曜日

Thanks! photo: crouton & luke by @kbysmnr12年8月18日土曜日

http://d.hatena.ne.jp	2116
http://seikoudoku2000.hatenablog.com	426
https://twitter.com	350
http://pandazx.hatenablog.com	98
http://www.pochi.cc	94
https://si0.twimg.com	45
https://twimg0-a.akamaihd.net	41
http://tweetedtimes.com	12
http://webcache.googleusercontent.com	8
http://s.deeeki.com	7
http://www.techgig.com	5
http://nuevospowerpoints.blogspot.com	4
http://nuevospowerpoints.blogspot.com.br	4
http://asakusasatellite.heroku.com	4
http://asakusa-satellite.org	2
http://www.twylah.com	2
http://mundo-powerpoints.blogspot.mx	1
http://mundo-powerpoints.blogspot.com.br	1
http://nuevospowerpoints.blogspot.com.ar	1
http://nuevospowerpoints.blogspot.com.es	1
http://translate.googleusercontent.com	1

OSSで支えられるライブドアの巨大ログ集計 #nhntech

by SATOSHI TAGOMORI on Aug 18, 2012

Accessibility

Categories

Upload Details

Usage Rights

21 Embeds 3,223

Statistics

OSSで支えられるライブドアの巨大ログ集計 #nhntech Presentation Transcript