Hadoopを用いた大規模ログ解析

Analysis of Big Data via Hadoop 2011/04/10 #TokyoWebmining s_iida

Agenda • About me • What’s Hadoop • Data 形式 • Data 収集 • Data 集計 • 最後に 2

About me • DataMining部@DeNA – アフィリエイト広告 – データ解析 / ログ解析のための基盤作りなど • 過去：数学で Ph.D. – 複素微分幾何学、Topology – ポスドク一年 (PD: 学術振興会研究員) • 趣味：数学・ヨット・将棋 • @s_iida 3

はじめにいかにして膨大な情報（アクセスログ）を有効活用するか？ 4

Solution• 大規模データ分析基盤 – Hadoop, etc..• 大規模データマイニング – R, Mahout, etc.. 今日は前者についてのお話 5

What’s Hadoop ?• 大規模データを分散処理・管理するためのソフトウェア基盤• GFS や MapReduce などのJavaによる実装 6

分析に必要なデータ

Case: 例えば…Casebook という架空SNSがあったとします… 写真投稿・日記投稿・コメント・主要機能友達申請・「まじで！」ボタン, etc.. 名前・性別・年齢・自己紹介文開示情報友達数・恋人有無, etc.. 8

いわゆる行動ログユーザが何か「action」する毎に吐かれるログ uid time Action Type hoge100001 2011-03-01 20:30:11 comment *********100031 2011-03-01 20:30:14 Post diary *********100091 2011-03-01 20:30:16 Offer friend *********100202 2011-03-01 20:30:17 Majide button *********• どのユーザが何時、何をしたか、を記録. 9

ユーザ (status) 情報 uid がunique になっているテーブル Registratio Friend uid Birthday Sex type hasLover ****** n num 1990-02-111111 2010-02-01 01 F 89 0 ***** 1982-09-222222 2011-01-02 30 M 0 1 ***** 1973-04-333333 2009-12-24 03 M 25000 0 ***** 1988-11-444444 2010-05-22 13 F 203 1 ***** • 大抵の集計はユーザ情報と行動ログを組み合わせる。 • 通常はDBに最新情報を保持している。 10

例（集計軸）• 男女別コメント数• 年齢セグメント別写真投稿数→行動ログと現在のステータス情報をuidでjoinして集計• 今月・先月の友達100人以上の人のコメント投稿数• 「恋人がいない→いる」変化時の写真投稿数変化→過去のステータス情報を復元した上で集計する必要がある。 How ? 11

（その1）“変化ログ“を吐く uid time Action Type hoge ******** *********** Add Friend → 1→2 1→2 2→1 1→0 0→1 time=******• ある時点でのSnapshotを復元するには、その時点までのログをすべてなめる必要がある。• 変化の前後で集計したい場合は最適 12

（その2）非正規化 uid time Action Type Sex type age 1000222 ****** comment F 23 1022939 ****** comment M 35• joinしたい行動ログにあらかじめ追加しておく。• あらゆるステータス情報を追加するのは”無理”があるので、必要なものを吟味して追加。 13

（その3）定期的snapshot例えばdaily で該当 table 丸ごとdumpしてHDFSに保存. DB HDFS • ログに比較すれば、容量は少ない（はず） • 変化が激しいステータスには向かない. 14

ログをいかにして収集するか？

何故ログ収集？• Webサーバは複数。ログも分散している。 – 一箇所に集めないと集計出来ない（出来る場合もある）• 集めるなんて scp するだけじゃん！ – ログが膨大だと、ネットワークへの負荷などに気を使う。いかにしてログを一箇所に安全にいかにしてログを一箇所に「安全に」集めるか? ログめるか 16

HDFS (Hadoop Distributed File System) • 小さなFileを大量に作成することは避けたい. • Append(追記) の回数も出来るだけ減らしたい. 17

安易な方法（その1） logrotate + rsync (daily) Web servers Hadoop Cluster Server A node A Server B node B Server C node C …… … …… Server D …… hogelog.20110311.gz Server E ログが収集されるまで時間がかかるので、直近のログ集計が出来ない。 … 18

安易な方法（その2）１アクセス（1 ログ）ごとに送信 Web servers Hadoop Cluster Server A 2011-03-11 ***** node A Server B node B Server C node C … Server D 2011-03-11 ***** Server E 小さなfile が大量に出来てしまて、（恐らく）大 … 変なことになる。 19

そこで… 中継サーバを設置。一旦fileをマージ。Web serversServer A Hadoop Cluster 中継 servers node AServer B node BServer C node C … …Server D それでも1アクセスごとにログを投げると、アクServer E セス毎に「コネクション確立コスト」が… 20 …

さらに…webサーバでqueue処理. ある程度まとめてbulkで投げるWeb servers Hadoop Cluster 中継 serversServer A node AServer B node B node C …Server C …Server D 2011-03-11 ***** 2011-03-11 ***** 2011-03-11 *****Server E …… 21

まとめ（ログ収集）• HDFSは小さなFileが“苦手”なので、ログを収集する過程で何度かに分けてマージする.• 各webサーバで、中継サーバで、HDFS上で… 22

いかにしてログを集計するか？いかにしてログを集計するか？ログするか

ログ集計• ログが小さければ集計なんてナントでもなる。 – awk, perl, shell script, Excel…お好きなように。• いかにして膨大な量のログを集計するか？ MapReduce Pig, Hive… 24

Apache Pig• MapReduceを行うためのDSL.• 手続き型言語.• JavaでMapReduceを実装するのに比較すれば遥かに効率的.• 対話的操作も可能 (Pig Latin).• UDF (user-defined function) を自由に作成可能. 25

Pig script の例 2011-04-01の男女/年齢別UU/PV Reducerの数をの指定出来る指定出来る 26

【あるあるその1】 HDFS上にある大量のログのフォーマット変換ほぼ同時に大量の「変換後ログ」が書き出されるが…• HDFSにおける書き出しは必然的にネットワークの負荷を伴う（replication 数が1より大きい場合）• 小分けにして変換するなど場合によっては工夫が必要。 27

【あるあるその2】一ヶ月分のログの日付分割.大量の size 0のファイルが生成されてしまう(何故でしょう ? )• MultipleOutputFormat を使ったほうが良い。• IF (SIZE(A)) STORE A; みたいな書き方が出来れば良いが …。 28

最後に• 集計するところまでが、ある意味スタート地点。• 集計結果から何を読み取るか、どう利用するか（data mining) が重要。• どのような分析をしたいか、そのためにどのような集計が必要か、そのためにどのようなログが必要か、と逆算することが大事。• 「とりあえず適当なフォーマットでログを吐く」は止めましょう。 29

Thanks !!

Question ?

http://d.hatena.ne.jp	377
http://paper.li	87
http://snip-snap.posterous.com	43
http://twitter.com	12
http://webcache.googleusercontent.com	5
http://tweetedtimes.com	3
https://twitter.com	2
https://p.yammer.com	2
http://b.hatena.ne.jp	2
http://a0.twimg.com	2
http://wiki.onakasuita.org	1
http://www.slideshare.net	1
http://translate.googleusercontent.com	1
http://s.deeeki.com	1

Hadoopを用いた大規模ログ解析

by iidashuichi on Apr 10, 2011

Accessibility

Categories

Tags

Upload Details

Usage Rights

14 Embeds 539

Statistics

Hadoopを用いた大規模ログ解析 — Presentation Transcript