Download as PDF, PPTX
![26
株式会社サイバーエージェント
SerDe（１）
• Serialization/Deserialization
• カラムの区切り文字などを定義
CREATE TABLE test(c1 string, c2 int)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '¥t'
LINES TERMINATED BY '¥n';
ichiro[tab]16
suzuki[tab]51
c1
ichiro
suzuki
c2
16
51](https://image.slidesharecdn.com/hadoopconferencejapan2011-110222063021-phpapp01/75/Hadoop-conferencejapan2011-26-2048.jpg)
![27
株式会社サイバーエージェント
SerDe（２）
【Apacheログ】
add jar 'hive_contrib.jar'
CREATE TABLE apachelog (host STRING, identity STRING, user STRING,
time STRING, method STRING, resource STRING,
proto STRING, status STRING, size STRING, referer STRING,
agent STRING, proctime STRING)
ROW FORMAT SERDE
'org.apache.hadoop.hive.contrib.serde2.RegexSerDe'
WITH SERDEPROPERTIES
("input.regex" = "^(.*?) (.*?) (.*?) ¥¥[(.*?)¥¥]
¥"(¥¥S+?)(?: +(.*?) +(¥¥S*?))?¥" (.*?) (.*?)
¥"(.*?)¥" ¥"(.*?)¥" (.*?)$",
"output.format.string" = "%1$s %2$s %3$s %4$s %5$s %6$s %7$s
%8$s %9$s %10$s %11$s %12$s");](https://image.slidesharecdn.com/hadoopconferencejapan2011-110222063021-phpapp01/75/Hadoop-conferencejapan2011-27-2048.jpg)
![37
株式会社サイバーエージェント
インポート処理 DSL（１）
import {
service "gyaos"
backup_dir "/data/log/gyaos"
data {
type "scp" ← その他に「mysql」，「hdfs」
servers ["172.xxx.yyy.zzz", " 172.xxx.yyy.zzz "]
user "cy_httpd"
path "/home/cy_httpd/logs/tomcat/lifelog/*.#{$dt}*"
limit 10000
}
（つづく）](https://image.slidesharecdn.com/hadoopconferencejapan2011-110222063021-phpapp01/75/Hadoop-conferencejapan2011-37-2048.jpg)
![38
株式会社サイバーエージェント
インポート処理 DSL（２）
load {
type "hive" ← 「mysql」
table {
name "game_login"
regexp "^[^¥¥t]*¥¥t([^¥¥t]*)¥¥tlogin"
output "$1"
partition :dt => "#{$dt}", :service => "gyaos"
}
table {
name "game_user"
regexp "^([^¥¥t]*)¥¥t([^¥¥t]*)¥¥tregist_game"
output "$2¥t$1"
partition :dt => "#{$dt}", :service => "gyaos"
}}}](https://image.slidesharecdn.com/hadoopconferencejapan2011-110222063021-phpapp01/75/Hadoop-conferencejapan2011-38-2048.jpg)
More Related Content
![[db tech showcase Tokyo 2016] C32: 世界一速いPostgreSQLを目指せ！インメモリカラムナの実現 by 富士通株式会...](https://cdn.slidesharecdn.com/ss_thumbnails/decdzrorcuek1megqnk7-signature-4c0dd3fcb9eb3d17930cacb079ea1fd12d54c70d5a7ef5cbe3514e2f97cef80f-poli-160902010202-thumbnail.jpg?width=640&height=640&fit=bounds)
![[db tech showcase Tokyo 2016] B31: Spark Summit 2016＠SFに参加してきたので最新事例などを紹介しつつデ...](https://cdn.slidesharecdn.com/ss_thumbnails/1oula7aqkczs8b8nxbbw-signature-52b95cf478429666da1eac73ad45213570cae72b7e57434c17b4c128f24099d3-poli-160722095519-thumbnail.jpg?width=640&height=640&fit=bounds)
![[db tech showcase Tokyo 2016] A35: NVMe徹底検証 by 株式会社インサイトテクノロジー 平間 大輔](https://cdn.slidesharecdn.com/ss_thumbnails/duwstkmftmk1ljzvasyo-signature-894dfd7b74ecb9b4108868bb00c4d449f11835b4a29fd9720063bbf078c9ab25-poli-160721065555-thumbnail.jpg?width=640&height=640&fit=bounds)
![[db tech showcase Tokyo 2017] B26: レデータの仮想化と自動化がもたらす開発効率アップとは？by 株式会社インサイトテクノ...](https://cdn.slidesharecdn.com/ss_thumbnails/b26-170912020934-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Save themusicfoundation]](https://cdn.slidesharecdn.com/ss_thumbnails/savethemusicfoundation-130328153702-phpapp02-thumbnail.jpg?width=640&height=640&fit=bounds)
Hadoop conferencejapan2011
- 1. Hiveを用いた Amebaサービスのログ解析共通基盤 -Hadoop Conference Japan2011- 株式会社サイバーエージェント アメーバ事業本部 プラットフォームディヴィジョン コアテクノロジーグループ 福田 一郎
- 2. 2 株式会社サイバーエージェント 自己紹介 名前 ： 福田一郎（フクダ イチロー） 所属 ： 株式会社サイバーエージェント アメーバ事業本部 プラットフォームディヴィジョン コアテクノロジーグループ （新卒入社３年目） （過去） • Ameba Pigg運用，開発 （現在） • ログ解析基盤 「Patriot」設計，開発，運用 【Twitter】 ＠toutou 【はてなID】 id:ICHIRO
- 3. 3 株式会社サイバーエージェント アジェンダ • アメーバについて • ログ解析基盤Patriot •Hive • Patriotの構成と運用
- 4.
- 5. 5 株式会社サイバーエージェント サービス規模に関する数値 【Ameba全体】 ［会員数］ 1300万人 （2011/1/5時点） ［PV数］（2010年12月時点） 合計：194.9億PV （2011年1月で200億PV突破） PC ： 99.9億PV MB ： 95.0億PV （スマートフォンUU ： 367万UU） 【アメーバPigg】 ［会員数］ 600万人 （2011/1/14時点） ［ARPPU］ ￥2,121 （2010年12月時点）
- 6.
- 7.
- 8.
- 9.
- 10.
- 11.
- 12. 12 株式会社サイバーエージェント Patriot開発までの経緯 ［2009年］ 11月13日 Hadoop ConferenceJapan 2009 ー CDH，Hiveなどを知る 11月21日～23日 開発合宿＠伊豆高原 ー 統合ログ解析基盤が必要という結論に至る 11月27日 局長に相談 → 即GOサイン ［2010年］ 3月末 本格検証開始 7月 第1弾リリース，11月 WebUIを中心にリニューアル
- 13.
- 14. 14 株式会社サイバーエージェント 今までの問題点 • 各サービスごとに独自に解析 – プロフィールデータとの結合など定型的なものも •ログ容量の肥大化 – 消されていくログ • サービス開発担当者が解析部分にまで手が回らない – モバイルゲームなど開発スピードが速い – サービスリリースしてスグに情報が欲しい
- 15.
- 16. 16 株式会社サイバーエージェント 方法 • ログの集約 – HDFS •ログの集計 – Map/Reduce • ログの構造化 – Hive • 集計結果の表示 – Patriot WebUI （CIC） • アドホックな集計，解析 – HUE
- 17.
- 18. 18 株式会社サイバーエージェント Hiveとは • Hadoopのサブプロジェクト • Facebookで開発されていた •SQLライクな言語でMap/Redを記述 • 同様の試みにPig（スクリプト言語）
- 19. 19 株式会社サイバーエージェント Hiveの特徴 • HiveQL – SQLのような言語でMapReduceを実行 •メタストア – テーブルのカラム情報などを保持 – デフォルトはDerby – PatriotではMySQLを使用 • 行単位での更新ができない – Partitionを使う
- 20.
- 21. 21 株式会社サイバーエージェント データモデル • Primitive • int，float，double，String •Complex • map＜key-type，value-type＞ • list＜element-type＞ • struct＜field-name：field-type＞
- 22. 22 株式会社サイバーエージェント DDL CREATE TABLE pigg_login (time STRING, ameba_id STRING, ip STRING) partitioned by(dt STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY '¥t' STORED AS SEQUENCEFILE; カラムの区切り文字を指定 Partitionカラムを指定 ファイル形式を指定 • TextFile • SequenceFile • （RCFile）
- 23. 23 株式会社サイバーエージェント データのロード LOAD DATA (LOCAL)INPATH '/tmp/pigg_login.log' INTO TABLE pigg_login PARTITION(dt='2011-02-22'); • dfs mv, putをする形 INSERT OVERWRITE TABLE t1 SELECT c1 FROM t2;
- 24. 24 株式会社サイバーエージェント HiveQL（１） • JOIN，LEFT OUTERJOIN • GROUP BY • UNION ALL など SELECT * FROM t1 JOIN t2 ON(t1.a2 = t2.b2);
- 25. 25 株式会社サイバーエージェント HiveQL（２） • UDF • cast,abs, substr • UDAF • count, sum, max, min, avg • パーセント点 percentile(col, p) （参考） http://wiki.apache.org/hadoop/Hive/LanguageManual/UDF
- 26. 26 株式会社サイバーエージェント SerDe（１） • Serialization/Deserialization • カラムの区切り文字などを定義 CREATETABLE test(c1 string, c2 int) ROW FORMAT DELIMITED FIELDS TERMINATED BY '¥t' LINES TERMINATED BY '¥n'; ichiro[tab]16 suzuki[tab]51 c1 ichiro suzuki c2 16 51
- 27. 27 株式会社サイバーエージェント SerDe（２） 【Apacheログ】 add jar 'hive_contrib.jar' CREATETABLE apachelog (host STRING, identity STRING, user STRING, time STRING, method STRING, resource STRING, proto STRING, status STRING, size STRING, referer STRING, agent STRING, proctime STRING) ROW FORMAT SERDE 'org.apache.hadoop.hive.contrib.serde2.RegexSerDe' WITH SERDEPROPERTIES ("input.regex" = "^(.*?) (.*?) (.*?) ¥¥[(.*?)¥¥] ¥"(¥¥S+?)(?: +(.*?) +(¥¥S*?))?¥" (.*?) (.*?) ¥"(.*?)¥" ¥"(.*?)¥" (.*?)$", "output.format.string" = "%1$s %2$s %3$s %4$s %5$s %6$s %7$s %8$s %9$s %10$s %11$s %12$s");
- 28.
- 29.
- 30.
- 31. 31 株式会社サイバーエージェント システム構成（サーバ１） 【NN，JT，SNN】 ２CoreCPU，16GB RAM 各1台 （DellR300） 【DN，TT】 ４CoreCPU，16GB RAM 1TB HDD×4 （RAIDなし）， 全18台 （Dell R410）
- 32. 32 株式会社サイバーエージェント システム構成（サーバ２） 【Utilサーバ】 ４CoreCPU，16GB RAM 1TB HDD×4（RAID1） 全２台 サマリDB，Web/APサーバ （Dell R410）
- 33.
- 34.
- 35. 35 株式会社サイバーエージェント ファイルフォーマットの検討 圧縮形式 ： gzip，bzip2，LZO フォーマット： TextFile，SeqenceFile 圧縮率 ： bzip2＞gzip＞LZO インポート時間 ： LZO＞無圧縮＞gzip＞bzip2 計算時間 ： 無圧縮＞LZO＞gzip＞bzip2 → Patriotではgzip，SeqenceFile，ブロック単位の圧縮を使用中 → MapOutputはLZOで圧縮
- 36. 36 株式会社サイバーエージェント インポート処理 ログ転送 Util Hadoop クラスタ 各サービス SCP HDFS get • 正規表現でマッチするレコードを抽出 •gzip,SeqenceFileでHDFS上に出力 • Hiveにロード
- 37. 37 株式会社サイバーエージェント インポート処理 DSL（１） import { service"gyaos" backup_dir "/data/log/gyaos" data { type "scp" ← その他に「mysql」，「hdfs」 servers ["172.xxx.yyy.zzz", " 172.xxx.yyy.zzz "] user "cy_httpd" path "/home/cy_httpd/logs/tomcat/lifelog/*.#{$dt}*" limit 10000 } （つづく）
- 38. 38 株式会社サイバーエージェント インポート処理 DSL（２） load { type"hive" ← 「mysql」 table { name "game_login" regexp "^[^¥¥t]*¥¥t([^¥¥t]*)¥¥tlogin" output "$1" partition :dt => "#{$dt}", :service => "gyaos" } table { name "game_user" regexp "^([^¥¥t]*)¥¥t([^¥¥t]*)¥¥tregist_game" output "$2¥t$1" partition :dt => "#{$dt}", :service => "gyaos" }}}
- 39.
- 40. 40 株式会社サイバーエージェント 集計・解析処理 DSL mysql { host"localhost" port 3306 username "patriot-batch" password "xxx database "gyaos" } analyze { name "gyaos_new_user_num_daily" primary "dt" hive_ql "select count(1), '#{$dt}' from game_user where dt='#{$dt}' and service='gyaos'" } analyze { name "gyaos_unregist_user_num_daily" primary "dt" hive_ql "select count(1), '#{$dt}' from game_user g join ameba_member a on (g.ameba_id = a.ameba_id) where a.unregist_date <> '' and to_date(a.unregist_date)='#{$dt}' and g.service='gyaos'" }・・・
- 41. 41 株式会社サイバーエージェント ゲーム関連の集計 • モバイルゲーム – ゲームごとにパーティションを作る •Pigg内ゲーム – 釣り，カジノゲーム – UNION ALLで合わせて集計 テーブル game_login Partition 日付 ゲームID
- 42. 42 株式会社サイバーエージェント UDFの作り方 【年齢によるグルーピング】 public class ConvertAgeextends UDF { public Integer evaluate(String birth, String ym) { if (birth == null || ym == null) { return -1; } int ageRange = -1; // 年齢の範囲に従ってageRangeに値を設定 （略） return ageRange; } }
- 43. 43 株式会社サイバーエージェント 運用上の数字 • HiveQLクエリ • デイリー（定型）・・・約６００ •マンスリー（定型）・・・約７００ • 会員データレコード数・・・１３００万以上 • ログ容量（デイリー） • Pigg・・・４.５GB（圧縮後） • タレントブログ関連（ログインユーザのみ） ・・・５.５GB（圧縮後） • 処理時間（全集計）・・・３～４時間
- 44.
- 45.
- 46.
- 47.
- 48.
- 49.
- 50. 50 株式会社サイバーエージェント HUEの運用 • Hiveメタストア（マスター） • HDFSへの書き込み権限のある HUEのユーザ •管理者用 MySQLレプリ • Hiveメタストア（スレーブ） • HDFSへの書き込み権限無し • プロデューサ用
- 51. 51 株式会社サイバーエージェント 啓蒙活動 • 集計サマリをいつでも確認できる • Webアプリ上でHiveQLが叩ける •プロデューサなどエンジニアでない人もHiveQLを書く – 毎日、多くのアドホックな集計が走っている – 失敗から学ぶ 【失敗例】 select count(distinct m. ameba_id) from pigg_enter m join pigg_enter p on m.ameba_id = p.ameba_id where m.dt like '2010-10-__' and p.dt like '2010-11-__' → サブクエリを学ぶ
- 52. 52 株式会社サイバーエージェント 今後の展開 • HBase ・・・CDH3b4 • ログ収集の改善 – Flumeなど • レコメンドなど実験的にやっているものを本格化 • 「なう」などグラフ構造を使った解析
- 53. 53 株式会社サイバーエージェント Ameba Technology Laboratory •秋葉原ダイビルに開設 • ２０１１年４月１日～ • 研究開発、実験的サービス、産学連携 • 勉強会スペース （２０～３０人）
- 54.