20141106_cwt-zenmyo-naito

AmebaにおけるHBase活用事例
株式会社サイバーエージェント
技術本部善明晃由、内藤遥

2
本日の内容
•Amebaについて
•HBase活用事例
•ログ解析基盤Patriot
•投稿監視システムOrion
•トレンド分析システム

4
Ameba事業
•スマートフォン向けの「Ameba」を中心に事業展開
•ブログだけではなく様々なコミュニティサービスやゲームを提供

5
Ameba Technology Laboratoryについて
•Amebaの大規模データを集約的に扱う組織
•2011年4月に開設、現在約25名が所属
推薦
フィルタリング
ログ解析データマイニング
検索
大規模分散処理
(ログ解析基盤)

ログ解析基盤Patriotにおける HBase

7
Amebaのログ解析基盤：Patriot
•Amebaのサービス共通のログ解析基盤
•Ameba Technology Laboratoryで開発・運用
•サービスのユーザ行動の分析、アクセスログの集計など
•レコメンド等の大規模データ活用による機能の提供
•Hadoopクラスタ上に構築
•HDFSにログデータを集約
•Hive/MapReduceを用いた集計
•HBaseを用いて処理結果を活用
•Flumeを用いたデータ収集

8
システム構成
Ameba
サービス
ログ転送（SCP）
MySQLレプリ
【Logサーバ】
ログの一時集約
Hadoop
クラスタ
ログ整形
Hiveインポート
サマリView、
アドホックHiveクエリ
（自作WebUI）
【Batchサーバ】
ワークフロー
スケジューラ
HiveJobをキック
ログのリアルタイム転送
（Flume）
各部門の
レポーティングツール
【外部連携サーバ】
サマリーデータ取得
Hiveクエリ実行
ジョブステータス取得

9
Amebaのログ解析基盤：Patriot
昨年のCloudera World Tokyo で運用体制等について紹介
Amebaにおけるログ解析基盤Patriotの活用事例
http://www.slideshare.net/cyberagent/cloudera-world-tokyo-2013

10
システム概要（HBase関連）
ログ
(Hive)
集計結果
(HBase)
ログ
ログ
ログ
ログ
•Hiveの集計結果をHBaseに出力
•HBaseのデータをレポーティングツールなどに出力
•用途に応じて複数のテーブル（スキーマ）を利用
•アクセス解析、行動ログ解析、など
アクセス解析
行動ログ
解析

11
HBaseスキーマの例
アクセスログ解析
RowKey
ColumnFamily
Column
Value
<サービス名>-<デバイス種別>-
<パス>-<日付>-<指標名>-<集計種別>-<集計対象>
a
<Hour>?
<集計結果>
•指標名；pv、レスポンスタイムなど
•集計種別/集計区分：リファラ、検索ワードなど
•Hour
•日時集計では空文字、時間単位の集計のみ[0-24]
•集計対象に任意の文字列が入りうるためColumnに分離

12
HBaseを利用する上での課題
•アプリケーションのデータとKeyValue間の変換が必要
•スキーマの管理が分散
•データをKeyValueにどのように配置するか
•Hiveからの入力、レポーティングへの出力、管理ツール（CLI）
•データの管理確認が面倒
•CLIがイマイチ
•手動でrowkeyの作成、Filterの設定
•スキーマ毎に管理ツールをつくるのも手間
•byte[]の連結と分割
•大量のデータの入出力
•細粒度での集計
•データの修正

13
HBaseを利用する上での課題（例）
•誤って書き込まれたデータの削除
•不正なログ、Hiveクエリのミス
集計結果 (HBase)
指標名
値
service1-pv
12345
service1-unknown1
-999
service1-unknown2
-999
service1-uu
300
変なデータが見える
> delete ‘anapat’, ‘service1-unknown1’,,,,
> delete ‘anapat’, ‘service1-unknown2’,,,,
…
Deleteをそれぞれのデータに対して発行

14
HBaseを利用する上での課題（例）
• 指標名が統一されてない
•複数人、複数部門がバッチ処理を追加
•レポートの作成が複雑
指標名
値
service1-uu
1000
service2-dau
2000
service3-uu
3000
service2のデータがみえない
指標名
値
service1-uu
1000
service3-uu
3000
修正対象データ
（実際は大量、数年分）
> import org.apache.hadoop.hbase.filter.RowFilter
> import org.apache.hadoop.hbase.filter.RegexStringComparator
> filter = RowFilter.new(RowFilter::CompareOp::EQUAL, RegexStringComparator.new('.*i1.*'))
> scan 'anapat', {FILTER => filter}
> put ‘anapat’ , ‘service-uu’,,,, ‘ 2000’
Scanした結果を書き換え

15
Relation定義
汎用HBaseラッパー(Blackhawk)
•スキーマ定義を一元管理し、アプリケーションデータとKeyValueとの変換を実現
•byte[]を意識せずにKeyValueデータをあつかうインタフェース
•SQLライクなクエリ
•CLI、JDBCドライバ
•Hive Integration
•HBaseの多様なスキーマに対してHiveで処理
Blackhawk
スキーマリポジトリ
SELECT * FROM patriot-kpi WHERE service = ‘ameba’ AND indicator = ‘uu’
Scan table: patriot-pac3
{"startRow":"ameba-uu",”
stopRow":"ameba-uv”, "families":{"data":["ALL"]}}
Schema定義
Schema定義

16
スキーマの定義DDL
•KeyValueの各要素中の属性の配置を記述
•各属性に区切りを示す修飾子を設定（suffix(“-”)）
define primary schema v1 for apdata { table "anapat", row suffix(“-”){service}:suffix(“-”){dev}:suffix(“- ”){path}:regexp("[0-9]{4}-[01][0-9]-[0-3][0-9]"){dt}:"-”:suffix(“- ”){indicator}:suffix("-"){target_type}:target_value, family "a", qualifier hour, value val };

17
動作例
KeyValue → アプリケーションデータ
define primary schema v1 for apdata { … row suffix(“-”){service}: suffix(“-”){dev}: suffix(“-”){path}: regexp("[0-9]{4}-[01][0-9]-[0-3][0-9]"){dt}:"-”: suffix(“-”){indicator}: suffix("-"){target_type}: target_value, … };
service=ameba, dev= pc, path=/, dt=2014-11-06, indicator=pv, target_type=search, target_value=word
ameba-pc- /-2014-11-06-pv-search-word
RowKey

18
利用例１
誤って書き込まれたデータの削除
指標名
値
service1-pv
12345
service1-unknown1
-999
service1-unknown2
-999
service1-uu
300
変なデータが見える
DELTE FROM apdata WHERE service = ‘serivce1’ AND indicator like ‘unknown%’
対象範囲をScanし、
条件を満たすKeyValueに対してDeleteを発行

19
利用例２
• 指標名が統一されてない
集計結果
(HBase)
指標名
値
service1-uu
1000
service2-dau
2000
service3-uu
3000
service2のデータがみえない
指標名
値
service1-uu
1000
service3-uu
3000
修正対象データ
（実際は大量、数年分）
hive –e “INESRT OVERWRITE TABLE patdata
SELECT service, ‘uu’ AS indicator,,,
FROM patdata WHERE indicator = ‘dau’
大量のKVをMapReduceで
容易に修正

20
利用例３
• JDBCドライバにより開発を効率化
• HBaseのAPIを知らなくても利用可能
• 性能が必要な場合はある程度の知識は必要
• KeyValueとの変換処理は実装不要
Ameba
サービス
Hadoop
クラスタ
必要な機能の
実装に集中
【外部連携サーバ】
サマリーデータ取得
Hiveクエリ実行
ジョブステータス取得

21
現在の取り組み
•スキーマ変換
•設計に失敗したスキーマの処理
•Wide-tableなど
•用途に応じたスキーマを容易に追加可能な枠組み
•サービス毎のレポート → 指標毎のレポート
•Hive Integrationを用いたユーザ管理データとの連携
•例) サービスのリストをHBaseで管理しオンラインで設定可能し、Hiveの集計で利用
•OSS化も検討中

Ameba投稿監視システムOrionにおける
HBase

23
Ameba投稿監視システム Orion
•健全性の担保を目的に、Amebaでのユーザ投稿テキスト、投稿画像を一元的に管理し、投稿内容の監視を支援するシステム
•約2500万投稿/day
•約150人のオペレータによる監視
http://gihyo.jp/dev/serial/01/cyberagent/0053

24
•機能要件
•日ごとに投稿データを監視、時系列の古いものから処理していく
•未処理の投稿データに関しては、オペレータが重複して監視しないようにする（二重監視の防止）

25
•スキーマ設計
RowKey
ColumnFamily
Column
Value
<監視カテゴリID>_<監視状態ID>_
<投稿時間>_<投稿ID>
v
<投稿情報
(シリアライズ)>

26
RowKey
ColumnFamily
Column
Value
v
<投稿情報 (シリアライズ)>
監視対象をグルーピングしたID このIDごとに投稿データが監視される

27
RowKey
ColumnFamily
Column
Value
v
投稿データの監視状態
0: 未処理
1: 監視中
2: 監視済

28
UNIX時間例)2014/11/01 00:00:00 ->1414767600000
RowKey
ColumnFamily
Column
Value
v
<投稿情報
(シリアライズ)>

29
投稿データを識別するID
RowKey
ColumnFamily
Column
Value
v

30
RowKey
ColumnFamily
Column
Value
v
ColumnFamily、Columnは全てのValueに付随して保存されるため、なるべく短くする（Columnは空）

31
投稿データ、オペレータ対応情報などシリアライズして容量の節約キーがソートされたキーバリューストアとして利用可能
RowKey
ColumnFamily
Column
Value
v

32
例)監視カテゴリID:1 の 2014/11/01の未処理データを監視

33
•データ取得(全体像)
API
HBase
Step1: HTTPリクエスト
Step2: ロック Step3: ロック取得
Step4: Scan
Step5: データ取得
Step6: Put
Step7: Delete
Step8: ロック解除
ZooKeeper

34
•監視カテゴリのロック
•ZooKeeperを使って監視カテゴリごとにロックを取得する
API
Step2: ロック監視カテゴリID=1
Step3: ロック取得
成功するまで一定数リトライ
Step1: HTTPリクエスト
ZooKeeper

35
•StartRow、StopRowを生成
•StartRow： 1_0_1414767600000
•StopRow ： 1_0_1414854000000
•RowKeyは昇順にソートされているため、時系列の古いデータから取得可能
API
HBase
2014/11/01 00:00:00
2014/11/02 00:00:00
未処理
Step4: Scan

36
•HBaseからデータ取得
API
HBase
Step4: Scan
クエリ(Scan)
StartRow： 1_0_1414767600000
StopRow： 1_0_1414854000000
ColumnFamily: v
取得件数: 100件
検索結果
RowKey: 1_0_1414767612345_83B197E4
Value: <投稿情報>

37
API
•RowKeyの更新
•監視状態IDを0(未処理) -> 1(監視中)に変更
•RowKeyが変わるため、Put、Deleteの処理を連続して行う
HBase
Step6: Put
Step7: Delete
クエリ(Put)
RowKey: 1_1_1414767612345_83B197E4
ColumnFamily: v
Value: <投稿情報>
クエリ(Delete) RowKey: 1_0_1414767612345_83B197E4 ColumnFamily: v

38
•監視カテゴリのロック解除、データ取得
API
Step8: ロック解除監視カテゴリID=1
ZooKeeper

39
•オペレータによる目視監視
•投稿データに対応情報を付与
RowKey: 1_1_1414767612345_83B197E4
Value: <投稿情報(更新)>

40
•HBaseにデータを格納
•監視状態IDを1(監視中) -> 2(監視済)に変更
API
HBase
Put
Delete
クエリ(Put)
RowKey: 1_2_1414767612345_83B197E4
ColumnFamily: v
Value: <投稿情報(更新)>
クエリ(Delete) RowKey: 1_1_1414767612345_83B197E4 ColumnFamily: v

トレンド分析システムにおける HBase

42
•各サービスの検索ワードやハッシュタグ、投稿画像など、幅広いオブジェクトのトレンドを分析、検知するシステム
•Daily、Hourlyなどの時系列ごとにオブジェクトに対するアクティビティ (検索した、いいねを押したなど)をカウント
トレンド分析システム

43
•機能要件
•オブジェクトの急上昇ランキングの提供(バッチ処理)
•オブジェクトの時系列のカウント情報の提供(オンライン処理)

44
RowKey
ColumnFamily
Column
Value
<サービスID>_<日時フォーマット>_
<カテゴリID>_<サブカテゴリID>_
<オブジェクト>
d
<count>
…
h
<count>
…
m
<count>

45
RowKey
ColumnFamily
Column
Value
d
<count>
…
h
<count>
…
m
<count>
サービスを一意に識別するID

46
RowKey
ColumnFamily
Column
Value
d
<count>
…
h
<count>
…
m
<count>
時系列の種類ごとにフォーマットされた日時 Daily -> yyyyMMdd Hourly -> yyyyMMddHH 10分ごと -> yyyyMMddHHm0

47
RowKey
ColumnFamily
Column
Value
d
<count>
…
h
<count>
…
m
<count>
『検索ワード』、『投稿画像』など、カテゴリを識別するID

48
RowKey
ColumnFamily
Column
Value
d
<count>
…
h
<count>
…
m
<count>
『投稿画像』の『いいね』、『コメント』など、カテゴリを更に細分化するID (任意)

49
RowKey
ColumnFamily
Column
Value
d
<count>
…
h
<count>
…
m
<count>
『検索ワード』の『AKB』など、分析対象となるオブジェクト

50
RowKey
ColumnFamily
Column
Value
d
<count>
…
h
<count>
…
m
<count>
時系列の種類によって ColumnFamilyを分ける Daily -> d Hourly -> h 10分ごと -> m

51
オブジェクトに対するアクティビティのカウント HBaseのカウンタ機能を利用
RowKey
ColumnFamily
Column
Value
d
<count>
…
h
<count>
…
m
<count>

52
例1) アメブロの検索ワード急上昇ランキング
•時系列の種類：Hourly
•集計期間: 2014/11/01 0時～ 2014/11/02 0時

53
•StartRow、StopRowを生成 (0時～ 1時)
•StartRow： 1_2014110100_1
•StopRow ： 1_2014110100_2
アメブロのサービスID
『検索ワード』のカテゴリID
Hourlyのフォーマット

54
•データ取得 (0時～ 1時)
Batch
HBase
Scan
データ取得
クエリ(Scan)
StartRow： 1_2014110100_1
StopRow： 1_2014110100_2
ColumnFamily: h
検索結果 RowKey: 1_2014110100_1_AKB Value: 100

55
•24時間分のデータを1時間ごとに取得
•データ整形後、変化点検出のロジックを使ってオブジェクトごとに急上昇の度合いを算出 -> ランキング生成

56
例2) アメブロの検索ワード『AKB』の時系列カウント情報取得
•時系列の種類：Daily
•集計期間: 2013/11/01 00:00 ～ 2014/11/01 00:00

57
API
HBase
Get
データ取得
検索結果
RowKey: 1_20131101_1_AKB
Value: 1000
クエリ(Get)
RowKey： 1_20131101_1_AKB
ColumnFamily: d
•データ取得
•Result[] get(List<Get> gets) のクライアントAPIを利用(Java)
•集計期間内で日ごとのRowKey、Getインスタンスを生成
•RowKey: 20131101_1_AKB ～ 20141031_1_AKB

58
•管理ツールでグラフ化

59
•管理ツールでグラフ化
2014/02/25 AKB48グループ大組閣祭り (AKB48グループ内の人事異動を発表するイベント)
2014/05/25 AKB48握手会傷害事件
2014/06/08 大島優子卒業コンサート

60
まとめ
•ログ解析基盤PatriotにおけるHBase
•HBaseのデータ管理を効率化するツール
•投稿監視システムOrionにおけるHBase
•二重監視を防ぐ仕組み
•トレンド分析システムにおけるHBase
•オブジェクトのランキング、時系列情報提供のためのスキーマ設計

61
「HBase徹底入門」鋭意執筆中です！2015年初旬発売予定！
•本の内容(予定)
第1部 HBaseの基礎 HBaseの基礎について解説します。チュートリアルでHBaseを動かします。
第2部 HBaseを用いたアプリケーション開発 Java API、HBaseのスキーマ設計の考え方、アプリケーション設計の流れを解説します。
第3部 HBaseクラスタの構築・運用クラスタ設計についての考え方、構築方法、運用方法について解説します。
第4部 HBaseの高度なトピックパフォーマンス・チューニング、 HBaseのエコシステムなどについて解説します。
※画像はイメージです

62
最後に
•Ameba Technology Laboratoryではエンジニアを募集しています！
•akb-lab@cyberagent.co.jp
•Hadoop / データマイニング / 機械学習/ 検索などに興味がある人はお声がけください。

ご清聴ありがとうございました。

20141106_cwt-zenmyo-naito

More Related Content

What's hot

Viewers also liked

Similar to 20141106_cwt-zenmyo-naito

More from cyberagent

20141106_cwt-zenmyo-naito