【14-B-2】グリーを支えるデータ分析基盤の過去と現在（橋本泰一〔グリー〕）

Developers Summit 2014

グリーを支えるデータ分析基盤の
過去と現在
2014/02/14

グリー株式会社
Web Game 事業統括本部

橋本泰一

Copyright © GREE, Inc. All Rights Reserved.

自己紹介：
橋本泰一（はしもとたいいち）
Self-introduction

• 1997年東京工業大学情報工学科卒業
• 2002年東京工業大学大学院情報理工学系研究科修了
博士（工学）
• 2002年東工大助手 & 特任准教授
• 2012年グリー株式会社

• 自然言語処理、情報検索、〇〇マイニング、機械学習…
• GREE PlatformおよびWebベースのソーシャルゲームの
データ分析基盤を担当


過去の話…


過去の話
2011年

ディレクタ
エンジニア


過去の話
2012年

ディレクタ
エンジニア

Analytics DB
(SQL Server)


過去の話
だんだんと困ってきたこと…

• データほしい人が増えてきた…
• 理由：サービスが増えた、人が増えた、…

• データ提供が正直しんどくなってきた…


今の話…


GREE Platformのデータ分析基盤
コンセプト
• Accessability
• だれでも自由に
• Scalability
• どれだけ貯めこんでも

Any questions?

グリーのデータ分析基盤

• ゲーム
• Treasure Data ベース
• ゲームへのアクセスログ

• GREE Platform
• Hadoop ベース
• ゲームからAPIへのログ
• ユーザ情報


ゲームのデータ分析基盤
Treasure Data
● Hadoopクラスタの構築が不要ですぐに利用可能
● ログのコレクトからストアまでワンストップで提供
● fluentd のプラグインで実現

● スキーマレスで自由度の高いログフォーマット
● time int, v map<string, string>

● データ・ウェアハウスの運用コストの低減
● BIツールとの容易なインテグレーション


基本的な構成

あるゲームサービス

Web Server

Log Aggregator Server
2台

Treasure Data


データについて

●

約20ゲームタイトル

●

Web サーバー x 2000台以上

●

log aggregator サーバー 40台以上

●

送信データ量 1TB/月


ダッシュボード


データを使って何をやるかが大事

• ログデータをゲーム改善のアクションにつなげる
• アクセス遷移分析
• Webサイト分析では一般的な手法を、ソーシャルゲームに導
入

• ジョブ管理をしっかりする
• ジョブ管理ツール


アクセス遷移分析

• ページ遷移
•

起点のページから何割のユーザーが目的のページに到達したか?

• 離脱
•

離脱率の高いステップはどこか？

• クリック
•

ページ内のどのリンクがクリックされているか？


ページ遷移分析

TOPページから
アイテムをクリッ
ク

アイテムを選
ぶ

庭に種を植
える

完了



TOPページから次のページへ遷移した
ユーザーの割合を表示

アイテム一覧に遷移したユーザーは全
体の○○%



TOPページからアイテム一覧で
イベントアイテムを選んで、庭
に種を植えたユーザーは、全
体の○○%

離脱分析

•

ゲームをプレイしてくれたけど、すぐにやめてしまったユーザーの行動？

•

新規ユーザー

•
•

休眠復帰（n日以上間あけて遊びにきてれた）ユーザー

•
•

チュートリアル？

カムバックボーナス？

どういう遷移の後、最後にどのページで離脱してしまうのか？


離脱分析
• ページ遷移 + ユーザセグメント → 離脱原因をさぐる

プレイをやめてしまうまでの経
路と割合を分析

プレイ時間も参考に


クリック分析
<a href=”.....”>
<span class=”....”>
10.01%
</span>
</a>

● データソースは、アクセス遷移分析結果
● Chrome Extension を利用して、実際の画面にオー
バーレイ表示

● UI・UXの改善に

クリック分析

● クリックのログをJavaScript で
サーバーへ送信
● お知らせやランキングの効果などで活用


ジョブ管理ツール
• データを社内に開放

• 非効率なジョブが大量に投げ込まれる


リソースは限られているのです

• ジョブのモニタリングと管理が重要
• Treasure Data の API を使ってモニタリング
•
•
•
•

ジョブを可視化
ジョブの送信元の特定
スロークエリの可視化と特定
強制KILL


ジョブの可視化

• 時系列に実行中とキューイングされているjobを集計


ジョブの送信元を特定

• クエリ実行の際に送信者を自動付与
-- analysis bi
SELECT
TO_DATE( FROM_UNIXTIME(time) ) AS day,
COUNT(DISTINCT uid) AS dau
FROM
access
GROUP
BY TO_DATE( FROM_UNIXTIME(time) )


スロークエリの可視化と特定

• 閾値以上時間のかかっているジョブの統計と一覧を表示


まとめ
• Treasure Data を使ってます
• ログデータをゲーム改善のアクションにつなげる
• アクセス遷移分析
• Webサイト分析では一般的な手法を、ソーシャルゲームに導
入

• ジョブ管理をしっかりする
• ジョブ管理ツール


概要
サービス
速報用
Storage
Analysis Data Hub
Webサーバ
zookeeper

Azkaban

Hive
db-express

Web
HDFS

HDFS
MR

Macaron
Presto

MySQL

Storage Solaris

ディレクタ
エンジニア

HBase

(log archives)

主な構成

• JDK7 + CDH4 + Apache Hive (v0.12+α)
• HiveServer2
• 追加パッチ
• Kryo serialization (Hive 1511, etc.)
• …

• 独自拡張
• 社内認証システムとの連携
• auto-load extra UDFs

利用状況

• 5000ジョブ/ 日
• 60TB
• 圧縮, レプリカを除く

• 100ユーザ
• ほとんどが非エンジニア

Any questions?

データへのアクセス方法
• 直接アクセス
• SQuirreLSQL
• JDBC, ODBC 接続できるものなら

• グラフ化
• Macaron
• 自社製

• その他
• Shell, Python, R, PHP, …
• thanks to Thrift

SQuirrelSQL


Macaron
•
•
•
•

データのグラフ化
RDB/Hiveに対応
キャッシュ機能
出力:画像、HTML

画像内のデータはサンプルです
Any questions?


Ruby Scripting in Hive Query Language
• HQL の中に Ruby のコードを埋め込む
• HQL（SQL）で書きにくいクエリを処理できる
• https://github.com/gree/hive-ruby-scripting
HQLの中でRubyの関数を定義

定義した関数を実行
Any questions?

データのインポート

• ログデータのインポート
• ハイブリッド: bulk copy + streaming log events
• Fluentd & WebHDFS（まだ不安定）
• MySQLからのインポート: db-express
• Sqoopのラッパー
• Cooperation w/ in-house DSN catalog
• Parallel import Sharded DataBases / Tables
• 手動インポート
• ブラウザからアップロード

Any questions?

まとめ
• GREE Platform のデータ分析基盤は、
Hadoopをベースにして自作
• CDH4 + Hive + α
• Macaron
• Ruby Scripting in Hive Query Language
• db-expess


近い未来の話


近い未来の話
コンセプト

Speedy
より速く
Intelligently
より高度に

近い未来の話
必要な機能
機能
ダッシュボード・ BI
データカタログ
ジョブ管理・ワークフロー
クエリ言語（エンジン）

分散処理

選択肢
Macaron, Metric Insights, Tableau, …
Hive (HCatalog), …
Azkaban, Oozie, …
Hive, Pig, Cascading,

MR,
MPP ( Vertica, RedShift, … )
Impala,

分散ファイルシステム

Spark, FlumeJava, …

Presto, …

HDFS, S3, MapR FS, Tachyon, CFS …

• Presto と Spark（YARN）に注目

Any questions?

近い未来の話
YARN
• リソース管理をやりやすく

Any questions?

近い未来の話

Presto
• OSSな分散SQLエンジン: http://prestodb.io/
• Facebookが開発
• Hiveよりも速い


近い未来の話
Spark
• データ処理フレームワーク
• 開発: AMPLab in UC Berkeley
• 速いのが特徴

• 機械学習での利用に最適

Any questions?

まとめ

• Accessability、Scalability
• ゲーム：Treasure Data
• プラットフォーム：Hadoop

• Speedy、Intelligently
• クエリの高速化
• 機械学習を利用したデータの活用


【14-B-2】グリーを支えるデータ分析基盤の過去と現在（橋本泰一〔グリー〕）

More Related Content

What's hot

Viewers also liked

Similar to 【14-B-2】グリーを支えるデータ分析基盤の過去と現在（橋本泰一〔グリー〕）

More from Developers Summit

【14-B-2】グリーを支えるデータ分析基盤の過去と現在（橋本泰一〔グリー〕）