© Geniee, Inc.
世界分散配信システムと
レポーティングシステム刷新のお話
2017/10/25
CTO 篠塚 英伸
© Geniee, Inc.
Self introduction
2
Name
篠塚 英伸
Life work
Tennis!! Tennis!! Tennis!!
Geniee CTO
・SSP、DSP、DMP
・インフラ
・海外事業
複数データセンターで配信を行う為の
アーキテクチャについてお話をします
+レポートの話もします
10ヶ国以上へサービス提供
1万媒体以上のメディアで利用
Japan
China
Thailand
Malaysia
Singapore
Indonesia
Vietnam
レイテンシ
収益
ブラウザの近くにデータセンター
を置こう
Japan
China
Thailand
Malaysia Singapore
Indonesia
Vietnam
Genieeのアーキテクチャについて
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計
管理画面
SSP
DB
ブラウザ SSP
DB
10万QPS
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
数十万入札/sec
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計
15TB/日
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計
管理画面
ブラウザの近くにデータセンター
を置こう
Japan
China
Thailand
Malaysia Singapore
Indonesia
Vietnam
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計
Japan
管理画面
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計
Japan
ブラウザ
管理画面
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計
Japan
ブラウザ
管理画面
管理画面
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計
Japan
ブラウザ
レイテンシ的に X
© Geniee, Inc.
海を越えられないと想定したもの
リアルタイムのトラフィック
ログ
19
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計
Japan
SG
DB
ブラウザ
DBをレプリケーションする
管理画面
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計
Japan
SG
DB
SSPブラウザ
現地
DSP 1
現地
DSP …
DSPも現地でつなぐ
管理画面
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計
Japan
SG
DB
SSPブラウザ
現地
DSP 1
現地
DSP …
集計
ログ
管理画面
ブラウザ SSP
DSP 1
DSP 2
DSP …
ログ
集計
Japan
SG
SSPブラウザ
現地
DSP 1
現地
DSP …
集計
ログDB
DB
このレプリケーションが
ムリ
© Geniee, Inc.
海を越えられないもの
リアルタイムのトラフィック
ログ
DBのレプリケーション
24
© Geniee, Inc.
主なDBの中身
配信設定
レポート
25
レポートがでかい
更新頻度が高い
= Binlogが巨大になる
わけてしまえ
ブラウザ SSP
Core
DB
DSP 1
DSP 2
DSP …
ログ
集計
Japan
SG
Core
DB
SSPブラウザ
現地
DSP 1
現地
DSP …
集計
ログ
report
DB
OK
管理画面
Report DB がでかい
© Geniee, Inc.
Report DB の特徴
Dimension
•時間毎
•Zone毎
•OS毎
•地域毎
•・・・
Measure
•Imps
•Click
•CV
•Revenue
•・・・
30
© Geniee, Inc.
Report DB の特徴
Dimension
•時間毎
•Zone毎
•OS毎
•地域毎
•・・・
Measure
•Imps
•Click
•CV
•Revenue
•・・・
31
Dimensionのかけ算で
record数が決まる
© Geniee, Inc.
Report DB の特徴
Dimension
•時間毎
•Zone毎
•OS毎
•地域毎
•・・・
Measure
•Imps
•Click
•CV
•Revenue
•・・・
32
Dimensionのかけ算で
record数が決まる
24 x 700 x 4 x 数十万 x …
© Geniee, Inc.
Report DB の特徴
Dimension
•時間毎
•Zone毎
•OS毎
•地域毎
•・・・
Measure
•Imps
•Click
•CV
•Revenue
•・・・
33
Dimensionのかけ算で
record数が決まる
24 x 700 x 4 x 数十万 x …
20億record 4TB とかになる
MySQLじゃむりぽ
© Geniee, Inc.
What is ClickHouse
35
 ロシアの検索エンジン会社Yandex製
 YandexやCERNのプロダクションで動いている
 速度が自慢のカラムナDB
SG
Japan
ブラウザ
Core
DB
DSP 1
DSP 2
DSP …
Core
DB
SSPブラウザ
現地
DSP 1
現地
DSP …
集計
ログ
SSP
ログ
集計report
DB
本当に1000倍速い
容量も1/10以下
管理画面
次のチャレンジ
SG
Japan
ブラウザ
Core
DB
DSP 1
DSP 2
DSP …
Core
DB
SSPブラウザ
現地
DSP 1
現地
DSP …
集計
ログ
SSP
ログ
集計report
DB
管理画面
SG
Japan
ブラウザ
Core
DB
DSP 1
DSP 2
DSP …
Core
DB
SSPブラウザ
現地
DSP 1
現地
DSP …
集計
ログ
SSP
ログ
集計report
DB
配信から10秒で
Reportを反映!!
管理画面
SG
Japan
ブラウザ
Core
DB
DSP 1
DSP 2
DSP …
Core
DB
SSPブラウザ
現地
DSP 1
現地
DSP …
集計
ログ
SSP
ログ
集計report
DB
Streaming集計は
とても大変
管理画面
© Geniee, Inc.
まとめ
海を越えられないもの
•リアルタイムのトラフィック
•ログ
•DBのレプリケーション
•実は、他にも色々あります
レポートには、Clickhouse良いで
す
ストリーム集計大変だけど面白い
41
© Geniee, Inc.
まとめ
海を越えられないもの
•リアルタイムのトラフィック
•ログ
•DBのレプリケーション
•実は、他にも色々あります
レポートには、Clickhouse良いで
す
ストリーム集計大変だけど面白い
42
広域
高速
高トラフィック
© Geniee, Inc.
まとめ
海を越えられないもの
•リアルタイムのトラフィック
•ログ
•DBのレプリケーション
•実は、他にも色々あります
レポートには、Clickhouse良いで
す
ストリーム集計大変だけど面白い
43
広域
高速
高トラフィック
な3Kにタックルする
仲間募集!!
ありがとうございました!!

World wide ssp delivery system