Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
© Geniee, Inc.
世界分散配信システムと
レポーティングシステム刷新のお話
2017/10/25
CTO 篠塚 英伸
© Geniee, Inc.
Self introduction
2
Name
篠塚 英伸
Life work
Tennis!! Tennis!! Tennis!!
Geniee CTO
・SSP、DSP、DMP
・インフラ
・海外事業
複数データセンターで配信を行う為の
アーキテクチャについてお話をします
+レポートの話もします
10ヶ国以上へサービス提供
1万媒体以上のメディアで利用
Japan
China
Thailand
Singapore
Indonesia
Vietnam
レイテンシ
収益
ブラウザの近くにデータセンター
を置こう
Japan
China
Singapore
Indonesia
Vietnam
Thailand
Genieeのアーキテクチャについて
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計
管理画面
SSP
DB
ブラウザ SSP
DB
10万QPS
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
数十万入札/sec
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計
15TB/日
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計
管理画面
ブラウザの近くにデータセンター
を置こう
Japan
China
Singapore
Indonesia
Vietnam
Thailand
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計
Japan
管理画面
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計
Japan
ブラウザ
管理画面
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計
Japan
ブラウザ
管理画面
管理画面
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計
Japan
ブラウザ
レイテンシ的に X
© Geniee, Inc.
海を越えられないと想定したもの
リアルタイムのトラフィック
ログ
19
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計
Japan
SG
DB
ブラウザ
DBをレプリケーションする
管理画面
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計
Japan
SG
DB
SSPブラウザ
現地
DSP 1
現地
DSP …
DSPも現地でつなぐ
管理画面
ブラウザ SSP
DB
DSP 1
DSP 2
DSP …
ログ
集計
Japan
SG
DB
SSPブラウザ
現地
DSP 1
現地
DSP …
集計
ログ
管理画面
ブラウザ SSP
DSP 1
DSP 2
DSP …
ログ
集計
Japan
SG
SSPブラウザ
現地
DSP 1
現地
DSP …
集計
ログDB
DB
このレプリケーションが
ムリ
© Geniee, Inc.
海を越えられないもの
リアルタイムのトラフィック
ログ
DBのレプリケーション
24
© Geniee, Inc.
主なDBの中身
配信設定
レポート
25
レポートがでかい
更新頻度が高い
= Binlogが巨大になる
わけてしまえ
ブラウザ SSP
Core
DB
DSP 1
DSP 2
DSP …
ログ
集計
Japan
SG
Core
DB
SSPブラウザ
現地
DSP 1
現地
DSP …
集計
ログ
report
DB
OK
管理画面
Report DB がでかい
© Geniee, Inc.
Report DB の特徴
Dimension
•時間毎
•Zone毎
•OS毎
•地域毎
•・・・
Measure
•Imps
•Click
•CV
•Revenue
•・・・
30
© Geniee, Inc.
Report DB の特徴
Dimension
•時間毎
•Zone毎
•OS毎
•地域毎
•・・・
Measure
•Imps
•Click
•CV
•Revenue
•・・・
31
Dimensionのかけ...
© Geniee, Inc.
Report DB の特徴
Dimension
•時間毎
•Zone毎
•OS毎
•地域毎
•・・・
Measure
•Imps
•Click
•CV
•Revenue
•・・・
32
Dimensionのかけ...
© Geniee, Inc.
Report DB の特徴
Dimension
•時間毎
•Zone毎
•OS毎
•地域毎
•・・・
Measure
•Imps
•Click
•CV
•Revenue
•・・・
33
Dimensionのかけ...
MySQLじゃむりぽ
© Geniee, Inc.
What is ClickHouse
35
 ロシアの検索エンジン会社Yandex製
 YandexやCERNのプロダクションで動いている
 速度が自慢のカラムナDB
SG
Japan
ブラウザ
Core
DB
DSP 1
DSP 2
DSP …
Core
DB
SSPブラウザ
現地
DSP 1
現地
DSP …
集計
ログ
SSP
ログ
集計report
DB
本当に1000倍速い
容量も1/10以下
管理...
次のチャレンジ
SG
Japan
ブラウザ
Core
DB
DSP 1
DSP 2
DSP …
Core
DB
SSPブラウザ
現地
DSP 1
現地
DSP …
集計
ログ
SSP
ログ
集計report
DB
管理画面
SG
Japan
ブラウザ
Core
DB
DSP 1
DSP 2
DSP …
Core
DB
SSPブラウザ
現地
DSP 1
現地
DSP …
集計
ログ
SSP
ログ
集計report
DB
配信から10秒で
Reportを反映!!
管理...
SG
Japan
ブラウザ
Core
DB
DSP 1
DSP 2
DSP …
Core
DB
SSPブラウザ
現地
DSP 1
現地
DSP …
集計
ログ
SSP
ログ
集計report
DB
Streaming集計は
とても大変
管理画面
© Geniee, Inc.
まとめ
海を越えられないもの
•リアルタイムのトラフィック
•ログ
•DBのレプリケーション
•実は、他にも色々あります
レポートには、Clickhouse良いで
す
ストリーム集計大変だけど面白い
41
© Geniee, Inc.
まとめ
海を越えられないもの
•リアルタイムのトラフィック
•ログ
•DBのレプリケーション
•実は、他にも色々あります
レポートには、Clickhouse良いで
す
ストリーム集計大変だけど面白い
42
広...
© Geniee, Inc.
まとめ
海を越えられないもの
•リアルタイムのトラフィック
•ログ
•DBのレプリケーション
•実は、他にも色々あります
レポートには、Clickhouse良いで
す
ストリーム集計大変だけど面白い
43
広...
ありがとうございました!!
Upcoming SlideShare
Loading in …5
×

世界分散配信システムとレポーティングシステム刷新のお話

7,178 views

Published on

GenieeSSPは、一度大きな作り直しを経験し、その後Asiaを中心に国外のトラフィックを捌くように成長していきました。
世界中で広告を配信するアーキテクチャを実現するまでの変遷と、最近のチャレンジについてお話しします。

Published in: Engineering
  • accessibility Books Library allowing access to top content, including thousands of title from favorite author, plus the ability to read or download a huge selection of books for your pc or smartphone within minutes DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://urlzs.com/UABbn } ......................................................................................................................... Download Full EPUB Ebook here { https://urlzs.com/UABbn } ......................................................................................................................... ...................................ALL FOR EBOOKS................................................. Cookbooks, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THI5 BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m6jJ5M } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/y6a5rkg5 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Be the first to like this

世界分散配信システムとレポーティングシステム刷新のお話

  1. 1. © Geniee, Inc. 世界分散配信システムと レポーティングシステム刷新のお話 2017/10/25 CTO 篠塚 英伸
  2. 2. © Geniee, Inc. Self introduction 2 Name 篠塚 英伸 Life work Tennis!! Tennis!! Tennis!! Geniee CTO ・SSP、DSP、DMP ・インフラ ・海外事業
  3. 3. 複数データセンターで配信を行う為の アーキテクチャについてお話をします +レポートの話もします
  4. 4. 10ヶ国以上へサービス提供 1万媒体以上のメディアで利用 Japan China Thailand Singapore Indonesia Vietnam
  5. 5. レイテンシ 収益
  6. 6. ブラウザの近くにデータセンター を置こう Japan China Singapore Indonesia Vietnam Thailand
  7. 7. Genieeのアーキテクチャについて
  8. 8. ブラウザ SSP DB DSP 1 DSP 2 DSP … ログ 集計 管理画面
  9. 9. SSP DB
  10. 10. ブラウザ SSP DB 10万QPS
  11. 11. ブラウザ SSP DB DSP 1 DSP 2 DSP … 数十万入札/sec
  12. 12. ブラウザ SSP DB DSP 1 DSP 2 DSP … ログ 集計 15TB/日
  13. 13. ブラウザ SSP DB DSP 1 DSP 2 DSP … ログ 集計 管理画面
  14. 14. ブラウザの近くにデータセンター を置こう Japan China Singapore Indonesia Vietnam Thailand
  15. 15. ブラウザ SSP DB DSP 1 DSP 2 DSP … ログ 集計 Japan 管理画面
  16. 16. ブラウザ SSP DB DSP 1 DSP 2 DSP … ログ 集計 Japan ブラウザ 管理画面
  17. 17. ブラウザ SSP DB DSP 1 DSP 2 DSP … ログ 集計 Japan ブラウザ 管理画面
  18. 18. 管理画面 ブラウザ SSP DB DSP 1 DSP 2 DSP … ログ 集計 Japan ブラウザ レイテンシ的に X
  19. 19. © Geniee, Inc. 海を越えられないと想定したもの リアルタイムのトラフィック ログ 19
  20. 20. ブラウザ SSP DB DSP 1 DSP 2 DSP … ログ 集計 Japan SG DB ブラウザ DBをレプリケーションする 管理画面
  21. 21. ブラウザ SSP DB DSP 1 DSP 2 DSP … ログ 集計 Japan SG DB SSPブラウザ 現地 DSP 1 現地 DSP … DSPも現地でつなぐ 管理画面
  22. 22. ブラウザ SSP DB DSP 1 DSP 2 DSP … ログ 集計 Japan SG DB SSPブラウザ 現地 DSP 1 現地 DSP … 集計 ログ 管理画面
  23. 23. ブラウザ SSP DSP 1 DSP 2 DSP … ログ 集計 Japan SG SSPブラウザ 現地 DSP 1 現地 DSP … 集計 ログDB DB このレプリケーションが ムリ
  24. 24. © Geniee, Inc. 海を越えられないもの リアルタイムのトラフィック ログ DBのレプリケーション 24
  25. 25. © Geniee, Inc. 主なDBの中身 配信設定 レポート 25
  26. 26. レポートがでかい 更新頻度が高い = Binlogが巨大になる
  27. 27. わけてしまえ
  28. 28. ブラウザ SSP Core DB DSP 1 DSP 2 DSP … ログ 集計 Japan SG Core DB SSPブラウザ 現地 DSP 1 現地 DSP … 集計 ログ report DB OK 管理画面
  29. 29. Report DB がでかい
  30. 30. © Geniee, Inc. Report DB の特徴 Dimension •時間毎 •Zone毎 •OS毎 •地域毎 •・・・ Measure •Imps •Click •CV •Revenue •・・・ 30
  31. 31. © Geniee, Inc. Report DB の特徴 Dimension •時間毎 •Zone毎 •OS毎 •地域毎 •・・・ Measure •Imps •Click •CV •Revenue •・・・ 31 Dimensionのかけ算で record数が決まる
  32. 32. © Geniee, Inc. Report DB の特徴 Dimension •時間毎 •Zone毎 •OS毎 •地域毎 •・・・ Measure •Imps •Click •CV •Revenue •・・・ 32 Dimensionのかけ算で record数が決まる 24 x 700 x 4 x 数十万 x …
  33. 33. © Geniee, Inc. Report DB の特徴 Dimension •時間毎 •Zone毎 •OS毎 •地域毎 •・・・ Measure •Imps •Click •CV •Revenue •・・・ 33 Dimensionのかけ算で record数が決まる 24 x 700 x 4 x 数十万 x … 20億record 4TB とかになる
  34. 34. MySQLじゃむりぽ
  35. 35. © Geniee, Inc. What is ClickHouse 35  ロシアの検索エンジン会社Yandex製  YandexやCERNのプロダクションで動いている  速度が自慢のカラムナDB
  36. 36. SG Japan ブラウザ Core DB DSP 1 DSP 2 DSP … Core DB SSPブラウザ 現地 DSP 1 現地 DSP … 集計 ログ SSP ログ 集計report DB 本当に1000倍速い 容量も1/10以下 管理画面
  37. 37. 次のチャレンジ
  38. 38. SG Japan ブラウザ Core DB DSP 1 DSP 2 DSP … Core DB SSPブラウザ 現地 DSP 1 現地 DSP … 集計 ログ SSP ログ 集計report DB 管理画面
  39. 39. SG Japan ブラウザ Core DB DSP 1 DSP 2 DSP … Core DB SSPブラウザ 現地 DSP 1 現地 DSP … 集計 ログ SSP ログ 集計report DB 配信から10秒で Reportを反映!! 管理画面
  40. 40. SG Japan ブラウザ Core DB DSP 1 DSP 2 DSP … Core DB SSPブラウザ 現地 DSP 1 現地 DSP … 集計 ログ SSP ログ 集計report DB Streaming集計は とても大変 管理画面
  41. 41. © Geniee, Inc. まとめ 海を越えられないもの •リアルタイムのトラフィック •ログ •DBのレプリケーション •実は、他にも色々あります レポートには、Clickhouse良いで す ストリーム集計大変だけど面白い 41
  42. 42. © Geniee, Inc. まとめ 海を越えられないもの •リアルタイムのトラフィック •ログ •DBのレプリケーション •実は、他にも色々あります レポートには、Clickhouse良いで す ストリーム集計大変だけど面白い 42 広域 高速 高トラフィック
  43. 43. © Geniee, Inc. まとめ 海を越えられないもの •リアルタイムのトラフィック •ログ •DBのレプリケーション •実は、他にも色々あります レポートには、Clickhouse良いで す ストリーム集計大変だけど面白い 43 広域 高速 高トラフィック な3Kにタックルする 仲間募集!!
  44. 44. ありがとうございました!!

×