Head First Ad Technology
and DMP
第1回渋谷アドテク勉強会
#ShibuyaAdtech
@suzu_v

自己紹介
• 2012年4月~ 株式会社adingo
– DMPの設計・開発、及び、データの解析業務に携
わっています。
– http://cosmi.io
• その前は大学院でセマンティックWebと人工知
能の研究をしていました。
twitter: @suzu_v
http://blog.kentasuzuki.net
#ajiting #sicp #wakateweb #hive #R
#php #dmp #aws #voyagegroup #trippiece

はじめに
• 今日は昨今のアドテクノロジーの歩み、
そしてDMPについてお伝え出来ればと思
います
– 概念として述べているところが多々あります
ので、実装や解析の詳細はお気軽に懇親会で
聞いて下さい
アドテク周りのエンジニアの仕事が
伝われば嬉しいです！

アジェンダ
• アドテク近況(10分)
– RTBに至るまでの背景について
• DMP入門(25分)
– DMPの役割
– cosmiの設計思想と仕組み
– プライベートDMPについて
参考資料も載せてありますので
あわせてご覧ください。

デジタルマーケティング領域
インターネット広告領域
アドテクノロジー領域
ディスプレイ
広告領域
参照: https://www.wab.ne.jp/wab_sites/contents/1701

ディスプレイ広告の変遷について
見て行きましょう。

広告主 / 媒体社
広
告
主
媒
体
社
広告をできるだけ
効率的かつ効果的に出稿したい
自社のサイト閲覧の価値を高めて、
収益を最大化したい
代
理
店
広告

アドネットワーク
広
告
主
媒
体
社
代
理
店
広告
アドネットワーク
複数の媒体社に配信
媒体社側は枠の販売営業が不要になる。
また、余っている枠を提供できるように
なるので、効率的に。
△ ただし、媒体の価値が様々なのにも関わらず、
単一の単価で販売されることが多い。
→ よりフラットに大規模な取引を

アドエクスチェンジ
広
告
主
媒
体
社代
理
店
広告
アドネットワーク
アドエクスチェンジ
空き枠
広告出稿枠の購入
広告出稿枠の購入
媒体社側が空き枠をアドエクスチェンジに提供
需要と供給によりインプレッションの単価が変動
△ 売れていない枠ばかりに広告が流れてしまい、
効果がよくならない。

DSP/SSP
広
告
主
媒
体
社
代
理
店
広告
DSP SSP
アド
ネット
ワーク
アド
ネット
ワーク
アド
ネット
ワーク
アドエク
スチェン
ジ
アドエク
スチェン
ジ
アドエク
スチェン
ジ
一元化された予算管理や
ユーザベースでの入札が可能に。
広告主側でコントロールが
しやすくなった。
複数のアドエクスチェンジや
アドネットワークに接続し、
効果が高く、収益が高い広告を配信
Cookie単位での最適化が可能に

SSP
ユーザがメディアを訪問
インプレッション発生
DSP
DSP
DSP
DSP
DSP
ビッドリクエストを
各DSPに送信
広告掲載メディア情報
枠情報
ユーザのipアドレス
ユーザのcookie情報
CPM
90円
CPM
50円
CPM
35円
CPM
25円
落札
フロアプライス以上の最高入札金額を
提示した広告が落札されてメディアに
配信される
広告が配信される
~ 200msec
各DSPが広告枠に合った
広告を選抜して入札
RTB(Real Time Bidding)の流れ
SSP

Behind the banner
• Behind the banner
– http://cmsummit.com/behindthebanner/
– バナー広告の裏側で起こっていることを表し
ているムービーです。インプレッション発生
からユーザに広告が配信されるまでの流れを
見ることができます。流しながら解説します。

ここまでのまとめ
• いつでも変わらない要求
– 広告主
• 広告をできるだけ効率的かつ効果的に出稿したい
– 媒体社:
• 自社のサイト閲覧の価値を高めて、収益を最大化した
い
• RTBによる1インプレッション単位での最適
化
– DSP
• 広告主側の広告効果の最大化を支援する仕組み。
– SSP
• メディアの広告収益最大化の支援を行なう仕組み。
続いてDMP入門です。

DMP
(Data Management Platform)

DMP入門アジェンダ
• DMPとは何か
– DMPの役割
– ユーザをセグメントする
• cosmiを支える技術
– アーキテクチャ

DMPとは何か
• 複数チャネルからのデータをまとめ、集計し、
活用するためのツール
– 横断的に効果を検証する
– ユーザの行動を分析し、広告配信に利用する
• 単にディスプレイ広告の領域だけではないと
ころでも利用されるようになってきています。
– The Data Management Platform: Foundation for
Right-Time Customer Engagement
• http://www.iab.net/DataManagementPlatforms

シンプルに言うと
一行一行のログから
如何に価値を生み出すか
ということを仕事にしています。

ユーザのセグメンテーション
性別
年齢
趣味
趣向
職業
どのようにセグメントしていくか？

ECサイトA
商品B購入ページ
行動ログ
サイトid=サイトA
商品id=商品B
行動=購入
Cookie dmpid=hoge
リファラ
Ipアドレス
Etc.
Cookie
Dmp_id=hoge
DMP

ECサイトA
商品B購入ページ
ルール）
サイトAで商品Bを購入したユーザは
セグメントSとする。
Cookie
Dmp_id=hoge
Dmp_id: hogeさんはセグメントSに属する。
行動ログ
サイトid=サイトA
商品id=商品B
行動=購入
Cookie dmpid=hoge
リファラ
Ipアドレス
Etc.
セグメントDB
DMP

ECサイトA
商品B購入ページ
サイトid=サイトA
商品id=商品B
行動=購入
Cookie dmpid=hoge
リファラ
Ipアドレス
Etc.
ルール）
サイトAで商品Bを購入したユーザは
セグメントSとする。
Cookie
Dmp_id=hoge
Dmp_id: hogeさんはセグメントSに属する。
行動ログ
セグメントDB
サイトB
DSP
DSP: 商品Bを買ったユーザなら「この
商品Bを買ったユーザはこんな商品も
買っています」バナーなら効果高そう
DMP: ユーザhogeはセグメントSです
DMP
2回目の訪問

検討
仮説
施策
計測
ユーザの行動データや関連
データを収集。トラッキング
を行なう。様々なチャネルか
らのデータを着実に蓄積する。
蓄積したデータを観察する。メトリクス
に基いた定常的分析と、アドホックな分
析とを行なう。
データに基づき、
仮説をたてる。
仮説を元に施策を実行する。
次の収集のためのデザイン
をする。

cosmiを支える技術について

cosmiの仕事
• データ収集
– （なければ）Cookie付与
– ログに落とす
• データ解析
– Hadoopによるバッチ処理
• データ利用
– 当該ブラウザが特定のセグメントに属してい
るかを返す

行動ログ
Amazon Simple
Storage Service
(S3)
オーディエンスデータDB
(MongoDB)
…
Auto scaling Group
EC2 EC2 EC2
行動ログコレクタ(Web)
…
Auto scaling Group
EC2 EC2 EC2
オーディエンスデータ
Web API
Amazon Elastic
MapReduce
ログ解析バッチ
Amazon Elastic
Load Balancing
http://aws.amazon.com/jp/solutions/case-studies/adingo/
Web Sites
アドネットワーク
メディア
SSP
DSP

Team
…
Auto scaling Group
EC2 EC2 EC2
production
EC2
development
Servers belonged to certain data domain.
:release
:master
ビ
ル
ド
パ
イ
プ
ラ
イ
ン
push
mirroring
Amazon Elastic
MapReduce
S3
ジョブの実行
ビルド済み.jarファイル
hive query
Jenkinsを利用して各プロダクション
サーバへのデプロイやビルド済みファ
イルの設置、バッチのディスパッチを
制御しています。
行動ログコレクタ(Web)

Team
…
Auto scaling Group
EC2 EC2 EC2
production
EC2
development
Servers belonged to certain data domain.
:release
:master
ビ
ル
ド
パ
イ
プ
ラ
イ
ン
push
mirroring
Amazon Elastic
MapReduce
S3
ジョブの実行
ビルド済み.jarファイル
hive query
行動ログコレクタ(Web)
オーディエンスデータDB
(MongoDB)
オーディエンスデータ
Web API
…
Auto scaling Group
EC2 EC2 EC2
:release
利用ログ
各サーバからのログデータを全てS3に
集め、集計しています。集計したオー
ディエンスデータはmongodbに集めら
れ、api経由で利用されます。

Team
…
Auto scaling Group
EC2 EC2 EC2
production
EC2
development
Servers belonged to certain data domain.
:release
:master
ビ
ル
ド
パ
イ
プ
ラ
イ
ン
push
mirroring
Amazon Elastic
MapReduce
S3
ジョブの実行
ビルド済み.jarファイル
hive query
行動ログコレクタ(Web)
オーディエンスデータDB
(MongoDB)
オーディエンスデータ
Web API
…
Auto scaling Group
EC2 EC2 EC2
:release
利用ログ
GrowthForecast
定常的な観測の目的でGrowthForecast
に各サーバの現状データをいれるよう
にしています。これにより時系列での
各サーバの状態把握が容易になります。
http://kazeburo.github.io/GrowthForecast/

Team
…
Auto scaling Group
EC2 EC2 EC2
production
EC2
development
Servers belonged to certain data domain.
:release
:master
ビ
ル
ド
パ
イ
プ
ラ
イ
ン
push
mirroring
Amazon Elastic
MapReduce
S3
ジョブの実行
ビルド済み.jarファイル
hive query
行動ログコレクタ(Web)
オーディエンスデータDB
(MongoDB)
オーディエンスデータ
Web API
…
Auto scaling Group
EC2 EC2 EC2
:release
利用ログ
GrowthForecast
アドホックな集計にはHiveを適宜利用
します。そこで中間データを生成し、R
やCytoscapeなどのツールで加工します。
最終的に仮説を立てるための考察を行
います。

検討
仮説
施策
計測
柔軟に、高速に、継続的に

大事なこと: とにかく観察
• 観察からしか仮説は生まれない
• 大きいデータだろうと、小さいデータだろうと、
大事なことは意味あるデータを見つけ、洗い出し、
価値につなげること
• なので、手を替え、手段を変える
– Hiveでメトリクスを意識した中間データを作成
– Rで回帰分析, Cytoscapeでネットワーク分析
– GrowthForecastで常に変化を観察する
• 今あるデータからわかることを明確にすること
• どんな手間をかければもう少し良いデータが取れ
るのかを伝えられるようにすること

まとめ

何のためのアドテク？
• 広告主の投資対効果を最大限高めるため？
• メディアの広告収益を最大化させるため？
• ユーザにとって最も嬉しい広告を届けるため？
• ユーザが最も価値を感じるものに効率よくたど
り着けるようにするため？

結論から言うと全部だと思います
• ステークホルダーがたくさんいます
• 競合関係も協力関係もたくさんあります
– カオスだとよく言われます
• 良い広告が出て嬉しいユーザもいますが、広
告嫌いなユーザもたくさんいます
• 広告効果を高め、メディアの収益を高めるた
め、よりよい広告をユーザに届ける必要があ
ります
• 全てを尊重して、良いバランスでエコシステ
ムを作らなければなりません

発表まとめ
• アドテクノロジーは一見複雑に見えます
が、それぞれの背景には存在している理
由があり、役割を担っています。
• DMPを作るのは楽しいです。
– データと向き合い、ビジネスと向き合わなけ
ればなりません。
会場を提供してくださったmixiの皆様、
どうもありがとうございました。

参考資料

アドテク全般について
• アドテクノロジーの仕組み再入門
– http://www.slideshare.net/jazzyslide/tokyoweb
mining0227adtechnology
– @jazzyslide さんのスライドです。アドテク
全般、及び、DSP/RTBについてわかりやすく
説明されています。

DMPに関するwhite paper
• Data Management Platforms Poised to Become
Scalable Solution to ‘Big Data’ Challenges,
According to IAB & Winterberry Group
– http://www.iab.net/about_the_iab/recent_press_releas
es/press_release_archive/press_release/pr-111212
• 上記の白書を日本語で解説した記事です。わかり
やすくまとめられています。
– DMP（データマネジメントプラットフォーム）を徹
底解説した、IABの白書をまとめてみる ~
admarketech.
– http://www.admarketech.com/2012/11/dmp-iab.html

DSP/RTBについて
• DSP/RTBオーディエンスターゲティング
入門 ビッグデータ時代に実現する「枠」
から「人」への広告革命 (Next Publishing)
– http://www.amazon.co.jp/gp/product/4864780
013

SSP側RTBについて
• ErlangによるSSP側RTB
– http://www.slideshare.net/ajiyoshi/ad-tech-
20121030-14943813
• fluctのRTBサーバ実装について説明されて
いるスライドです。

cosmiにおける解析環境について
• JenkinsとHadoopを利用した継続的データ
解析環境の構築
– http://www.slideshare.net/suzuken/jenkinshad
oop
– 昨年のad:tech Tokyoにてcosmiの解析環境に
ついて発表した資料です。Jenkinsを利用して
MapReduceジョブを継続的に回し、解析を重
ねるための環境及び利用しているツール群に
ついて紹介させていただきました。