SlideShare a Scribd company logo
Estimating Conversion Rate in
Display Advertising from Past
Performance Data
Kuang-chih Lee, Burkay Orten, Ali Dasdan, Wentong Li
Turn Inc., Redwood City, CA, USA
(KDD 2012)
05/02 2013
D2 大知 正直@東大 松尾研
1
Abstract
• ターゲット広告の個人化タスクに取り組んだ
• オンラインのユーザの過去の履歴からその瞬間
に最もCV率が高いと考えられる広告を提示する
– ユーザのCV率の見積もり
– 実際の運用で効果があったという結果
2
最近のオンライン広告のしくみ
• 2010頃~ DSP(Demand Side Platform) / RTB(Real Time
Bidding)のしくみが始まる
3
http://web-tan.forum.impressrd.jp/e/2012/07/02/13001 から引用
広告枠の提示
入札
0.005秒~0.01秒
モチベーション
• 広告出稿の入札をする側
– 広告を提示するユーザ,ページの価値を正確に測定
したい
• CVRを正確に見積もる
• 課題
– 通常、CVRは0.0001~0.1%程度で極めて少ない
• ユーザ,ページ,広告の組み合わせで十分なCV数をチェッ
クすることができない
– 階層化,”implicit”なクラスタリングで解決
– 入札まで5m sec~10m sec
• 時間的制約が強く,計算量が少なくかつ正確な測定法が必要
– ロジスティック回帰で解決
4
本論文ではこの2つの課題を解決するCVR見積もり手法を提案している
Overiew of Ad Call Flow
1.Introduction
• 本論文の貢献
– 広告出稿者側が出稿すべき広告の選定が可能になる
– 入札価格を決定できる
5
ユーザ,ページ,広告の組み合わせ時の正確なCVRの見積もり手法
Problem Setup and Formulation
1.Introduction
• 最適な広告の選定
• CVを確率的に発生するイベントと捉える
• 問題設定
6
ユーザ,ページ,広告の組み合わせ時の正確なCVRの見積もり手法
Problem Setup and Formulation
1.Introduction
• ユーザ個人のCVRを見積もらずクラスタリング
して最尤推定で計算
7
User, page, adの組み合わせでのデータスパースネスをデータに階層構造を
持たせることで解決
PV数CV数
Data Hierarchies
2.Background
• データに階層構造を持たせ、”implicit”なクラス
タリングを実現
8
la lp lu
Ad, page, userのノードを定めると,la×lp×lu個(=Mとする)のクラスタに所属
する
Past Performance at Different Hierarchical Levels
3.Conversion Rate Estimation
9
提案)1つ1つのCVR予測器は弱いが,組み合わせることで強力にできる
Combining Estimators using Logistic Regression
3.Conversion Rate Estimation
• ロジスティック回帰を利用して各予測器に最適
な重み付けを行う
• 各予測器を組み合わせたCVR予測の再定義
• 最適なパラメータベクトルβを決めたい
• ロジスティック回帰
– メリット)0~1になり,確率値に変換できる
10
Combining Estimators using Logistic Regression
3.Conversion Rate Estimation
• 各PVに対する対数尤度関数
• 最適なβの推定
11
各PV
通常β*はニュートンラフソン法で求める(PRML 4.3章を参考)
Data Imbalance & Output Calibration
4. Practical Issues in Conversion Rate Estimation
• CV/非CV 率が非常に低い
– CVしたデータは全て利用
– 非CVデータはサンプリングして利用
• 影響は調査する
• スコアを区間で分割し,キャリブレーション
12
Data Imbalance & Output Calibration
4. Practical Issues in Conversion Rate Estimation
• 区間ごとのCV率の凹凸のスムージングはPool
Adjacent Violators Algorithm (PAVA) を利用
• 実際のCVRは内分して算出
13
Missing Features
4. Practical Issues in Conversion Rate Estimation
• データが無い場合の補正
– ユーザプロファイルサーバに無いユーザID,カテゴ
リに分類できないウェブページ
– ガウス分布を仮定して、条件付きガウス分布による
補正を行う
14
補正の効果も調査。条件付きガウス分布の導出は(PRML 2.3章を参考)
補正値
Feature Selection
4. Practical Issues in Conversion Rate Estimation
• 階層化に利用する属性
– 65%以上のデータが持っている属性
– データを持っていても属性の分散が10^-8以下のもの
は利用しない
15
具体的に何を利用したかは不明
Data Imbalance and Score Calibration
5. Experimental Results and Discussion
• 訓練データのCV/非CV率影響
• AUC,ROC スコアの閾値を変えたときの正解,
不正解の変化を面積で表したもの
– 大きいほど良い
16
IRによる差は無かった
Imbalance
Ratio
Missing Value Imputation
5. Experimental Results and Discussion
• 欠損値のあるデータの補正
18
わざわざ補正する必要もなく,中央値でOK
Baseline Estimators vs Logistic Regression
5. Experimental Results and Discussion
• 実験条件
– 2012年1月の2週間のログを利用
• 始めの1週間を訓練,残りの1週間をテストとする
– 広告群は5種類(車,贈り物・・・等、それぞれ100
万単位のPV数/日)
– あるユーザがページ,広告を見たときにCVするかし
ないかを予想
19
Baseline Estimators vs Logistic Regression
5. Experimental Results and Discussion
• 提案手法の効果
– Baseline1:
• ユーザの年齢,性別,居住地域などのデモグラフィックな属
性によるクラスタリングと広告群による推定
– Baseline2
• 広告群を見たユーザと特定の広告による推定
20
Baseline Estimators vs Logistic Regression
5. Experimental Results and Discussion
• 結果
– Logistic RegressionがB1に対して28.2%,B2に対し
て5.92%良かった
21
結論と感想
6. Conclusion
• 結論
– RTBに対する高速なCVR推定手法を提案した
– 階層構造をうまく作れればより精度が高まるだろう
• 感想
– CV率に対応したユーザクラスタリングについてはあ
まり言及がなかったのは残念
• 他の論文をあたる
22

More Related Content

Viewers also liked

A LOV2 Domain-Based Optogenetic Tool to Control Protein Degradation and Cellu...
A LOV2 Domain-Based Optogenetic Tool to Control Protein Degradation and Cellu...A LOV2 Domain-Based Optogenetic Tool to Control Protein Degradation and Cellu...
A LOV2 Domain-Based Optogenetic Tool to Control Protein Degradation and Cellu...
Feynman Liang
 
Integrated Genomic and Proteomic Analyses of a Systematically Perturbed Metab...
Integrated Genomic and Proteomic Analyses of a Systematically Perturbed Metab...Integrated Genomic and Proteomic Analyses of a Systematically Perturbed Metab...
Integrated Genomic and Proteomic Analyses of a Systematically Perturbed Metab...
Feynman Liang
 
COLING2014 読み会@小町研 “Morphological Analysis for Japanese Noisy Text Based on C...
COLING2014 読み会@小町研 “Morphological Analysis for Japanese Noisy Text Based on C...COLING2014 読み会@小町研 “Morphological Analysis for Japanese Noisy Text Based on C...
COLING2014 読み会@小町研 “Morphological Analysis for Japanese Noisy Text Based on C...
Yuki Tomo
 
A Unifying Review of Gaussian Linear Models (Roweis 1999)
A Unifying Review of Gaussian Linear Models (Roweis 1999)A Unifying Review of Gaussian Linear Models (Roweis 1999)
A Unifying Review of Gaussian Linear Models (Roweis 1999)
Feynman Liang
 
Engineered histone acetylation using DNA-binding domains (DBD), chemical ind...
 Engineered histone acetylation using DNA-binding domains (DBD), chemical ind... Engineered histone acetylation using DNA-binding domains (DBD), chemical ind...
Engineered histone acetylation using DNA-binding domains (DBD), chemical ind...
Feynman Liang
 
ACL2014読み会@小町研 “Identifying Real-Life Complex Task Names with Task-Intrinsic ...
ACL2014読み会@小町研 “Identifying Real-Life Complex Task Names with Task-Intrinsic ...ACL2014読み会@小町研 “Identifying Real-Life Complex Task Names with Task-Intrinsic ...
ACL2014読み会@小町研 “Identifying Real-Life Complex Task Names with Task-Intrinsic ...
Yuki Tomo
 
プライベートクラウド作ってみました
プライベートクラウド作ってみましたプライベートクラウド作ってみました
プライベートクラウド作ってみました
Koji Hasebe
 
Simple Introduction to AutoEncoder
Simple Introduction to AutoEncoderSimple Introduction to AutoEncoder
Simple Introduction to AutoEncoder
Jun Lang
 
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)Ohsawa Goodfellow
 
アドテク勉強会0819
アドテク勉強会0819アドテク勉強会0819
アドテク勉強会0819
Hideya Kato
 
アドテク勉強会(第1回)
アドテク勉強会(第1回)アドテク勉強会(第1回)
アドテク勉強会(第1回)
Noriaki UCHIYAMA
 

Viewers also liked (12)

Icwsm読み会
Icwsm読み会Icwsm読み会
Icwsm読み会
 
A LOV2 Domain-Based Optogenetic Tool to Control Protein Degradation and Cellu...
A LOV2 Domain-Based Optogenetic Tool to Control Protein Degradation and Cellu...A LOV2 Domain-Based Optogenetic Tool to Control Protein Degradation and Cellu...
A LOV2 Domain-Based Optogenetic Tool to Control Protein Degradation and Cellu...
 
Integrated Genomic and Proteomic Analyses of a Systematically Perturbed Metab...
Integrated Genomic and Proteomic Analyses of a Systematically Perturbed Metab...Integrated Genomic and Proteomic Analyses of a Systematically Perturbed Metab...
Integrated Genomic and Proteomic Analyses of a Systematically Perturbed Metab...
 
COLING2014 読み会@小町研 “Morphological Analysis for Japanese Noisy Text Based on C...
COLING2014 読み会@小町研 “Morphological Analysis for Japanese Noisy Text Based on C...COLING2014 読み会@小町研 “Morphological Analysis for Japanese Noisy Text Based on C...
COLING2014 読み会@小町研 “Morphological Analysis for Japanese Noisy Text Based on C...
 
A Unifying Review of Gaussian Linear Models (Roweis 1999)
A Unifying Review of Gaussian Linear Models (Roweis 1999)A Unifying Review of Gaussian Linear Models (Roweis 1999)
A Unifying Review of Gaussian Linear Models (Roweis 1999)
 
Engineered histone acetylation using DNA-binding domains (DBD), chemical ind...
 Engineered histone acetylation using DNA-binding domains (DBD), chemical ind... Engineered histone acetylation using DNA-binding domains (DBD), chemical ind...
Engineered histone acetylation using DNA-binding domains (DBD), chemical ind...
 
ACL2014読み会@小町研 “Identifying Real-Life Complex Task Names with Task-Intrinsic ...
ACL2014読み会@小町研 “Identifying Real-Life Complex Task Names with Task-Intrinsic ...ACL2014読み会@小町研 “Identifying Real-Life Complex Task Names with Task-Intrinsic ...
ACL2014読み会@小町研 “Identifying Real-Life Complex Task Names with Task-Intrinsic ...
 
プライベートクラウド作ってみました
プライベートクラウド作ってみましたプライベートクラウド作ってみました
プライベートクラウド作ってみました
 
Simple Introduction to AutoEncoder
Simple Introduction to AutoEncoderSimple Introduction to AutoEncoder
Simple Introduction to AutoEncoder
 
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
Learning Deep Architectures for AI (第 3 回 Deep Learning 勉強会資料; 松尾)
 
アドテク勉強会0819
アドテク勉強会0819アドテク勉強会0819
アドテク勉強会0819
 
アドテク勉強会(第1回)
アドテク勉強会(第1回)アドテク勉強会(第1回)
アドテク勉強会(第1回)
 

Similar to Estimating conversionrateindisplayadvertisingfrompastperformancedata

アドテクにおける機械学習技術 @Tokyo Data Night #tokyodn
アドテクにおける機械学習技術 @Tokyo Data Night #tokyodnアドテクにおける機械学習技術 @Tokyo Data Night #tokyodn
アドテクにおける機械学習技術 @Tokyo Data Night #tokyodn
Kei Tateno
 
20171207 Gaiaxエンジニア勉強会 プログラマーのためのDCIアーキテクチャ一夜漬け
20171207 Gaiaxエンジニア勉強会 プログラマーのためのDCIアーキテクチャ一夜漬け20171207 Gaiaxエンジニア勉強会 プログラマーのためのDCIアーキテクチャ一夜漬け
20171207 Gaiaxエンジニア勉強会 プログラマーのためのDCIアーキテクチャ一夜漬け
Taiga Tsutsumi
 
ネット広告基礎編スライド
ネット広告基礎編スライドネット広告基礎編スライド
ネット広告基礎編スライド
toshiya tamagawa
 
意外と知らない?地域メディアのアドネットワークマネタイズ
意外と知らない?地域メディアのアドネットワークマネタイズ意外と知らない?地域メディアのアドネットワークマネタイズ
意外と知らない?地域メディアのアドネットワークマネタイズ
Hal Seki
 
201504 06【媒体資料】bypass 20150401
201504 06【媒体資料】bypass 20150401201504 06【媒体資料】bypass 20150401
201504 06【媒体資料】bypass 20150401
Miho Marumo
 
ネット上でのクチコミマーケティングとは
ネット上でのクチコミマーケティングとはネット上でのクチコミマーケティングとは
ネット上でのクチコミマーケティングとは武 河野
 
WSDM 2012 勉強会資料
WSDM 2012 勉強会資料WSDM 2012 勉強会資料
WSDM 2012 勉強会資料
正志 坪坂
 
【大阪 ダイナテック様】共催セミナー_1100629スライド用
【大阪 ダイナテック様】共催セミナー_1100629スライド用【大阪 ダイナテック様】共催セミナー_1100629スライド用
【大阪 ダイナテック様】共催セミナー_1100629スライド用Keita Matsumoto
 
【ユニット23】WEB集客改善提案書_三好史音 のコピー.pptx
【ユニット23】WEB集客改善提案書_三好史音 のコピー.pptx【ユニット23】WEB集客改善提案書_三好史音 のコピー.pptx
【ユニット23】WEB集客改善提案書_三好史音 のコピー.pptx
ssuserd27983
 
0926motionBEAT主催セミナー_3
0926motionBEAT主催セミナー_30926motionBEAT主催セミナー_3
0926motionBEAT主催セミナー_3
motionBEAT
 
ネット広告講義資料 at 東京大学 2017/07/11
ネット広告講義資料 at 東京大学 2017/07/11ネット広告講義資料 at 東京大学 2017/07/11
ネット広告講義資料 at 東京大学 2017/07/11
Takehiko Yoshida
 
CMS学会 第三回 研究報告
CMS学会 第三回 研究報告CMS学会 第三回 研究報告
CMS学会 第三回 研究報告
loftwork
 
"営業マン"な自社サイトを作る
"営業マン"な自社サイトを作る"営業マン"な自社サイトを作る
"営業マン"な自社サイトを作るDigical Media
 
最新事例にみるサービスデザインという新潮流(I・CON2014)
最新事例にみるサービスデザインという新潮流(I・CON2014)最新事例にみるサービスデザインという新潮流(I・CON2014)
最新事例にみるサービスデザインという新潮流(I・CON2014)IMJ Corporation
 
WSDM2016報告会−参加報告#yjwsdm
WSDM2016報告会−参加報告#yjwsdmWSDM2016報告会−参加報告#yjwsdm
WSDM2016報告会−参加報告#yjwsdm
Yahoo!デベロッパーネットワーク
 
デブサミ2013【15-C-6】5msの中身を公開!~ネット広告配信と支える職人達~
デブサミ2013【15-C-6】5msの中身を公開!~ネット広告配信と支える職人達~デブサミ2013【15-C-6】5msの中身を公開!~ネット広告配信と支える職人達~
デブサミ2013【15-C-6】5msの中身を公開!~ネット広告配信と支える職人達~
Developers Summit
 
広告運用提案書
広告運用提案書 広告運用提案書
広告運用提案書
ssuser7a22ea
 
広告運用提案書.pdf
広告運用提案書.pdf広告運用提案書.pdf
広告運用提案書.pdf
ssuser7a22ea
 
WEB集客改善提案書.pptx
WEB集客改善提案書.pptxWEB集客改善提案書.pptx
WEB集客改善提案書.pptx
tadahikoitou
 

Similar to Estimating conversionrateindisplayadvertisingfrompastperformancedata (20)

アドテクにおける機械学習技術 @Tokyo Data Night #tokyodn
アドテクにおける機械学習技術 @Tokyo Data Night #tokyodnアドテクにおける機械学習技術 @Tokyo Data Night #tokyodn
アドテクにおける機械学習技術 @Tokyo Data Night #tokyodn
 
20171207 Gaiaxエンジニア勉強会 プログラマーのためのDCIアーキテクチャ一夜漬け
20171207 Gaiaxエンジニア勉強会 プログラマーのためのDCIアーキテクチャ一夜漬け20171207 Gaiaxエンジニア勉強会 プログラマーのためのDCIアーキテクチャ一夜漬け
20171207 Gaiaxエンジニア勉強会 プログラマーのためのDCIアーキテクチャ一夜漬け
 
ネット広告基礎編スライド
ネット広告基礎編スライドネット広告基礎編スライド
ネット広告基礎編スライド
 
意外と知らない?地域メディアのアドネットワークマネタイズ
意外と知らない?地域メディアのアドネットワークマネタイズ意外と知らない?地域メディアのアドネットワークマネタイズ
意外と知らない?地域メディアのアドネットワークマネタイズ
 
201504 06【媒体資料】bypass 20150401
201504 06【媒体資料】bypass 20150401201504 06【媒体資料】bypass 20150401
201504 06【媒体資料】bypass 20150401
 
ネット上でのクチコミマーケティングとは
ネット上でのクチコミマーケティングとはネット上でのクチコミマーケティングとは
ネット上でのクチコミマーケティングとは
 
WSDM 2012 勉強会資料
WSDM 2012 勉強会資料WSDM 2012 勉強会資料
WSDM 2012 勉強会資料
 
【大阪 ダイナテック様】共催セミナー_1100629スライド用
【大阪 ダイナテック様】共催セミナー_1100629スライド用【大阪 ダイナテック様】共催セミナー_1100629スライド用
【大阪 ダイナテック様】共催セミナー_1100629スライド用
 
代理店向けセミナー
代理店向けセミナー代理店向けセミナー
代理店向けセミナー
 
【ユニット23】WEB集客改善提案書_三好史音 のコピー.pptx
【ユニット23】WEB集客改善提案書_三好史音 のコピー.pptx【ユニット23】WEB集客改善提案書_三好史音 のコピー.pptx
【ユニット23】WEB集客改善提案書_三好史音 のコピー.pptx
 
0926motionBEAT主催セミナー_3
0926motionBEAT主催セミナー_30926motionBEAT主催セミナー_3
0926motionBEAT主催セミナー_3
 
ネット広告講義資料 at 東京大学 2017/07/11
ネット広告講義資料 at 東京大学 2017/07/11ネット広告講義資料 at 東京大学 2017/07/11
ネット広告講義資料 at 東京大学 2017/07/11
 
CMS学会 第三回 研究報告
CMS学会 第三回 研究報告CMS学会 第三回 研究報告
CMS学会 第三回 研究報告
 
"営業マン"な自社サイトを作る
"営業マン"な自社サイトを作る"営業マン"な自社サイトを作る
"営業マン"な自社サイトを作る
 
最新事例にみるサービスデザインという新潮流(I・CON2014)
最新事例にみるサービスデザインという新潮流(I・CON2014)最新事例にみるサービスデザインという新潮流(I・CON2014)
最新事例にみるサービスデザインという新潮流(I・CON2014)
 
WSDM2016報告会−参加報告#yjwsdm
WSDM2016報告会−参加報告#yjwsdmWSDM2016報告会−参加報告#yjwsdm
WSDM2016報告会−参加報告#yjwsdm
 
デブサミ2013【15-C-6】5msの中身を公開!~ネット広告配信と支える職人達~
デブサミ2013【15-C-6】5msの中身を公開!~ネット広告配信と支える職人達~デブサミ2013【15-C-6】5msの中身を公開!~ネット広告配信と支える職人達~
デブサミ2013【15-C-6】5msの中身を公開!~ネット広告配信と支える職人達~
 
広告運用提案書
広告運用提案書 広告運用提案書
広告運用提案書
 
広告運用提案書.pdf
広告運用提案書.pdf広告運用提案書.pdf
広告運用提案書.pdf
 
WEB集客改善提案書.pptx
WEB集客改善提案書.pptxWEB集客改善提案書.pptx
WEB集客改善提案書.pptx
 

Recently uploaded

This is the company presentation material of RIZAP Technologies, Inc.
This is the company presentation material of RIZAP Technologies, Inc.This is the company presentation material of RIZAP Technologies, Inc.
This is the company presentation material of RIZAP Technologies, Inc.
chiefujita1
 
JSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさ
JSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさJSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさ
JSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさ
0207sukipio
 
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアルLoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
CRI Japan, Inc.
 
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
t m
 
Generating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language ModelsGenerating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language Models
harmonylab
 
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
Matsushita Laboratory
 
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
Toru Tamaki
 
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援しますキンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
Takayuki Nakayama
 

Recently uploaded (8)

This is the company presentation material of RIZAP Technologies, Inc.
This is the company presentation material of RIZAP Technologies, Inc.This is the company presentation material of RIZAP Technologies, Inc.
This is the company presentation material of RIZAP Technologies, Inc.
 
JSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさ
JSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさJSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさ
JSAI_類似画像マッチングによる器への印象付与手法の妥当性検証_ver.3_高橋りさ
 
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアルLoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
LoRaWAN 4チャンネル電流センサー・コンバーター CS01-LB 日本語マニュアル
 
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
遺伝的アルゴリズムと知識蒸留による大規模言語モデル(LLM)の学習とハイパーパラメータ最適化
 
Generating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language ModelsGenerating Automatic Feedback on UI Mockups with Large Language Models
Generating Automatic Feedback on UI Mockups with Large Language Models
 
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
ReonHata_便利の副作用に気づかせるための発想支援手法の評価---行為の増減の提示による気づきへの影響---
 
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
論文紹介:Deep Learning-Based Human Pose Estimation: A Survey
 
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援しますキンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
キンドリル ネットワークアセスメントサービスご紹介 今のネットワーク環境は大丈夫? 調査〜対策までご支援します
 

Estimating conversionrateindisplayadvertisingfrompastperformancedata

  • 1. Estimating Conversion Rate in Display Advertising from Past Performance Data Kuang-chih Lee, Burkay Orten, Ali Dasdan, Wentong Li Turn Inc., Redwood City, CA, USA (KDD 2012) 05/02 2013 D2 大知 正直@東大 松尾研 1
  • 3. 最近のオンライン広告のしくみ • 2010頃~ DSP(Demand Side Platform) / RTB(Real Time Bidding)のしくみが始まる 3 http://web-tan.forum.impressrd.jp/e/2012/07/02/13001 から引用 広告枠の提示 入札 0.005秒~0.01秒
  • 4. モチベーション • 広告出稿の入札をする側 – 広告を提示するユーザ,ページの価値を正確に測定 したい • CVRを正確に見積もる • 課題 – 通常、CVRは0.0001~0.1%程度で極めて少ない • ユーザ,ページ,広告の組み合わせで十分なCV数をチェッ クすることができない – 階層化,”implicit”なクラスタリングで解決 – 入札まで5m sec~10m sec • 時間的制約が強く,計算量が少なくかつ正確な測定法が必要 – ロジスティック回帰で解決 4 本論文ではこの2つの課題を解決するCVR見積もり手法を提案している
  • 5. Overiew of Ad Call Flow 1.Introduction • 本論文の貢献 – 広告出稿者側が出稿すべき広告の選定が可能になる – 入札価格を決定できる 5 ユーザ,ページ,広告の組み合わせ時の正確なCVRの見積もり手法
  • 6. Problem Setup and Formulation 1.Introduction • 最適な広告の選定 • CVを確率的に発生するイベントと捉える • 問題設定 6 ユーザ,ページ,広告の組み合わせ時の正確なCVRの見積もり手法
  • 7. Problem Setup and Formulation 1.Introduction • ユーザ個人のCVRを見積もらずクラスタリング して最尤推定で計算 7 User, page, adの組み合わせでのデータスパースネスをデータに階層構造を 持たせることで解決 PV数CV数
  • 8. Data Hierarchies 2.Background • データに階層構造を持たせ、”implicit”なクラス タリングを実現 8 la lp lu Ad, page, userのノードを定めると,la×lp×lu個(=Mとする)のクラスタに所属 する
  • 9. Past Performance at Different Hierarchical Levels 3.Conversion Rate Estimation 9 提案)1つ1つのCVR予測器は弱いが,組み合わせることで強力にできる
  • 10. Combining Estimators using Logistic Regression 3.Conversion Rate Estimation • ロジスティック回帰を利用して各予測器に最適 な重み付けを行う • 各予測器を組み合わせたCVR予測の再定義 • 最適なパラメータベクトルβを決めたい • ロジスティック回帰 – メリット)0~1になり,確率値に変換できる 10
  • 11. Combining Estimators using Logistic Regression 3.Conversion Rate Estimation • 各PVに対する対数尤度関数 • 最適なβの推定 11 各PV 通常β*はニュートンラフソン法で求める(PRML 4.3章を参考)
  • 12. Data Imbalance & Output Calibration 4. Practical Issues in Conversion Rate Estimation • CV/非CV 率が非常に低い – CVしたデータは全て利用 – 非CVデータはサンプリングして利用 • 影響は調査する • スコアを区間で分割し,キャリブレーション 12
  • 13. Data Imbalance & Output Calibration 4. Practical Issues in Conversion Rate Estimation • 区間ごとのCV率の凹凸のスムージングはPool Adjacent Violators Algorithm (PAVA) を利用 • 実際のCVRは内分して算出 13
  • 14. Missing Features 4. Practical Issues in Conversion Rate Estimation • データが無い場合の補正 – ユーザプロファイルサーバに無いユーザID,カテゴ リに分類できないウェブページ – ガウス分布を仮定して、条件付きガウス分布による 補正を行う 14 補正の効果も調査。条件付きガウス分布の導出は(PRML 2.3章を参考) 補正値
  • 15. Feature Selection 4. Practical Issues in Conversion Rate Estimation • 階層化に利用する属性 – 65%以上のデータが持っている属性 – データを持っていても属性の分散が10^-8以下のもの は利用しない 15 具体的に何を利用したかは不明
  • 16. Data Imbalance and Score Calibration 5. Experimental Results and Discussion • 訓練データのCV/非CV率影響 • AUC,ROC スコアの閾値を変えたときの正解, 不正解の変化を面積で表したもの – 大きいほど良い 16 IRによる差は無かった Imbalance Ratio
  • 17. Missing Value Imputation 5. Experimental Results and Discussion • 欠損値のあるデータの補正 18 わざわざ補正する必要もなく,中央値でOK
  • 18. Baseline Estimators vs Logistic Regression 5. Experimental Results and Discussion • 実験条件 – 2012年1月の2週間のログを利用 • 始めの1週間を訓練,残りの1週間をテストとする – 広告群は5種類(車,贈り物・・・等、それぞれ100 万単位のPV数/日) – あるユーザがページ,広告を見たときにCVするかし ないかを予想 19
  • 19. Baseline Estimators vs Logistic Regression 5. Experimental Results and Discussion • 提案手法の効果 – Baseline1: • ユーザの年齢,性別,居住地域などのデモグラフィックな属 性によるクラスタリングと広告群による推定 – Baseline2 • 広告群を見たユーザと特定の広告による推定 20
  • 20. Baseline Estimators vs Logistic Regression 5. Experimental Results and Discussion • 結果 – Logistic RegressionがB1に対して28.2%,B2に対し て5.92%良かった 21
  • 21. 結論と感想 6. Conclusion • 結論 – RTBに対する高速なCVR推定手法を提案した – 階層構造をうまく作れればより精度が高まるだろう • 感想 – CV率に対応したユーザクラスタリングについてはあ まり言及がなかったのは残念 • 他の論文をあたる 22