Session: Internet Economics & Monetization 1 * Machine Learning in an Auction Environment Patrick Hummel & R. Preston McAfee (Google Inc.) * Optimal Revenue-Sharing Double Auctions with Applications to Ad Exchanges Renato Gomes (Toulouse School of Economics) & Vahab Mirrokni (Google Research) Session: The Future * Exploring the Filter Bubble: The Effect of Using Recommender Systems on Content Diversity Tien T. Nguyen, Pik-Mai Hui, F. Maxwell Harper, Loren Terveen, & Joseph A. Konstan(University of Minnesota)

1. www2014勉強会 論文紹介
* Internet economics & monetization x 2
* The future x 1
小宮山 純平
（東大数理情報D2）
2014/07/20

2. 紹介論文
 Session: Internet Economics & Monetization 1
* Machine Learning in an Auction Environment
Patrick Hummel & R. Preston McAfee (Google Inc.)
* Optimal Revenue-Sharing Double Auctions with
Applications to Ad Exchanges
Renato Gomes (Toulouse School of Economics) & Vahab Mirrokni (Google Research)
 Session: The Future
* Exploring the Filter Bubble: The Effect of Using
Recommender Systems on Content Diversity
Tien T. Nguyen, Pik-Mai Hui, F. Maxwell Harper, Loren Terveen, & Joseph A.
Konstan(University of Minnesota)
2

3. 紹介論文
 Session: Internet Economics & Monetization 1
* Machine Learning in an Auction Environment
Patrick Hummel & R. Preston McAfee (Google Inc.)
* Optimal Revenue-Sharing Double Auctions with
Applications to Ad Exchanges
Renato Gomes (Toulouse School of Economics) & Vahab Mirrokni (Google Research)
 Session: The Future
* Exploring the Filter Bubble: The Effect of Using
Recommender Systems on Content Diversity
Tien T. Nguyen, Pik-Mai Hui, F. Maxwell Harper, Loren Terveen, & Joseph A.
Konstan(University of Minnesota)
3

4. Session: Internet Economics &
Monetization
 IE&Mで2セッション6論文ある
 今回紹介するのは最初の２論文
 非常に理論的な論文が多い
 EC（情報産業とゲーム理論に関するメ
ジャー国際会議）と雰囲気が近そう？…
4

5. 紹介論文1
 Session: Internet Economics & Monetization 1
* Machine Learning in an Auction Environment
Patrick Hummel & R. Preston McAfee (Google Inc.)
* Optimal Revenue-Sharing Double Auctions with
Applications to Ad Exchanges
Renato Gomes (Toulouse School of Economics) & Vahab Mirrokni (Google Research)
 Session: The Future
* Exploring the Filter Bubble: The Effect of Using
Recommender Systems on Content Diversity
Tien T. Nguyen, Pik-Mai Hui, F. Maxwell Harper, Loren Terveen, & Joseph A.
Konstan(University of Minnesota)
5

6. 概要
 論文のテーマ：オンライン広告における最適な
広告割り当ての提案
6
IE&M Machine Learning in an Auction Environment
↑検索広告 ↑ディスプレイ広告

7. オンライン広告とオークション
 オンライン広告：複数のadvertiser (出稿者)が
入札して、最もクリックあたりの単価
（eCPM）の高い広告が落札される
7
IE&M Machine Learning in an Auction Environment
画像引用: http://unbounce.com/ppc/infographics-how-does-the-
google-adwords-auction-work-and-landing-pages-for-ppc/

8. Expected CPMの不確定性
検索エンジン広告の場合、1クリックあたりいくら払うか
（pay-per-price)で入札
𝐶𝑃𝑀 = 𝑏𝑖 × 𝜎𝑖
広告がクリックされる確率 (Click-through-rate, CTR)は推定値 𝜎𝑖
→とくに、新しい広告のCTRは推定値の不確定性が大きい
 広告選択の際に、(expected)CPMだけではなく、Value of
Learning (VoL)も考慮する必要がある
広告のscore = eCPM + VoL
8
IE&M Machine Learning in an Auction Environment
入札(bid)額 広告がクリックされる確率 (CTR)1インプレッション
あたりの価値

9. 探索と活用の最適化
既存研究：バンディット問題による探索と活用の
バランス
 オンライン広告の意味では、検索エンジン
の収益の最適化問題
本研究：social welfareを最大化する問題として広
告割り当てを考える
 Social welfareに基づいた価値関数の最大化
問題（強化学習で言うBellman方程式）
9
IE&M Machine Learning in an Auction Environment

10. Social welfare最大化
Social welfareとは？
 ユーザがそれぞれ、広告をクリックさせることに対し
て価値𝑣𝑖を持っていて、そのユーザに対する総和が
social welfare
 つまり、その広告に対して感じている価値が一番
高い人に広告を売り渡したい
 social welfareを最大化させる割り当てにおける、探索
と活用のトレードオフはどうなるのか？
 N人に対する価値関数は解けないので、ある１人の出
稿者から見たsocial welfare（残りN-1は周辺化した確
率分布と仮定）をbellman方程式にして解く
10
IE&M Machine Learning in an Auction Environment

11. Social welfare最大化問題の解
既存手法：UCB [Auer+ 2002] (バンディット問題の効
率的アルゴリズム）
広告𝑖の𝑠𝑐𝑜𝑟𝑒 = 𝑏𝑖 𝜎𝑖 +
2log(𝑇)
𝑘
本研究：social welfareに対するbellman方程式の最適
解
広告𝑖の𝑠𝑐𝑜𝑟𝑒 = 𝑏𝑖 𝜎𝑖 + 𝑂
1
𝑘2
11
IE&M Machine Learning in an Auction Environment
広告表示回数に
対して𝑶(
𝟏
𝒌
)
広告表示回数に
対して𝑶(
𝟏
𝒌 𝟐)
eCPM VoL

12. まとめ：
 オンライン広告はCTRが広告の価値に直接関係しているため、価
値関数に不確定性のある最適化問題と考えることができる
 social welfareの最適化問題をdynamic programmingによって定式
化して解くことで出た解は、バンディット問題より探索が劇的に
少ない（＝新しい広告に、あまりユーザを割り当てなくても良
い）
所感：
 social welfareの定義がこれでいいのか不明（𝑣𝑖ではなく𝑣𝑖
から広告出稿者の払ったお金を引かなくて良いのか）
 探索が𝑂(
1
𝑘2)だとrobustではない（CTR推定の分散が大きすぎる）
気が・・・
12
IE&M Machine Learning in an Auction Environment

13. 紹介論文2
 Session: Internet Economics & Monetization 1
* Machine Learning in an Auction Environment
Patrick Hummel & R. Preston McAfee (Google Inc.)
* Optimal Revenue-Sharing Double Auctions with
Applications to Ad Exchanges
Renato Gomes (Toulouse School of Economics) & Vahab Mirrokni (Google Research)
 Session: The Future
* Exploring the Filter Bubble: The Effect of Using
Recommender Systems on Content Diversity
Tien T. Nguyen, Pik-Mai Hui, F. Maxwell Harper, Loren Terveen, & Joseph A.
Konstan(University of Minnesota)
13

14. 概要
概要：Ad exchange (オンライン広告仲介システ
ム) におけるレベニューシェアの効率性について
 Ad exchangeのメカニズムを、レベニューシェ
ア問題として最適化して、種々の性質を導く
14
IE&M Optimal Revenue-Sharing Double Auctions with Applications to Ad Exchanges

15. 背景：Real-time bidding
15
IE&M Optimal Revenue-Sharing Double Auctions with Applications to Ad Exchanges
ユーザのインプレッション（webページへのアクセス）ごとに広告
をオークションする
ディスプレイ広告、モバイル広告の一定割合がこの方式で売買さ
れている
アカデミックとの関係：論文もちらほら（e.g. [Zhang+ KDD2014])
画像引用： http://www.sojern.com/blog/ask-chris-whats-difference-programmatic-real-time-bidding/

16. 背景： Ad exchange (AdX)
 Ad exchange (AdX): 広告の売り手と書い手を媒介
 AdXの例：doubleclick (google inc.), rightmedia (yahoo inc.)
 アカデミックとの関係：survey paper [Muthukrishnan, WINE 2009]
16
IE&M Optimal Revenue-Sharing Double Auctions with Applications to Ad Exchanges
画像引用: http://markezine.jp/article/detail/14175

17. レベニューシェア
現在のAdXのレベニューシェアは割と単純（定数
シェアルール：典型的には、各オークションの売
買代金の80%が売り手に払われる）
 このレベニューシェアの方法は最適なのか？
 α-optimal mechanism: 次の関数を最適化する
レベニューシェアの仕組み
17
IE&M Optimal Revenue-Sharing Double Auctions with Applications to Ad Exchanges
AdXの収益売り手の収益 と
をα : 1-α で線形結合

18. 定数シェアルールの最適性
定数シェアルールとα-optimal mechanismの関係
広告を売ったときの売り手にとっての価値が指数分布
だと仮定すると、定数シェアルールはα-optimal
実験データによると、80%の利益シェアルールは
α=0.47 (Section 4.1)
18
IE&M Optimal Revenue-Sharing Double Auctions with Applications to Ad Exchanges

19. まとめ
 AdXにおけるレベニューシェアの仕組みを、α-
optimal mechanismとして解析した
 AdXで広く用いられている定数シェアルールは
（一定の仮定下で）AdXと売り手の利益折半問
題の最適解とみなせる
19
IE&M Optimal Revenue-Sharing Double Auctions with Applications to Ad Exchanges

20. 紹介論文3
 Session: Internet Economics & Monetization 1
* Machine Learning in an Auction Environment
Patrick Hummel & R. Preston McAfee (Google Inc.)
* Optimal Revenue-Sharing Double Auctions with
Applications to Ad Exchanges
Renato Gomes (Toulouse School of Economics) & Vahab Mirrokni (Google Research)
 Session: The Future
* Exploring the Filter Bubble: The Effect of Using
Recommender Systems on Content Diversity
Tien T. Nguyen, Pik-Mai Hui, F. Maxwell Harper, Loren Terveen, & Joseph A.
Konstan(University of Minnesota)
20

21. 概要
論文のテーマ：推薦問題における、filter bubble問題
の定量化とMovielens映画推薦システムにおけるデー
タからの評価
Filter bubble問題 [Pariser 2011]とは？→ webシステム
が個人に大きく最適化されるにつれ、情報を狭めてい
く問題
 “ある日、facebookを見ていたら
保守的な政治傾向のある友人の
コメントがフィードに出なくな
ったことに気づいた”
(PariserのTED Talk)
21
The Future: Exploring the Filter Bubble

22. 問題提起
Filter bubbleが本当にあるのか、そもそも、filter
bubbleはどうやって定義できるのか？
 2つのResearch Questionに還元
22
The Future: Exploring the Filter Bubble

23. Following (推薦を受ける）とignoring (推薦を受
けない）グループ
Dataset: 1403 users, 173k
ratings
“Top Picks For You”機能
Followingとignoringの
ユーザグループ
 “Top picks for you”から
recommendationを受け
るかどうか
23
The Future: Exploring the Filter Bubble

24. Tag genome (コンテンツ多様性の評価手法）
映画のそれぞれのタ
グへの適合性につい
て、[1,5]の値で評価
映画間の近さ＝ユー
クリッド距離
24
The Future: Exploring the Filter Bubble
映画レビューコミュニティサイ
ト（IMDB）からの学習によっ
てM (映画)xT (タグ)のdenseな
行列を作成
推薦コンテンツの多様性を、
ユーザに推薦された15のmovie
の平均距離と定義

25. Filter bubbleの評価結果
25
The Future: Exploring the Filter Bubble
推薦コンテンツの多様性はfollowing/ignoringのどっ
ちのグループも時間が経過するにつれ減少
最初はFollowing groupのほうが多様性があったが、
時間が経つにつれ近づく

26. Filter bubbleの評価結果
26
The Future: Exploring the Filter Bubble
どちらのgroupも試聴する映画の多様性は時間が経るにつれ低
下するが、Ignoring groupのほうが多様性の低下が大きい
（Recommendationを摂取し続けることがコンテンツの多様性
を下げているのかどうか？→No）

27. Filter bubbleの評価結果
27
The Future: Exploring the Filter Bubble
 ユーザの映画へのratingは全体的に時間が経るにつれ
下がっていく
 Ignoring groupのほうが平均ratingの低下が著しい
 推薦を受けることによって、ユーザの映画視聴体
験はむしろ改善されている

28. まとめ
(R1) コンテンツの多様性が時間的に変化するか？
 A. システムの推薦するコンテンツも、ユーザ
の観るコンテンツも多様性が時間的に下がる
(R2) 推薦を受けることによって、コンテンツ消費
経験はどう変わるか？
 A. 推薦を受けたほうが多様性の低下が少ない。
Pariserの指摘とは逆に、推薦はむしろfilter
bubbleを弱める力がある
28
The Future: Exploring the Filter Bubble