1. Towards a Robust Modeling of
Temporal Interest Change Patterns for
Behavioral Targeting
Mohamed Aly(Seeloz Inc.), Sandeep Pandey(Twitter),
Vanja Josifovski(Google), Kunal Punera(Relate IQ)
WWW2013
Presented by Annaka 2013-11-07

2. Summary
従来法
ユーザーの⾏行行動を特徴量量とし、
ユーザーをSVMでクラスタリング＆ターゲットWEB広告
問題点
(i)扱うデータが⼤大きく、毎⽇日クラスタリングを⾏行行えない
(ii)「短期の興味」「⻑⾧長期の興味」を反映してない
改善案
ユーザーの⾏行行動履履歴を分析し、
「最近の興味」「常⽇日頃の興味」「頻繁さ」「興味の衰え」
等の新たな特徴量量を提案
結果
conversion(※)が4%前後増加
※conversion：製品の購⼊入/emailリストに登録/書式に購⼊入などの、
広告主が「広告の成功」とみなす⾏行行為
2

3. Summary
従来法
ユーザーの⾏行行動を特徴量量とし、
ユーザーをSVMでクラスタリング＆ターゲットWEB広告
問題点
(i)扱うデータが⼤大きく、毎⽇日クラスタリングを⾏行行えない
(ii)「短期の興味」「⻑⾧長期の興味」を反映してない
改善案
ユーザーの⾏行行動履履歴を分析し、
「最近の興味」「常⽇日頃の興味」「頻繁さ」「興味の衰え」
等の新たな特徴量量を提案
結果
conversion(※)が4%前後増加
※conversion：製品の購⼊入/emailリストに登録/書式に購⼊入などの、
広告主が「広告の成功」とみなす⾏行行為
3

4. Outline
1. 研究背景 ターゲット広告の歴史 / WEB広告のモデル
2. 新提案の特徴量量たち 旧3種 + 新4種
focus
3. 実験設定
4. 実験結果
4

5. Outline
1. 研究背景 ターゲット広告の歴史 / WEB広告のモデル
2. 新提案の特徴量量たち 旧3種 + 新6種
3. 実験設定 “⼤大衆の気分”と“株価”の因果関係分析
4. 実験結果 ⾮非線形モデルでの株価予測
5

6. 研究背景 ターゲット広告の歴史
⼈人⼝口統計(性別・年年齢)や地域ベースのターゲット広告 [19th ~∼ ]
インターネットが普及し、
ユーザーの⾏行行動（※）をある程度度把握できるようになる
※ページ閲覧、検索索クエリ、リンクのクリック
ユーザーの⾏行行動を特徴量量とし、
SVMでユーザーをクラスタリングする
ターゲットWEB広告[2000年年代~∼]
6

7. 研究背景 ターゲット広告の歴史
WEB広告の効果度度
①クリック率率率
②アクション率率率
7

8. 研究背景 ターゲット広告の歴史
ユーザーの⾏行行動を特徴量量とし、
SVMでユーザークラスタリング＆ターゲットWEB広告[2000年年代]
問題点
従来使⽤用してきた特徴量量は、「frequency」「intensity」「recency」
しかし、、
⼈人の興味は移り変わる。
∴「短期のトレンド」「⻑⾧長期のトレンド」の特徴量量が欲しい
徴量量
案の6特
新提
「absolute-‐‑‒long-‐‑‒term」：⻑⾧長期のトレンド（絶対値）
「absolute-‐‑‒short-‐‑‒term」：短期のトレンド（絶対値）
「relative-‐‑‒long-‐‑‒term-‐‑‒positive」：⻑⾧長期のトレンド（相対値）
「relative-‐‑‒long-‐‑‒term-‐‑‒negative」：⻑⾧長期のトレンド（相対値）
「relative-‐‑‒short-‐‑‒term-‐‑‒positive」：短期のトレンド（相対値）
「relative-‐‑‒short-‐‑‒term-‐‑‒negative」：短期のトレンド（相対値）
8

9. Outline
1. 研究背景 ターゲット広告の歴史 / WEB広告のモデル
2. 新提案の特徴量量たち 旧3種 + 新6種
3. 実験設定 “⼤大衆の気分”と“株価”の因果関係分析
4. 実験結果 ⾮非線形モデルでの株価予測
9

10. 特徴量量たち 旧3種 + 新4種
前提知識識
★：イベント発⽣生（ページ閲覧・リンクをclick・検索索 etc）
ユーザー1の
ログ
★ ★★ ★
ユーザー2の
ログ
★★ ★
ユーザー3の
ログ
★ ★ ★★
ウインドウP1
ウインドウP2
時系列列
ウインドウP3
10

11. 特徴量量たち 旧3種 + 新4種
旧3種
「Frequency」：あるイベントXが、何回出現するか
「Decayed-‐‑‒intensity」：あるイベントXが起こってからの減少率率率
指数的に減少するモデル
「Recency」：あるイベントXが起こってからの経過⽇日数
11

12. 特徴量量たち 旧3種 + 新4種
特徴量量①
cy）
Frequen
繁さ（
頻
2⽇日⽬目にpを⾒見見た
4⽇日⽬目にqを⾒見見た
⾒見見たページ回数を加算
ただし、同⼀一⽇日のアクセスは
⼀一回とカウント
ity）
ens
ayed int
dec
率率率（
少
量量② – 減
特徴
ユーザーが⾏行行動をした⽇日からの経過⽇日数(負)
特徴量量③
ecen
⽇日数（R
- 経過
cy）
ユーザーが⾏行行動をした⽇日からの経過⽇日数(正)
12

13. 特徴量量たち 旧3種 + 新4種
新4種
「absolute-‐‑‒long-‐‑‒term」：⻑⾧長期のトレンド（絶対値）
「absolute-‐‑‒short-‐‑‒term」：短期のトレンド（絶対値）
「relative-‐‑‒long-‐‑‒term」：⻑⾧長期のトレンド（相対値）
「relative-‐‑‒short-‐‑‒term」：短期のトレンド（相対値）
13

14. 特徴量量たち 旧3種 + 新6種
新6種
「absolute-‐‑‒long-‐‑‒term」：⻑⾧長期のトレンド（絶対値）
ひとつ前のウィンドウ中で、イベントpiが起きた回数
全ログ中で、イベントpiが起きた回数
14

15. 特徴量量たち 旧3種 + 新6種
新6種
「absolute-‐‑‒short-‐‑‒term」：短期のトレンド（絶対値）
⼀一つ前のウインドウの中と⼆二つ前のウインドウの中で、
あるイベントPiが起きた回数の差
15

16. 特徴量量たち 旧3種 + 新6種
新6種
「relative-‐‑‒long-‐‑‒term-‐‑‒positive」：⻑⾧長期のトレンド（相対値）
あるユーザーについて、前のウィンドウでイベントiが起きた回数[/day]
全体ユーザーについて、イベントiが起きた回数[/day]
(あるユーザーが、前のウインドウでイベントiが発⽣生した回数) /（全体でイベントiが発⽣生した回数）
※negativeは逆数
16

17. 特徴量量たち 旧3種 + 新6種
新6種
「relative-‐‑‒short-‐‑‒term-‐‑‒positive」：短期のトレンド（相対値）
あるユーザーについて、1つ前のウィンドウでイベントiが起きた回数[/day]
あるユーザーについて、2つ前のウィンドウでイベントiが起きた回数[/day]
(⼀一つ前のウインドウでイベントiが起きた回数) / (⼆二つ前のウインドウでイベントiが起きた回数)
※negativeは逆数
17

18. Outline
1. 研究背景 ターゲット広告の歴史 / WEB広告のモデル
2. 新提案の特徴量量たち 旧3種 + 新6種
3. 実験設定
4. 実験結果 ⾮非線形モデルでの株価予測
18

19. 実験設定
データ：
ユーザー履履歴 ：58⽇日間分
広告掲載期間 ：28⽇日間
広告種類数 ：200
⼈人数 ：52億ユーザー
特徴量量 ：83.4万
訓練データ ：全体データの66%
テストデータ ：全体データの33%
評 価：
conversion-‐‑‒weighted average of AUC （⾯面積）
※ユーザーが広告に反応した割合のベンチマークを計測
19

20. 実験設定
⾏行行った実験
• それぞれの特徴量量（旧3種類、新3種類）を⽤用いた実験
• 複数の特徴量量の組み合わせ実験
• ＋特徴量量ごとの重み
• 時期を何⽇日間で区切切るか、ウインドウサイズPを変化
• 広告商品別でみる結果
20

21. Outline
1. 研究背景 ターゲット広告の歴史 / WEB広告のモデル
2. 新提案の特徴量量たち 旧3種 + 新6種
3. 実験設定 “⼤大衆の気分”と“株価”の因果関係分析
4. 実験結果
21

22. 実験結果
◯それぞれの特徴量量（旧3種、新3種）を⽤用いた実験
従
来
⼿手
法
提
案
⼿手
法
「⻑⾧長期のトレンド（相対値）」の特徴量量
を⽤用いた場合に 最も精度度向上
22

23. 実験結果
◯複数の特徴量量の組み合わせ実験
全ての特徴量量を⽤用いたときに
最も精度度が向上
23

24. 実験結果
◯＋特徴量量ごとの重み
24

25. 実験結果
◯時期を何⽇日間で区切切るか、ウインドウサイズPを変化
ユーザーの興味は、何⽇日間で薄れるのかが分かる
P=14[day]のときに
最も適当
25

26. 実験結果
◯広告商品別の結果
「⾞車車」の広告表⽰示は、精度度が格段に向上。
原因：⾞車車の購⼊入前になると検索索を多量量に⾏行行うため、
有効なユーザー履履歴を取得できるため
26

27. 実験結果
◯広告商品別の結果
「化粧品」の広告表⽰示は、精度度が下がってしまった。
原因：同じ化粧品をリピートして購⼊入するため、
検索索結果などからリコメンドすることが有効でない
27

28. コメント
• 修論論の案の2つに取り⼊入れられるかも
（twitterのユーザーを分類するやつ）
（時系列列共起語のやつ）
• たくさん特徴量量⽤用意して、組み合わせると良良い？
→次元爆発、計算量量の問題になっていくかも
28