A Semantic Approach to Recommending Text Advertisements for Images - http://wanlab.poly.edu/recsys12/recsys/p179.pdf を解説しました。

1. 解説: A SEMANTIC APPROACH TO
RECOMMENDING TEXT ADVERTISEMENTS
FOR IMAGES
画像に対する広告レコメンドのセマンティック・アプローチ

2. このスライドについて
このスライドは
A Semantic Approach to Recommending Text
Advertisements for Images
Weinan Zhang, Li Tian, Xinruo Sun, Haofen Wang, Yong Yu.
Dept. of Computer Science and Engineering.
Shanghai Jiao Tong University.
を和訳・解説したものです。

3. この論文について
• 著者: Weinan Zhang
上海交通大学→UCL所属。
研究分野はRTBやディスプレイ広告など。
この論文の他にも
「Optiomal Real-Time Bidding for Display Advertising」
などを発表。
• 論文: ACMのレコメンドシステムカンファレンス2012に提出された
もの。
→ 受賞はしていない。

4. 概要
最近のWebサイト
• Facebook
• Flickr
従来のコンテンツ・ターゲット広告(contextual target
advertising)では、ユーザに訴求する広告を表⽰示できない。
⼤大量量の画像と少しのテキスト

5. ビジュアル・コンテンツ・ターゲット広告の問題点
既存の⼿手法その1
• 画像アノテーション
ターゲット画像が与えられると、ラベリングされた画像で訓練したモデルでアノテー
ションを抽出。
抽出したアノテーションを使ってレコメンド広告を取り出す。
アノテーション≒ テキスト・コンテンツ・ターゲットのキーワード
[問題点]
• 時間がかかる
• アノテーションの品質が保証されない

6. ビジュアル・コンテンツ・ターゲット広告の問題点
既存の⼿手法その2
• ViCAD
最先端のビジュアル・コンテンツ広告アルゴリズム。
画像特徴空間とテキスト特徴空間をブリッジする特徴転換モデルをつくる。
各広告候補とテキストとの関連性を⾔言語モデルで推定する。
http://www.aaai.org/ocs/index.php/AAAI/AAAI10/paper/viewFile/1757/2203
[問題点]
• 画像アノテーションよりは良良いパフォーマンス
• 商⽤用で使えるほどの精確さは出せない。

7. ビジュアル・コンテンツ・ターゲット広告の問題点
共通の問題
1. 画像のタグと広告の分布が異異なる
左図Problem1
「Pleurodont Agama」(イグアナの名
前)に最適な広告は出せない。
2. 意味的ミスマッチ
左図Problem2
「Tiger」から
「Tiger Woods」や「Missouri Tigers
Apparel」が出てきてしまう。

8. セマンティック・アプローチ（提案⼿手法）
セマンティックな
ビジュアルコンテンツ広告
を提案

9. 2. セマンティックなビジュアルコンテンツ広告
ヘテロジニアス
テキスト特徴空間画像特徴空間

10. 1. セマンティックなビジュアルコンテンツ広告
画像ナレッジ・グラフとテキストナレッジ・グラフのリンクを
構築することで画像と広告のセマンティック・マッチングを⾏行行う
リンク

11. 1. セマンティックなビジュアルコンテンツ広告
1. マッピング
テキストグラフ画像グラフ
画像を画像グラフにマッピング テキストをテキストグラフにマッピング

12. 1. セマンティックなビジュアルコンテンツ広告
2. ノード間マッチング
テキストグラフ画像グラフ
セマンティック・リンクで画像とテキストのミスマッチを削減

13. 1. セマンティックなビジュアルコンテンツ広告
クロス・ナレッジ・マッチング関数Μ
Ψ: 画像から画像グラフのノードへのマッピング
Φ: 広告からテキストグラフのノードへのマッピング

14. セマンティック・アプローチ（提案⼿手法）
2. 定義

15. 2. 定義
テキスト特徴空間
広告空間(А)と広告(а)
各広告はテキストの特徴ベクトルに対し、
ti: テキストの特徴
m: 特徴量
:аにおけるテキスト特徴tkの頻度
画像特徴空間
画像空間(Ι)と画像(ι)
各画像は画像特徴ベクトルに対し、
vi: 画像の特徴
n: 特徴量
:iにおける画像特徴vkの頻度

16. 2. 定義
テキストナレッジグラフ
Otはノード集合
Etはエッジ
Ot: ノード
Et: エッジ
画像ナレッジグラフ
Ovはノード集合
Evはエッジ
Ov: ノード
Ev: エッジ

17. セマンティック・アプローチ（提案⼿手法）
3. ナレッジ・ベース

18. 3. ナレッジ・ベース
・テキスト・ナレッジベース
→ Wikipedia
・画像ナレッジベース
→ ImageNet/WordNet
・ブリッジ・ナレッジ
→ YAGO

19. 3. ナレッジ・ベース
Wikipedia
ImageNet
WordNet
YAGO

20. セマンティック・アプローチ（提案⼿手法）
4. マッピング＆マッチング

21. 4. マッピング＆マッチング
Φ・・・テキスト・マッピング関数
広告の略略語などの特殊表現とWikipediaをマッチングするために
ESAアルゴリズムを使⽤用。
→ TFIDF重み付け × 頻度度
※ESA(Explicit Semantic Analysis)については下記参照
http://www.cs.technion.ac.il/~∼gabr/resources/code/esa/esa.html
広告集合内における単語（フレーズ）の頻度度

22. 4. マッピング＆マッチング
ψ・・・画像・マッピング関数
ImageNetの画像とカテゴリーの階層構造を訓練データとし、
重⼼心法によるのコサイン類似関数θ(ι, оv)を使って近似値を得る。
→ 実験ではk=7, ω=0.6が良良いパフォーマンスだった。
ωは祖先ノードの重み
ovの祖先

23. 4. マッピング＆マッチング
Μ・・・クロス・ナレッジベース・マッチング関数
2つの⽅方法を実験。
・LOD Descroption Overlap(LODDO) リンクドオープンデータを使う
http://rd.springer.com/chapter/10.1007/978-‐‑‒3-‐‑‒642-‐‑‒29923-‐‑‒0_̲18#page-‐‑‒1
・Hierarchy-‐‑‒based Matching 階層型分類ベースのセマンティックマッチング

24. セマンティック・アプローチ（提案⼿手法）
5. アルゴリズムまとめ

25. 5. アルゴリズムまとめ
• オフラインプロセス：
1. 広告とWikipediaのノードの関連度度を計算しておく。
2. ESAにより広告から各ノードへの逆インデックスを構築。
※検索索エンジンで⾔言うドキュメントからキーワードへのインデックス
• オンラインプロセス：
1. 対象画像をiとして、ImageNetのノードk
を得るためにψ(i)をよぶ。
2. YAGOでImageNetのノードと
Wikipediaのノードをリンクする。
3. Wikipediaノードにリンクされた広告
リストを取得する。L
4. ΜでL内の広告と対象画像iの関連度度を計算する。
5. 広告リストにランクをつける。

26. 実験
検証データ
• 広告
2011/03にAOLで9,954,130回検索索を⾏行行って得た
1,607,688個の広告
• レコメンド対象画像
Flickrからランダムに選んだ230画像

27. 実験
⽐比較したアルゴリズム
• Annotation + Search(AS)
画像アノテーション
• Annotation + Expansion + Search(ASEx)
画像アノテーションセマンティック拡張
• ViCAD
※前述
• ImageAdSense(この論論⽂文の⼿手法)
iAdSense-‐‑‒LODDO iAdSenseでクロスナレッジマッチングにLODDOを使⽤用。
iAdSense-‐‑‒Tree iAdSenseでクロスナレッジマッチングに階層型分類マッチを使⽤用。
iAdSense-‐‑‒OneLayer iAdSenseでクロスナレッジマッチングを使⽤用しない。

28. 実験
評価⽅方法
• 6⼈人の学⽣生に協⼒力力を依頼。
• 少なくとも2⼈人以上が「広告と画像に関連がある」と判定した場合
にカウント1、そうでない場合は0とする。
• 画像と広告のペアでスコア平均を取る。
• P@n(precision at position n)で評価。(nはtop-‐‑‒n)
πiは、対象画像とi番⽬目のレコメンド広告のペアの平均スコア

29. 結果
iAdSense-‐‑‒OneLayerは他のiAdsenseに⽐比べて数値が低い
→ クロスナレッジマッチングが必要
ViCADはASより優れているがiAdSenseには劣劣る。
→ 画像のタグ中にノイズが多く、構⽂文マッチという意味ではASと同じ問題を抱えている。
iAdSense-‐‑‒LODDO > ASEx 16.4%↑
iAdSense-‐‑‒LODDO > ViCAD 20.7%↑

30. 結果
←各アルゴリズムの⽐比較
iAdSense-‐‑‒LODDOが最適解