Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
佃 洸摂(産業技術総合研究所)
Twitter: @ktsukuda
WebDB Forum 2019 (2019. 9. 9)
ABCPRec:何を創作したかという情報が
コンテンツの消費時に反映される
ユーザ生成コンテンツ推薦手法
ユーザ生成コンテンツ(UGC) 2
 プロのクリエータでない一般の人々が創作するコンテンツ
 主にWeb上で公開される
 User-Generated Content (UGC)
UGCの特徴:ユーザの役割 3
 eコマース
 映画配信サービス
ユーザ=消費者 ユーザ=消費者+創作者
UGCサービス非UGCサービス
消
創
消
UGCの特徴:コンテンツの創作ペース 4
創作の容易化 創作者数の増加
一億総クリエータ
 非UGCに比べてコンテンツの創作ペースが速い
 膨大なUGCからユーザが望むコンテンツの発見を支援
するためにコンテンツの推薦は極めて重要
ソフトウ...
UGC時代における推薦 5
何を創作したかという情報が推薦精度の改善に活用できる
UGCサービス非UGCサービス
 何を消費したか
 何を消費したか
 何を創作したか
消
消
創
CPRec (consumer and producer based recommendation) 6
CPRec の論文:
Wang-Cheng Kang, Julian McAuley
Learning Consumer and Prod...
1CPRecの概要
UGC推薦におけるstate-of-the-art手法
一般的な行列分解ベースのコンテンツ推薦 8
𝑢𝑢
𝑖𝑖
? = �𝑥𝑥𝑢𝑢𝑢𝑢 = 𝛼𝛼 + 𝛽𝛽𝑢𝑢 + 𝛽𝛽𝑖𝑖 + 𝜸𝜸𝑢𝑢, 𝜸𝜸𝑖𝑖
𝜸𝜸𝑢𝑢 𝜸𝜸𝑖𝑖
 ユーザとコンテンツをそれぞれ𝐾𝐾次元ベクトルで表現
 ユーザ𝑢𝑢のコンテン...
ユーザのコアベクトル 9
全てのユーザは を持つ
𝜸𝜸𝑢𝑢
コアベクトル 𝑾𝑾𝑐𝑐
𝑾𝑾𝑝𝑝
𝜸𝜸𝑢𝑢
𝑐𝑐
𝜸𝜸𝑢𝑢
𝑝𝑝
 コアベクトル:一人のユーザとしての性質を表す
 消費者ベクトル・創作者ベクトルはコアベクトルから生成
 𝑾𝑾𝑐...
ユーザのコアベクトル 10
𝜸𝜸𝑢𝑢
𝑐𝑐
𝜸𝜸𝑢𝑢
𝑝𝑝
好きベクトル
好きベクトル
日頃の
消費コンテンツ
創作コンテンツ
に応じた
消費者ベクトル
創作者ベクトル
が作成される
消
創
𝜸𝜸𝑢𝑢
コアベクトル 𝑾𝑾𝑐𝑐
𝑾𝑾𝑝𝑝
CPRecにおけるスコア計算 11
? = �𝑥𝑥𝑢𝑢𝑢𝑢 = 𝛼𝛼 + 𝛽𝛽𝑢𝑢 + 𝛽𝛽𝑖𝑖 + 𝜸𝜸𝑢𝑢
𝑐𝑐 , 𝜸𝜸𝑖𝑖 + 𝜸𝜸𝑢𝑢
𝑐𝑐 , 𝜸𝜸𝑝𝑝𝑖𝑖
𝑝𝑝
𝜸𝜸𝑢𝑢
𝑐𝑐
𝜸𝜸𝑖𝑖𝜸𝜸𝑝𝑝𝑖𝑖
𝑝𝑝
①消費者とコンテンツの相...
2CPRecの問題点
モデルの柔軟性と妥当性の不十分な点
問題点1 13
 消費・創作コンテンツを十分に反映したベクトル作成が困難
 モデルの柔軟性に欠けて推薦精度が下がる
𝜸𝜸𝑢𝑢
コアベクトル
𝑾𝑾𝑝𝑝 −1
𝜸𝜸𝑢𝑢
𝑐𝑐
𝜸𝜸𝑢𝑢
𝑝𝑝
60%好きベクトル
好きベクトル
𝑾𝑾𝑐𝑐
𝜸𝜸𝑢𝑢...
問題点2 14
𝜸𝜸𝑢𝑢𝑢
𝑝𝑝
𝜸𝜸𝑢𝑢𝑢
𝑝𝑝
𝜸𝜸𝑢𝑢𝑢
𝑐𝑐
𝜸𝜸𝑢𝑢𝑢
𝑐𝑐
創作者ベクトル空間 消費者ベクトル空間
𝜸𝜸𝑢𝑢
𝑐𝑐
= 𝑾𝑾𝑐𝑐
𝑾𝑾𝑝𝑝 −1
𝜸𝜸𝑢𝑢
𝑝𝑝
𝑾𝑾𝑐𝑐, 𝑾𝑾𝑝𝑝: 全ユーザ共通
似た創作者ベクト...
問題点2 15
𝜸𝜸𝑢𝑢𝑢
𝑝𝑝
𝜸𝜸𝑢𝑢𝑢
𝑝𝑝
𝜸𝜸𝑢𝑢𝑢
𝑐𝑐
𝜸𝜸𝑢𝑢𝑢
𝑐𝑐
創作者ベクトル空間 消費者ベクトル空間
似た創作者ベクトルを持つユーザ同士は似た消費者ベクトルを持つ
固定化した関係性を排除
好き
好き
好き
好き
 創...
問題点のまとめ 16
学習を通してベクトルが適切な値を持てず推薦精度が下がる
 𝜸𝜸𝑢𝑢
𝑐𝑐
と𝜸𝜸𝑢𝑢
𝑝𝑝
の固定的な関係
 モデルの柔軟性の欠如
 𝑾𝑾𝑐𝑐と𝑾𝑾𝑝𝑝は全ユーザ共通
 モデルの妥当性の欠如
3提案手法ABCPRec
Adaptively Bridging CPRec
Kosetsu Tsukuda, Satoru Fukayama, Masataka Goto
ABCPRec: Adaptively Bridging Consum...
コアベクトルの排除 18
𝝂𝝂𝑢𝑢
𝑐𝑐
𝝂𝝂𝑢𝑢
𝑝𝑝
コアベクトルを持たないことで
𝝂𝝂𝑢𝑢
𝑐𝑐
と𝝂𝝂𝑢𝑢
𝑝𝑝
の固定化した関係性を排除
モデルの柔軟性を向上
全てのユーザは を持つ
消費者としてのベクトル𝜸𝜸𝑢𝑢
𝑐𝑐
創作者として...
ABCPRecにおけるスコア計算 19
= �𝑥𝑥𝑢𝑢𝑢𝑢 = 𝛼𝛼 + 𝛽𝛽𝑢𝑢 + 𝛽𝛽𝑖𝑖 + 𝝂𝝂𝑢𝑢
𝑐𝑐 , 𝜸𝜸𝑖𝑖 + 𝝂𝝂𝑢𝑢
𝑐𝑐 , 𝝂𝝂𝑝𝑝𝑖𝑖
𝑝𝑝
①消費者とコンテンツの相性
②消費者と創作者の相性
+ ユーザ𝑢𝑢...
制約を加える必要性 20
CPRec ABCPRec
低
モデルの複雑さ
(パラメータ数)
高
低 過学習の危険性 高
 コアベクトルを除いてモデルの複雑さを高めるだけでは不十分
 より現実に即した制約を加えて適切なパラメータ学習を実現
制約 21
ユーザ𝑢𝑢の消費者としての性質と創作者としての性質が類似
消費者ベクトル 𝝂𝝂𝑢𝑢
𝑐𝑐
と創作者ベクトル 𝝂𝝂𝑢𝑢
𝑝𝑝
の値が類似
𝝂𝝂𝑢𝑢
𝑐𝑐
𝝂𝝂𝑢𝑢
𝑝𝑝
𝝂𝝂𝑢𝑢
𝑐𝑐
𝝂𝝂𝑢𝑢
𝑝𝑝
性質の類似度に応じて𝝂𝝂𝑢𝑢
𝑐...
目的関数
制約の目的関数への反映 22
max �
𝑢𝑢,𝑖𝑖,𝑗𝑗
ln𝜎𝜎 �𝑥𝑥𝑢𝑢𝑢𝑢𝑢𝑢 − 𝜆𝜆Θ Θ 2 − 𝜆𝜆𝑠𝑠 �
𝑢𝑢∈𝒰𝒰
𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢 𝝂𝝂𝑢𝑢
𝑐𝑐 − 𝝂𝝂𝑢𝑢
𝑝𝑝 2
where 𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢...
消費コンテンツと創作コンテンツの消費ユーザ 23
推薦対象ユーザ 𝑢𝑢
𝐴𝐴 𝐵𝐵
消費
𝒖𝒖の消費コンテンツ 𝒖𝒖の創作コンテンツ
消費
 𝑢𝑢の消費コンテンツを消費したユーザ集合:𝐴𝐴
 𝑢𝑢の創作コンテンツを消費したユーザ集合:𝐵𝐵
コンテンツの類似度とユーザ集合の重複度の関係1 24
𝐴𝐴 𝐵𝐵
消費
𝒖𝒖の消費コンテンツ 𝒖𝒖の創作コンテンツ
消費
推薦対象ユーザ 𝑢𝑢
𝐴𝐴と𝐵𝐵の重複度は高くなる
𝑢𝑢の消費コンテンツと創作コンテンツの類似度:高
コンテンツの類似度とユーザ集合の重複度の関係2 25
推薦対象ユーザ 𝑢𝑢
𝐴𝐴 𝐵𝐵
消費
𝒖𝒖の創作コンテンツ
消費
𝐴𝐴と𝐵𝐵の重複度は低くなる
𝑢𝑢の消費コンテンツと創作コンテンツの類似度:低
𝒖𝒖の消費コンテンツ
ドメイン非依存の類似度判定 26
𝑢𝑢の消費者としての性質と創作者としての性質の類似度
≒𝑢𝑢の消費コンテンツと創作コンテンツの類似度≒
𝑢𝑢の消費コンテンツと創作コンテンツの消費ユーザの重複度
ドメインに依存せず汎用的に二つの性質の類似度を判定
消費ユーザの重複度に基づく消費者の性質と創作者の性質の類似度 27
類似度=𝑠𝑠𝑠𝑠 𝑠𝑠(𝑢𝑢)=高 類似度=𝑠𝑠𝑠𝑠 𝑠𝑠(𝑢𝑢)=低
𝒔𝒔𝒔𝒔 𝒔𝒔 𝒖𝒖 の計算のための仮説1 28
𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢 =
𝐴𝐴 ∩ 𝐵𝐵
𝐴𝐴
=
5
7
𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢 =
𝐴𝐴 ∩ 𝐵𝐵
𝐴𝐴
=
1
7
 ユーザ集合𝐴𝐴に焦点を当てる
 𝐴𝐴のユーザが𝑢𝑢の創作コンテンツも...
𝒔𝒔𝒔𝒔 𝒔𝒔 𝒖𝒖 の計算のための仮説2 29
 ユーザ集合𝐵𝐵に焦点を当てる
 𝐵𝐵のユーザが𝑢𝑢の消費コンテンツも消費:𝝂𝝂𝑢𝑢
𝑐𝑐
と𝝂𝝂𝑢𝑢
𝑝𝑝
は類似すべき
𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢 =
𝐴𝐴 ∩ 𝐵𝐵
𝐵𝐵
=
5
6
𝑠𝑠𝑠...
評価実験
Research Question 31
CPRecからコアベクトルを除くことは有用であるかRQ1
ユーザの二つの役割の類似度に応じて
𝝂𝝂𝒖𝒖
𝒄𝒄
と𝝂𝝂𝒖𝒖
𝒑𝒑
の間に適応的に制約を加えることは有用であるか
RQ2
𝑠𝑠𝑠𝑠 𝑠𝑠(𝑢𝑢...
データセット 32
写真共有 サービス内容 掲示板
写真への
☆マーク
消費
スレッドへの
書き込み
写真投稿 創作 スレッド作成
11,299,060 ユーザ数 1,752,654
11,557,286 コンテンツ数 1,336,743
11...
比較手法|ベースライン 33
BPR (Bayesian Personalized Ranking)
FMs (Factorization Machines)
 ユーザ𝑢𝑢のコンテンツ𝑖𝑖に対する好み=①消費者とコンテンツの相性
 �𝑥𝑥𝑢...
比較手法|state-of-the-art・ABCPRecの変種 34
CPRec
NBCPRec (No-bridging CPRec)
 UGC推薦におけるstate-of-the-art手法
 �𝑥𝑥𝑢𝑢𝑢𝑢 = 𝛼𝛼 + 𝛽𝛽𝑢𝑢 ...
提案手法|ABCPRec 35
ABCPRecH2
 仮説1を反映した提案手法
 ユーザ集合𝐴𝐴に焦点
ABCPRecH1
 仮説2を反映した提案手法
 ユーザ集合𝐵𝐵に焦点
評価指標・データ分割 36
評価指標
データ分割
 𝐴𝐴𝐴𝐴𝐴𝐴 =
1
𝒰𝒰
∑𝑢𝑢∈𝒰𝒰
1
𝒟𝒟𝑢𝑢
∑ 𝑖𝑖,𝑗𝑗 ∈𝒟𝒟𝑢𝑢
𝛿𝛿 �𝑥𝑥𝑢𝑢𝑢𝑢 > �𝑥𝑥𝑢𝑢𝑗𝑗
 テスト用コンテンツが高順位になるほど高スコア (0 ≤ 𝐴𝐴...
ベクトルの次元数𝑲𝑲 =20・50・80に対する結果 37
𝑲𝑲 BPR FMs CPRec NBCPRec ABCPRecH1 ABCPRecH2
Flickr
20 0.8698 0.8764 0.8563 0.8839 0.8861 0....
Research Question 38
CPRecからコアベクトルを除くことは有用であるかRQ1
vs
CPRec:コアベクトル有り NBCPRec:コアベクトル無し
𝑲𝑲 BPR FMs CPRec NBCPRec ABCPRecH1 ABCPRecH2
Flickr
20 0.8698 0.8764 0.8563 0.8839 0.8861 0.8900
50 0.8772 0.8822 0.8664 0...
Research Question 40
ユーザの二つの役割の類似度に応じて
𝝂𝝂𝒖𝒖
𝒄𝒄
と𝝂𝝂𝒖𝒖
𝒑𝒑
の間に適応的に制約を加えることは有用であるか
RQ2
𝝂𝝂𝑢𝑢
𝑐𝑐
𝝂𝝂𝑢𝑢
𝑝𝑝
𝝂𝝂𝑢𝑢
𝑐𝑐
𝝂𝝂𝑢𝑢
𝑝𝑝
𝝂𝝂𝑢𝑢
𝑐𝑐...
𝑲𝑲 BPR FMs CPRec NBCPRec ABCPRecH1 ABCPRecH2
Flickr
20 0.8698 0.8764 0.8563 0.8839 0.8861 0.8900
50 0.8772 0.8822 0.8664 0...
Research Question 42
𝑠𝑠𝑠𝑠 𝑠𝑠(𝑢𝑢)はどちらの仮説に基づく計算の方が有用であるかRQ3
仮説1
𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢 =
𝐴𝐴 ∩ 𝐵𝐵
𝐴𝐴
vs
仮説2
𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢 =
𝐴𝐴 ∩ 𝐵𝐵
𝐵𝐵
𝑲𝑲 BPR FMs CPRec NBCPRec ABCPRecH1 ABCPRecH2
Flickr
20 0.8698 0.8764 0.8563 0.8839 0.8861 0.8900
50 0.8772 0.8822 0.8664 0...
仮説2の有用性の検証:𝒔𝒔𝒔𝒔 𝒔𝒔 𝒖𝒖 の分布比較 44
仮説1 仮説2
Flickr Reddit Flickr Reddit
𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢 = 0 62.70% 13.77% 62.87% 14.17%
0 < 𝑠𝑠𝑠𝑠 𝑠𝑠 ...
仮説2の有用性の検証:ユーザ間の好みの類似性 45
消費
共通の消費コンテンツ
…
 A内の全ユーザペアに対して共通の消費コンテンツ数をカウント
 この値が大=A内のユーザの消費コンテンツの好みの類似度が高い
 𝐵𝐵内の全ユーザペアに対し...
仮説2の有用性の検証:ユーザ間の好みの類似性 46
0%
10%
20%
30%
40%
50%
0 1 2 3 4 5 6 7 8 9 10 > 10
共通の消費コンテンツ数
ユーザペアの割合
 共通の消費コンテンツ数が2以上のユーザペアの...
ベクトルの次元数𝑲𝑲の値に応じたAUCの推移 47
0.85
0.86
0.87
0.88
0.89
0.9
10 20 30 40 50 60 70 80 90 100
0.865
0.885
0.905
0.925
0.945
10 20 ...
ベクトルの次元数𝑲𝑲の値に応じたAUCの推移 48
0.85
0.86
0.87
0.88
0.89
0.9
10 20 30 40 50 60 70 80 90 100
0.865
0.885
0.905
0.925
0.945
10 20 ...
まとめ 49
ABCPRec:UGC時代における新しい推薦
今後の
発展
 コンテンツ特徴量(色・タグ)による二つの役割の類似度計算
 異なるユーザ間の消費者ベクトルへの制約の付与
 消費に加えて何を創作したかを反映することでより良い推薦...
photo by Emma
photo by CetusPhotography
photo by Richard Levitte
photo by cuatrok77
photo by Bryan Ochalla
photo by panli5...
photo by hehaden
photo by hehaden
photo by Egan Snow
photo by monetmama
photo by Farid Bueri
photo by Cats by moonwhiskers...
ABCPRec:何を創作したかという情報がコンテンツの消費時に反映されるユーザ生成コンテンツ推薦手法(WebDB Forum 2019・登壇発表)
Upcoming SlideShare
Loading in …5
×

ABCPRec:何を創作したかという情報がコンテンツの消費時に反映されるユーザ生成コンテンツ推薦手法(WebDB Forum 2019・登壇発表)

226 views

Published on

2019年9月8日~9日に工学院大学にて開催された「第12回Webとデータベースに関するフォーラム(WebDB Forum 2019)」の登壇発表資料です。

Published in: Science
  • Be the first to comment

ABCPRec:何を創作したかという情報がコンテンツの消費時に反映されるユーザ生成コンテンツ推薦手法(WebDB Forum 2019・登壇発表)

  1. 1. 佃 洸摂(産業技術総合研究所) Twitter: @ktsukuda WebDB Forum 2019 (2019. 9. 9) ABCPRec:何を創作したかという情報が コンテンツの消費時に反映される ユーザ生成コンテンツ推薦手法
  2. 2. ユーザ生成コンテンツ(UGC) 2  プロのクリエータでない一般の人々が創作するコンテンツ  主にWeb上で公開される  User-Generated Content (UGC)
  3. 3. UGCの特徴:ユーザの役割 3  eコマース  映画配信サービス ユーザ=消費者 ユーザ=消費者+創作者 UGCサービス非UGCサービス 消 創 消
  4. 4. UGCの特徴:コンテンツの創作ペース 4 創作の容易化 創作者数の増加 一億総クリエータ  非UGCに比べてコンテンツの創作ペースが速い  膨大なUGCからユーザが望むコンテンツの発見を支援 するためにコンテンツの推薦は極めて重要 ソフトウェア デバイス
  5. 5. UGC時代における推薦 5 何を創作したかという情報が推薦精度の改善に活用できる UGCサービス非UGCサービス  何を消費したか  何を消費したか  何を創作したか 消 消 創
  6. 6. CPRec (consumer and producer based recommendation) 6 CPRec の論文: Wang-Cheng Kang, Julian McAuley Learning Consumer and Producer Embeddings for User-Generated Content Recommendation ACM RecSys 2018 2CPRecの問題点 モデルの柔軟性と妥当性の不十分な点 1CPRecの概要 UGC推薦におけるstate-of-the-art手法 3提案手法ABCPRec Adaptively Bridging CPRec
  7. 7. 1CPRecの概要 UGC推薦におけるstate-of-the-art手法
  8. 8. 一般的な行列分解ベースのコンテンツ推薦 8 𝑢𝑢 𝑖𝑖 ? = �𝑥𝑥𝑢𝑢𝑢𝑢 = 𝛼𝛼 + 𝛽𝛽𝑢𝑢 + 𝛽𝛽𝑖𝑖 + 𝜸𝜸𝑢𝑢, 𝜸𝜸𝑖𝑖 𝜸𝜸𝑢𝑢 𝜸𝜸𝑖𝑖  ユーザとコンテンツをそれぞれ𝐾𝐾次元ベクトルで表現  ユーザ𝑢𝑢のコンテンツ𝑖𝑖に対する好み=①消費者とコンテンツの相性  ユーザ・コンテンツ行列 ユーザがコンテンツを消費 した場合に限り1が立つ ? ① 好きベクトル 消 消
  9. 9. ユーザのコアベクトル 9 全てのユーザは を持つ 𝜸𝜸𝑢𝑢 コアベクトル 𝑾𝑾𝑐𝑐 𝑾𝑾𝑝𝑝 𝜸𝜸𝑢𝑢 𝑐𝑐 𝜸𝜸𝑢𝑢 𝑝𝑝  コアベクトル:一人のユーザとしての性質を表す  消費者ベクトル・創作者ベクトルはコアベクトルから生成  𝑾𝑾𝑐𝑐 ∈ ℝ𝐾𝐾×𝐾𝐾と𝑾𝑾𝑝𝑝 ∈ ℝ𝐾𝐾×𝐾𝐾は全ユーザで共通 = 𝑾𝑾𝑐𝑐 𝜸𝜸𝑢𝑢 = 𝑾𝑾𝑝𝑝 𝜸𝜸𝑢𝑢 消費者としてのベクトル𝜸𝜸𝑢𝑢 𝑐𝑐 創作者としてのベクトル𝜸𝜸𝑢𝑢 𝑝𝑝 消 創
  10. 10. ユーザのコアベクトル 10 𝜸𝜸𝑢𝑢 𝑐𝑐 𝜸𝜸𝑢𝑢 𝑝𝑝 好きベクトル 好きベクトル 日頃の 消費コンテンツ 創作コンテンツ に応じた 消費者ベクトル 創作者ベクトル が作成される 消 創 𝜸𝜸𝑢𝑢 コアベクトル 𝑾𝑾𝑐𝑐 𝑾𝑾𝑝𝑝
  11. 11. CPRecにおけるスコア計算 11 ? = �𝑥𝑥𝑢𝑢𝑢𝑢 = 𝛼𝛼 + 𝛽𝛽𝑢𝑢 + 𝛽𝛽𝑖𝑖 + 𝜸𝜸𝑢𝑢 𝑐𝑐 , 𝜸𝜸𝑖𝑖 + 𝜸𝜸𝑢𝑢 𝑐𝑐 , 𝜸𝜸𝑝𝑝𝑖𝑖 𝑝𝑝 𝜸𝜸𝑢𝑢 𝑐𝑐 𝜸𝜸𝑖𝑖𝜸𝜸𝑝𝑝𝑖𝑖 𝑝𝑝 ①消費者とコンテンツの相性 ②消費者と創作者の相性 + ユーザ𝑢𝑢のコンテンツ𝑖𝑖に対する好み=  ① ② 𝑢𝑢 ? 𝑖𝑖 好きベクトル 好きベクトル 𝑝𝑝𝑖𝑖 消 創 創 消
  12. 12. 2CPRecの問題点 モデルの柔軟性と妥当性の不十分な点
  13. 13. 問題点1 13  消費・創作コンテンツを十分に反映したベクトル作成が困難  モデルの柔軟性に欠けて推薦精度が下がる 𝜸𝜸𝑢𝑢 コアベクトル 𝑾𝑾𝑝𝑝 −1 𝜸𝜸𝑢𝑢 𝑐𝑐 𝜸𝜸𝑢𝑢 𝑝𝑝 60%好きベクトル 好きベクトル 𝑾𝑾𝑐𝑐 𝜸𝜸𝑢𝑢 𝑐𝑐 = 𝑾𝑾𝑐𝑐 𝜸𝜸𝑢𝑢 𝜸𝜸𝑢𝑢 𝑝𝑝 = 𝑾𝑾𝑝𝑝 𝜸𝜸𝑢𝑢 𝜸𝜸𝑢𝑢 𝑐𝑐 = 𝑾𝑾𝑐𝑐 𝑾𝑾𝑝𝑝 −1 𝜸𝜸𝑢𝑢 𝑝𝑝 消 創
  14. 14. 問題点2 14 𝜸𝜸𝑢𝑢𝑢 𝑝𝑝 𝜸𝜸𝑢𝑢𝑢 𝑝𝑝 𝜸𝜸𝑢𝑢𝑢 𝑐𝑐 𝜸𝜸𝑢𝑢𝑢 𝑐𝑐 創作者ベクトル空間 消費者ベクトル空間 𝜸𝜸𝑢𝑢 𝑐𝑐 = 𝑾𝑾𝑐𝑐 𝑾𝑾𝑝𝑝 −1 𝜸𝜸𝑢𝑢 𝑝𝑝 𝑾𝑾𝑐𝑐, 𝑾𝑾𝑝𝑝: 全ユーザ共通 似た創作者ベクトルを持つユーザ同士は似た消費者ベクトルを持つ 創 創 消 消
  15. 15. 問題点2 15 𝜸𝜸𝑢𝑢𝑢 𝑝𝑝 𝜸𝜸𝑢𝑢𝑢 𝑝𝑝 𝜸𝜸𝑢𝑢𝑢 𝑐𝑐 𝜸𝜸𝑢𝑢𝑢 𝑐𝑐 創作者ベクトル空間 消費者ベクトル空間 似た創作者ベクトルを持つユーザ同士は似た消費者ベクトルを持つ 固定化した関係性を排除 好き 好き 好き 好き  創作者として似たユーザが消費者としても似ているとは限らない  モデルの妥当性に欠けて推薦精度が下がる 創 創 消 消
  16. 16. 問題点のまとめ 16 学習を通してベクトルが適切な値を持てず推薦精度が下がる  𝜸𝜸𝑢𝑢 𝑐𝑐 と𝜸𝜸𝑢𝑢 𝑝𝑝 の固定的な関係  モデルの柔軟性の欠如  𝑾𝑾𝑐𝑐と𝑾𝑾𝑝𝑝は全ユーザ共通  モデルの妥当性の欠如
  17. 17. 3提案手法ABCPRec Adaptively Bridging CPRec Kosetsu Tsukuda, Satoru Fukayama, Masataka Goto ABCPRec: Adaptively Bridging Consumer and Producer Roles for User-Generated Content Recommendation ACM SIGIR 2019
  18. 18. コアベクトルの排除 18 𝝂𝝂𝑢𝑢 𝑐𝑐 𝝂𝝂𝑢𝑢 𝑝𝑝 コアベクトルを持たないことで 𝝂𝝂𝑢𝑢 𝑐𝑐 と𝝂𝝂𝑢𝑢 𝑝𝑝 の固定化した関係性を排除 モデルの柔軟性を向上 全てのユーザは を持つ 消費者としてのベクトル𝜸𝜸𝑢𝑢 𝑐𝑐 創作者としてのベクトル𝜸𝜸𝑢𝑢 𝑝𝑝 消 創
  19. 19. ABCPRecにおけるスコア計算 19 = �𝑥𝑥𝑢𝑢𝑢𝑢 = 𝛼𝛼 + 𝛽𝛽𝑢𝑢 + 𝛽𝛽𝑖𝑖 + 𝝂𝝂𝑢𝑢 𝑐𝑐 , 𝜸𝜸𝑖𝑖 + 𝝂𝝂𝑢𝑢 𝑐𝑐 , 𝝂𝝂𝑝𝑝𝑖𝑖 𝑝𝑝 ①消費者とコンテンツの相性 ②消費者と創作者の相性 + ユーザ𝑢𝑢のコンテンツ𝑖𝑖に対する好み=   ベクトルの表記を除いてCPRecと同じ ① ② ? 𝝂𝝂𝑢𝑢 𝑐𝑐 𝑢𝑢 ? 𝑖𝑖 好きベクトル 𝑝𝑝𝑖𝑖 𝜸𝜸𝑖𝑖𝜸𝜸𝑝𝑝𝑖𝑖 𝑝𝑝 好きベクトル 創 消 消 創
  20. 20. 制約を加える必要性 20 CPRec ABCPRec 低 モデルの複雑さ (パラメータ数) 高 低 過学習の危険性 高  コアベクトルを除いてモデルの複雑さを高めるだけでは不十分  より現実に即した制約を加えて適切なパラメータ学習を実現
  21. 21. 制約 21 ユーザ𝑢𝑢の消費者としての性質と創作者としての性質が類似 消費者ベクトル 𝝂𝝂𝑢𝑢 𝑐𝑐 と創作者ベクトル 𝝂𝝂𝑢𝑢 𝑝𝑝 の値が類似 𝝂𝝂𝑢𝑢 𝑐𝑐 𝝂𝝂𝑢𝑢 𝑝𝑝 𝝂𝝂𝑢𝑢 𝑐𝑐 𝝂𝝂𝑢𝑢 𝑝𝑝 性質の類似度に応じて𝝂𝝂𝑢𝑢 𝑐𝑐 と𝝂𝝂𝑢𝑢 𝑝𝑝 の間に適応的に制約を付与 𝝂𝝂𝑢𝑢 𝑐𝑐𝝂𝝂𝑢𝑢 𝑝𝑝 性質の類似度 高 中 低 好き 好き 好き 好き 好き 好き 創 消 消 創 創 消
  22. 22. 目的関数 制約の目的関数への反映 22 max � 𝑢𝑢,𝑖𝑖,𝑗𝑗 ln𝜎𝜎 �𝑥𝑥𝑢𝑢𝑢𝑢𝑢𝑢 − 𝜆𝜆Θ Θ 2 − 𝜆𝜆𝑠𝑠 � 𝑢𝑢∈𝒰𝒰 𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢 𝝂𝝂𝑢𝑢 𝑐𝑐 − 𝝂𝝂𝑢𝑢 𝑝𝑝 2 where 𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢 : ユーザ𝑢𝑢の消費者の性質と創作者の性質の類似度 𝒔𝒔𝒔𝒔 𝒔𝒔(𝒖𝒖) 高 中 低
  23. 23. 消費コンテンツと創作コンテンツの消費ユーザ 23 推薦対象ユーザ 𝑢𝑢 𝐴𝐴 𝐵𝐵 消費 𝒖𝒖の消費コンテンツ 𝒖𝒖の創作コンテンツ 消費  𝑢𝑢の消費コンテンツを消費したユーザ集合:𝐴𝐴  𝑢𝑢の創作コンテンツを消費したユーザ集合:𝐵𝐵
  24. 24. コンテンツの類似度とユーザ集合の重複度の関係1 24 𝐴𝐴 𝐵𝐵 消費 𝒖𝒖の消費コンテンツ 𝒖𝒖の創作コンテンツ 消費 推薦対象ユーザ 𝑢𝑢 𝐴𝐴と𝐵𝐵の重複度は高くなる 𝑢𝑢の消費コンテンツと創作コンテンツの類似度:高
  25. 25. コンテンツの類似度とユーザ集合の重複度の関係2 25 推薦対象ユーザ 𝑢𝑢 𝐴𝐴 𝐵𝐵 消費 𝒖𝒖の創作コンテンツ 消費 𝐴𝐴と𝐵𝐵の重複度は低くなる 𝑢𝑢の消費コンテンツと創作コンテンツの類似度:低 𝒖𝒖の消費コンテンツ
  26. 26. ドメイン非依存の類似度判定 26 𝑢𝑢の消費者としての性質と創作者としての性質の類似度 ≒𝑢𝑢の消費コンテンツと創作コンテンツの類似度≒ 𝑢𝑢の消費コンテンツと創作コンテンツの消費ユーザの重複度 ドメインに依存せず汎用的に二つの性質の類似度を判定
  27. 27. 消費ユーザの重複度に基づく消費者の性質と創作者の性質の類似度 27 類似度=𝑠𝑠𝑠𝑠 𝑠𝑠(𝑢𝑢)=高 類似度=𝑠𝑠𝑠𝑠 𝑠𝑠(𝑢𝑢)=低
  28. 28. 𝒔𝒔𝒔𝒔 𝒔𝒔 𝒖𝒖 の計算のための仮説1 28 𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢 = 𝐴𝐴 ∩ 𝐵𝐵 𝐴𝐴 = 5 7 𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢 = 𝐴𝐴 ∩ 𝐵𝐵 𝐴𝐴 = 1 7  ユーザ集合𝐴𝐴に焦点を当てる  𝐴𝐴のユーザが𝑢𝑢の創作コンテンツも消費:𝝂𝝂𝑢𝑢 𝑐𝑐 と𝝂𝝂𝑢𝑢 𝑝𝑝 は類似すべき
  29. 29. 𝒔𝒔𝒔𝒔 𝒔𝒔 𝒖𝒖 の計算のための仮説2 29  ユーザ集合𝐵𝐵に焦点を当てる  𝐵𝐵のユーザが𝑢𝑢の消費コンテンツも消費:𝝂𝝂𝑢𝑢 𝑐𝑐 と𝝂𝝂𝑢𝑢 𝑝𝑝 は類似すべき 𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢 = 𝐴𝐴 ∩ 𝐵𝐵 𝐵𝐵 = 5 6 𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢 = 𝐴𝐴 ∩ 𝐵𝐵 𝐵𝐵 = 1 6
  30. 30. 評価実験
  31. 31. Research Question 31 CPRecからコアベクトルを除くことは有用であるかRQ1 ユーザの二つの役割の類似度に応じて 𝝂𝝂𝒖𝒖 𝒄𝒄 と𝝂𝝂𝒖𝒖 𝒑𝒑 の間に適応的に制約を加えることは有用であるか RQ2 𝑠𝑠𝑠𝑠 𝑠𝑠(𝑢𝑢)はどちらの仮説に基づく計算の方が有用であるかRQ3
  32. 32. データセット 32 写真共有 サービス内容 掲示板 写真への ☆マーク 消費 スレッドへの 書き込み 写真投稿 創作 スレッド作成 11,299,060 ユーザ数 1,752,654 11,557,286 コンテンツ数 1,336,743 11,256,457 総アイテム消費数 1,786,032 99.83% 消費者の割合 99.60% 40.82% 創作者の割合 87.24% 40.65% 消費者兼創作者の割合 86.85% FlickrはRedditに比べて が低い 創作者の割合 消費者兼創作者の割合
  33. 33. 比較手法|ベースライン 33 BPR (Bayesian Personalized Ranking) FMs (Factorization Machines)  ユーザ𝑢𝑢のコンテンツ𝑖𝑖に対する好み=①消費者とコンテンツの相性  �𝑥𝑥𝑢𝑢𝑢𝑢 = 𝛼𝛼 + 𝛽𝛽𝑢𝑢 + 𝛽𝛽𝑖𝑖 + 𝝂𝝂𝑢𝑢 𝑐𝑐 , 𝜸𝜸𝑖𝑖 ①消費者とコンテンツの相性 ②消費者と創作者の相性 +  ユーザ𝑢𝑢のコンテンツ𝑖𝑖に対する好み=  �𝑥𝑥𝑢𝑢𝑢𝑢 = 𝛼𝛼 + 𝛽𝛽𝑢𝑢 + 𝛽𝛽𝑖𝑖 + 𝝂𝝂𝑢𝑢 𝑐𝑐 , 𝜸𝜸𝑖𝑖 + 𝝂𝝂𝑢𝑢 𝑐𝑐 , 𝝂𝝂𝑝𝑝𝑖𝑖 𝑝𝑝 + 𝝂𝝂𝑢𝑢 𝑝𝑝 , 𝜸𝜸𝑖𝑖 ③創作者とコンテンツの相性 + ① ② ③ ①
  34. 34. 比較手法|state-of-the-art・ABCPRecの変種 34 CPRec NBCPRec (No-bridging CPRec)  UGC推薦におけるstate-of-the-art手法  �𝑥𝑥𝑢𝑢𝑢𝑢 = 𝛼𝛼 + 𝛽𝛽𝑢𝑢 + 𝛽𝛽𝑖𝑖 + 𝜸𝜸𝑢𝑢 𝑐𝑐 , 𝜸𝜸𝑖𝑖 + 𝜸𝜸𝑢𝑢 𝑐𝑐 , 𝜸𝜸𝑝𝑝𝑖𝑖 𝑝𝑝  CPRecからコアベクトルを排除した手法  消費者ベクトル𝝂𝝂𝑢𝑢 𝑐𝑐 と創作者ベクトル𝝂𝝂𝑝𝑝𝑖𝑖 𝑝𝑝 の間に制約を設けない  �𝑥𝑥𝑢𝑢𝑢𝑢 = 𝛼𝛼 + 𝛽𝛽𝑢𝑢 + 𝛽𝛽𝑖𝑖 + 𝝂𝝂𝑢𝑢 𝑐𝑐 , 𝜸𝜸𝑖𝑖 + 𝝂𝝂𝑢𝑢 𝑐𝑐 , 𝝂𝝂𝑝𝑝𝑖𝑖 𝑝𝑝
  35. 35. 提案手法|ABCPRec 35 ABCPRecH2  仮説1を反映した提案手法  ユーザ集合𝐴𝐴に焦点 ABCPRecH1  仮説2を反映した提案手法  ユーザ集合𝐵𝐵に焦点
  36. 36. 評価指標・データ分割 36 評価指標 データ分割  𝐴𝐴𝐴𝐴𝐴𝐴 = 1 𝒰𝒰 ∑𝑢𝑢∈𝒰𝒰 1 𝒟𝒟𝑢𝑢 ∑ 𝑖𝑖,𝑗𝑗 ∈𝒟𝒟𝑢𝑢 𝛿𝛿 �𝑥𝑥𝑢𝑢𝑢𝑢 > �𝑥𝑥𝑢𝑢𝑗𝑗  テスト用コンテンツが高順位になるほど高スコア (0 ≤ 𝐴𝐴𝐴𝐴𝐴𝐴 ≤ 1) 全消費コンテンツ TestValidationTraining  ユーザごとにValidation用・Test用データを1件ずつサンプリング  正則化項のハイパーパラメータをValidationデータ上で最適化
  37. 37. ベクトルの次元数𝑲𝑲 =20・50・80に対する結果 37 𝑲𝑲 BPR FMs CPRec NBCPRec ABCPRecH1 ABCPRecH2 Flickr 20 0.8698 0.8764 0.8563 0.8839 0.8861 0.8900 50 0.8772 0.8822 0.8664 0.8937 0.8949 0.8992 80 0.8777 0.8810 0.8712 0.8955 0.8988 0.9028 Reddit 20 0.8713 0.8960 0.9138 0.9209 0.9296 0.9340 50 0.8721 0.8999 0.9201 0.9302 0.9346 0.9391 80 0.8709 0.9001 0.9211 0.9322 0.9376 0.9408
  38. 38. Research Question 38 CPRecからコアベクトルを除くことは有用であるかRQ1 vs CPRec:コアベクトル有り NBCPRec:コアベクトル無し
  39. 39. 𝑲𝑲 BPR FMs CPRec NBCPRec ABCPRecH1 ABCPRecH2 Flickr 20 0.8698 0.8764 0.8563 0.8839 0.8861 0.8900 50 0.8772 0.8822 0.8664 0.8937 0.8949 0.8992 80 0.8777 0.8810 0.8712 0.8955 0.8988 0.9028 Reddit 20 0.8713 0.8960 0.9138 0.9209 0.9296 0.9340 50 0.8721 0.8999 0.9201 0.9302 0.9346 0.9391 80 0.8709 0.9001 0.9211 0.9322 0.9376 0.9408 RQ1に対する回答 39  NBCPRec:CPRecからコアベクトルを除いた手法  CPRec からコアベクトルを除くことは精度改善に有用  ベクトル間の関係を固定化したモデル化(CPRec)には無理がある < <
  40. 40. Research Question 40 ユーザの二つの役割の類似度に応じて 𝝂𝝂𝒖𝒖 𝒄𝒄 と𝝂𝝂𝒖𝒖 𝒑𝒑 の間に適応的に制約を加えることは有用であるか RQ2 𝝂𝝂𝑢𝑢 𝑐𝑐 𝝂𝝂𝑢𝑢 𝑝𝑝 𝝂𝝂𝑢𝑢 𝑐𝑐 𝝂𝝂𝑢𝑢 𝑝𝑝 𝝂𝝂𝑢𝑢 𝑐𝑐𝝂𝝂𝑢𝑢 𝑝𝑝 性質の類似度 高 中 低 好き 好き 好き 好き 好き 好き 創 消 消 創 創 消
  41. 41. 𝑲𝑲 BPR FMs CPRec NBCPRec ABCPRecH1 ABCPRecH2 Flickr 20 0.8698 0.8764 0.8563 0.8839 0.8861 0.8900 50 0.8772 0.8822 0.8664 0.8937 0.8949 0.8992 80 0.8777 0.8810 0.8712 0.8955 0.8988 0.9028 Reddit 20 0.8713 0.8960 0.9138 0.9209 0.9296 0.9340 50 0.8721 0.8999 0.9201 0.9302 0.9346 0.9391 80 0.8709 0.9001 0.9211 0.9322 0.9376 0.9408 RQ2に対する回答 41 消費者と創作者の役割を よりも 二つの役割を適応的に対応付けるABCPRecの方が有用 常に対応付けるCPRec 全く対応付けないNBCPRec < <
  42. 42. Research Question 42 𝑠𝑠𝑠𝑠 𝑠𝑠(𝑢𝑢)はどちらの仮説に基づく計算の方が有用であるかRQ3 仮説1 𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢 = 𝐴𝐴 ∩ 𝐵𝐵 𝐴𝐴 vs 仮説2 𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢 = 𝐴𝐴 ∩ 𝐵𝐵 𝐵𝐵
  43. 43. 𝑲𝑲 BPR FMs CPRec NBCPRec ABCPRecH1 ABCPRecH2 Flickr 20 0.8698 0.8764 0.8563 0.8839 0.8861 0.8900 50 0.8772 0.8822 0.8664 0.8937 0.8949 0.8992 80 0.8777 0.8810 0.8712 0.8955 0.8988 0.9028 Reddit 20 0.8713 0.8960 0.9138 0.9209 0.9296 0.9340 50 0.8721 0.8999 0.9201 0.9302 0.9346 0.9391 80 0.8709 0.9001 0.9211 0.9322 0.9376 0.9408 RQ3に対する回答 43 < <  創作コンテンツの消費者に焦点を当てた仮説2の方が有用 仮説1 仮説2 <
  44. 44. 仮説2の有用性の検証:𝒔𝒔𝒔𝒔 𝒔𝒔 𝒖𝒖 の分布比較 44 仮説1 仮説2 Flickr Reddit Flickr Reddit 𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢 = 0 62.70% 13.77% 62.87% 14.17% 0 < 𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢 ≤ 0.1 36.46% 47.34% 12.93% 10.82% 0.1 < 𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢 ≤ 0.2 10.54% 10.68% 14.92% 11.79% 0.2 < 𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢 ≤ 0.3 10.08% 16.54% 15.25% 12.67% 0.3 < 𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢 ≤ 0.4 10.02% 14.39% 14.78% 12.97% 0.4 < 𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢 ≤ 0.5 10.01% 12.93% 14.53% 12.76% 0.5 < 𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢 ≤ 0.6 110.0% 12.93% 14.71% 15.56% 0.6 < 𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢 ≤ 0.7 110.0% 12.20% 14.07% 16.21% 0.7 < 𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢 ≤ 0.8 110.0% 11.63% 13.21% 16.79% 0.8 < 𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢 ≤ 0.9 110.0% 11.33% 12.02% 19.68% 0.9 < 𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢 ≤ 1.0 10.17% 16.25% 10.72% 46.59%  仮説1では𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢 > 0の大半のユーザが0 < 𝑠𝑠𝑠𝑠 𝑠𝑠 𝑢𝑢 ≤ 0.1に分布  仮説2では𝝂𝝂𝑢𝑢 𝑐𝑐 と𝝂𝝂𝑢𝑢 𝑝𝑝 の間により強い制約が適切に加わり精度向上
  45. 45. 仮説2の有用性の検証:ユーザ間の好みの類似性 45 消費 共通の消費コンテンツ …  A内の全ユーザペアに対して共通の消費コンテンツ数をカウント  この値が大=A内のユーザの消費コンテンツの好みの類似度が高い  𝐵𝐵内の全ユーザペアに対しても同様にカウント 𝐴𝐴
  46. 46. 仮説2の有用性の検証:ユーザ間の好みの類似性 46 0% 10% 20% 30% 40% 50% 0 1 2 3 4 5 6 7 8 9 10 > 10 共通の消費コンテンツ数 ユーザペアの割合  共通の消費コンテンツ数が2以上のユーザペアの割合は𝐵𝐵が上  𝑨𝑨 (仮説1)に含まれるユーザはコンテンツの好みが多様  𝑩𝑩 (仮説2)に含まれるユーザはコンテンツの好みが類似  仮説2の方がより信頼性の高い制約が加えられ推薦精度向上 仮説1(ユーザ集合𝐴𝐴) 仮説2(ユーザ集合𝐵𝐵)
  47. 47. ベクトルの次元数𝑲𝑲の値に応じたAUCの推移 47 0.85 0.86 0.87 0.88 0.89 0.9 10 20 30 40 50 60 70 80 90 100 0.865 0.885 0.905 0.925 0.945 10 20 30 40 50 60 70 80 90 100 ABCPRecH2ABCPRecH1NBCPRecCPRecFMsBPR 𝐾𝐾 𝐾𝐾 Flickr Reddit
  48. 48. ベクトルの次元数𝑲𝑲の値に応じたAUCの推移 48 0.85 0.86 0.87 0.88 0.89 0.9 10 20 30 40 50 60 70 80 90 100 0.865 0.885 0.905 0.925 0.945 10 20 30 40 50 60 70 80 90 100 ABCPRecH2ABCPRecH1NBCPRecCPRecFMsBPR 𝐾𝐾 𝐾𝐾  創作者・消費者兼創作者の割合が低いFlickrではCPRec<ベースライン  ABCPRecは両データセットで高精度:モデルの頑健性を表す Flickr Reddit
  49. 49. まとめ 49 ABCPRec:UGC時代における新しい推薦 今後の 発展  コンテンツ特徴量(色・タグ)による二つの役割の類似度計算  異なるユーザ間の消費者ベクトルへの制約の付与  消費に加えて何を創作したかを反映することでより良い推薦に  全員を画一的に扱わず一人ごとの消費と創作の見極めが重要
  50. 50. photo by Emma photo by CetusPhotography photo by Richard Levitte photo by cuatrok77 photo by Bryan Ochalla photo by panli54 photo by ClieistD photo by ClieistD photo by small-life.com photo by K-nekoTR photo by Ekaterina Sotova photo by Tomáš K. photo by bryan lee photo by K-nekoTR photo by Tambako The Jaguar photo by localpups
  51. 51. photo by hehaden photo by hehaden photo by Egan Snow photo by monetmama photo by Farid Bueri photo by Cats by moonwhiskers photo by ClieistD photo by ★Kumiko★ photo by hehaden

×