SlideShare a Scribd company logo
1 of 41
Download to read offline
UNBIASED LEARNING FOR
THE CAUSAL EFFECT OF
RECOMMENDATION	
RecSys2020 論文読み会 (2020/10/17)
自己紹介	
•  企業で情報推薦の研究しています(*)
•  最近の研究テーマは「推薦の因果効果向上」
•  去年度に筑波大学でPhD
(*)本日の発表は個人的な活動です。
発表資料は論文内の公開情報をもと
に個人で作成したものです。
これまでの研究	
•  Modeling Individual Users‘ Responsiveness to Maximize
Recommendation Impact (UMAP ‘16)
<- 推薦に対する反応の個人化と購入率の伸び(=因果効果)の最大化
•  Exploring an optimal online model for new job recommendation: Solution
for recsys challenge 2017
<- オンライン評価ありのジョブマッチングのコンペ
•  Explaining recommendations using contexts (IUI ‘18)
<- 行動誘発(=因果効果)につながるコンテキストを用いた推薦説明
•  Uplift-based evaluation and optimization of recommenders (RecSys ‘19)
<- 推薦による伸び(=アップリフト=因果効果)の評価と最適化
•  Modeling user exposure with recommendation influence (SAC ’20)
<- 推薦によるアイテム認知を考慮したExposure Model
•  Unbiased Learning for the Causal Effect of Recommendation
(RecSys ‘20)
<- 本日の話、推薦の因果効果のUnbiased Learning
アウトライン	
• 長めのイントロ(話の半分くらい)
• 提案手法
• 実験結果
• まとめ
イントロダクション
推薦システムの目的	
•  ユーザーの商品購入や動画視聴を増やす
•  売り上げやエンゲージメントの向上
Jannach ’19
“Measuring the Business Value
of Recommender System”
食べ物の推薦の事例	
¥	
オススメ!	
¥	
よい推薦?	
✔	
✔
オススメがなかったら?	
¥	
オススメ!	
¥	
推薦なし
(反実仮想)	
¥	
¥
推薦の因果効果	
¥	
オススメ!	
¥	
推薦なし
(反実仮想)	
¥	
¥	
売上向上?	
✔	
よい推薦?	
±0	
+1	
-1	
±0
推薦の因果効果	
¥	
¥	
¥	
¥	
✔	
よい推薦?	
±0	
+1	
-1	
±0	
因果効果	潜在的な結果	潜在的な結果
問題設定	
•  ユーザーの商品購入や動画視聴を増やす
•  因果効果    で推薦リストをランキング
他の想定事例	
•  動画視聴サービス:
ある映画監督のファン
ー>オススメしてもしなくてもその監督の新作は視聴する
•  飲食店情報サイト:
インドカレーが大好きなユーザー
ー>(オススメされなくても)東京・神奈川の名店は把握済み
	
ユーザー視点だと、セレンディピティを
目指した推薦に近い特性(のはず)
どれくらい重要?	
•  Amazonのオススメのクリックの75%以上は、
オススメしなくてもクリックされる(という分析報告)
Sharma ’15
“Estimating the Causal Impact of
Recommendation Systems from
Observational Data”
どれくらい重要?	
•  購入率が高い商品と、購入率の伸びが大きい商品は異なる
Sato ’16
“Modeling Individual Users‘
Responsiveness to Maximize
Recommendation Impact”
推薦なしの購入率	
推薦したときの購入率	
推薦による伸び
研究課題1) Unobservable Nature	
推薦したとき
の行動	
推薦なしでの
行動	
どちらか一方しか
観測できない!
両方わからないと
算出できない
研究課題2) Bias by Confounding	
推薦の割り当て( )
と潜在的な結果
( , )の両方とも、
ユーザーやアイテム
の特性に依存
->因果効果の推定に
バイアスが生じやすい
本研究	
•  因果効果のランキング評価指標を定義
•  上記評価指標のIPS-based unbiased estimator
•  上記estimatorをもとにしたUnbiased learning method	
IPS (inverse propensity scoring):
確率の逆数で重み付けする手法。
因果推論やunbiased learningによく使わ
れる。
先行研究	
•  推薦、IR分野のunbiased/counterfactual learningの研究は、
の予測とランキング
->因果効果 を扱っていない
•  因果効果を目的とした推薦手法は、これまでバイアス問題に
取り組んでいない
(そもそもあまりこのテーマは研究されていない。
知る限りだとBodapati ’08, Sato ‘16, Sato ‘19の3つだけ)
“Recommendations as treatments”
や“Causal embeddings for
recommendation”もこっち側
提案手法
ランキング評価指標の一般表現	
score
rank
weight
購入/視聴weighted
average
ランキング評価指標の一般表現	
score
rank
weight
購入/視聴
評価指標の再定義	
score
rank
weight
購入/視聴
因果効果
観測不可能問題	
score
rank
weight
購入/視聴
因果効果
しかし因果効果は
観測できない
->評価指標が計算
できない!
観測できるのは?	
観測不可能 観測可能
推薦の
有無
推薦される確率
(=“propensity”)
購入/視聴
(観測可能な)Unbiased Estimator	
観測不可能 観測可能
推薦の
有無
推薦される確率
(=“propensity”)
購入/視聴
(観測可能な)Unbiased Estimator	
評価指標の
IPS-based
estimator
観測不可能 観測可能
推薦の
有無
推薦される確率
(=“propensity”)
購入/視聴
Unbiased Learning for CAR	
•  Differentiable upper boundの導出	
この2つの項に対してSGDで学習
実験
実験設定	
•  Semi-synthetic datasets based on Dunnhumby
•  Item-granularity: category-level / product-level
•  Propensity: data original / personalized & skewed
元データの
統計を反映
推薦有無の購買がある
貴重な公開データ
Performance Comparison
(Category-Original)	
従来
手法
提案手法
Biased
(1,372 items)
not
おおむね提案
手法がベスト
学習手法の比較なので、モデル
は統一して Matrix factorization
まとめ
まとめ	
•  本研究
•  因果効果のランキング評価指標を定義	
•  上記評価指標のIPS-based unbiased estimator
•  上記estimatorをもとにしたUnbiased learning method
->いろんな推薦モデルの学習に使えます
•  将来研究
•  CAR (causal average rank)以外の評価指標に対する学習手法(たと
えばcausal DCG)
•  Unbiased estimatorの改善(たとえばdoubly robustで)
APPENDIX
Variance Reduction by Propensity Capping
Dependence on the propensity capping
Personalized設定での最適
cappingはかなり大きめ
Robustness to Miss-specified Propensity	
Category-Original Product-Original
推定誤差の程度
提案手法にはPropensityが必要
->propensityのログなかったら推定必要
->推定誤差があっても大丈夫?
推定誤差の程度
Performance Comparison
(Product-Original)	
(11,331 items)
従来
手法
提案手法
Biased
not
提案手法が
ベストな結果
Performance Comparison
(Category-Personalized)	
(11,331 items)
従来
手法
提案手法
Biased
not
DLTOがDLCE
に勝つ予想外
の結果
Performance Comparison
(Product-Personalized)	
(11,331 items)
従来
手法
提案手法
Biased
not
DLTOがDLCE
に勝つ予想外
の結果
評価指標CARでの比較
PersonalizedでもDLCEがDLTOに勝つ
(DLCEはCARの最適化しているから?)
CARは小さい方
がよい指標
評価指標CARでの Capping依存
Personalized設定でも最適
cappingはほどほどの値

More Related Content

Similar to RecSys2020論文読み会

【PMIJF2011】次世代のプロジェクト人財を育成する
【PMIJF2011】次世代のプロジェクト人財を育成する【PMIJF2011】次世代のプロジェクト人財を育成する
【PMIJF2011】次世代のプロジェクト人財を育成する
PMeducaiton
 
これまでの10年、これからの10年2
これまでの10年、これからの10年2これまでの10年、これからの10年2
これまでの10年、これからの10年2
Narutoshi Gon
 
ソーシャルメディアで成功するための7step
ソーシャルメディアで成功するための7stepソーシャルメディアで成功するための7step
ソーシャルメディアで成功するための7step
尾畠 悠樹
 
『「The Wallet Project(d.school)」に学ぶデザイン思考 - 要求の具現化』第19回 POStudy 〜プロダクトオーナーシップ勉強会〜
『「The Wallet Project(d.school)」に学ぶデザイン思考 - 要求の具現化』第19回 POStudy 〜プロダクトオーナーシップ勉強会〜『「The Wallet Project(d.school)」に学ぶデザイン思考 - 要求の具現化』第19回 POStudy 〜プロダクトオーナーシップ勉強会〜
『「The Wallet Project(d.school)」に学ぶデザイン思考 - 要求の具現化』第19回 POStudy 〜プロダクトオーナーシップ勉強会〜
満徳 関
 
定性調査のポイント
定性調査のポイント定性調査のポイント
定性調査のポイント
Fumito Sato
 

Similar to RecSys2020論文読み会 (19)

アクション・プランニング(Action Planning)でデータ利活用シナリオを作る
アクション・プランニング(Action Planning)でデータ利活用シナリオを作るアクション・プランニング(Action Planning)でデータ利活用シナリオを作る
アクション・プランニング(Action Planning)でデータ利活用シナリオを作る
 
Process - Shipley Proposal Guideの「Process」の章を読む
Process - Shipley Proposal Guideの「Process」の章を読む Process - Shipley Proposal Guideの「Process」の章を読む
Process - Shipley Proposal Guideの「Process」の章を読む
 
【PMIJF2011】次世代のプロジェクト人財を育成する
【PMIJF2011】次世代のプロジェクト人財を育成する【PMIJF2011】次世代のプロジェクト人財を育成する
【PMIJF2011】次世代のプロジェクト人財を育成する
 
これまでの10年、これからの10年2
これまでの10年、これからの10年2これまでの10年、これからの10年2
これまでの10年、これからの10年2
 
evar7_ux4kpi_まとめ
evar7_ux4kpi_まとめevar7_ux4kpi_まとめ
evar7_ux4kpi_まとめ
 
製造業が目指すべき幹部人財育成の考え方
製造業が目指すべき幹部人財育成の考え方製造業が目指すべき幹部人財育成の考え方
製造業が目指すべき幹部人財育成の考え方
 
アクセス解析による サイト改善の進め方
アクセス解析による サイト改善の進め方アクセス解析による サイト改善の進め方
アクセス解析による サイト改善の進め方
 
ソーシャルメディア活用のワークショップ ver1.5
ソーシャルメディア活用のワークショップ ver1.5ソーシャルメディア活用のワークショップ ver1.5
ソーシャルメディア活用のワークショップ ver1.5
 
ソーシャルシフト実態調査
ソーシャルシフト実態調査ソーシャルシフト実態調査
ソーシャルシフト実態調査
 
Concent Contents Strategy
Concent Contents StrategyConcent Contents Strategy
Concent Contents Strategy
 
リーンローンチパッドの産学連携への適用
リーンローンチパッドの産学連携への適用リーンローンチパッドの産学連携への適用
リーンローンチパッドの産学連携への適用
 
コンサルビジネスで収益拡大する方法
コンサルビジネスで収益拡大する方法コンサルビジネスで収益拡大する方法
コンサルビジネスで収益拡大する方法
 
コンテンツマーケティング時代のSEO対策
コンテンツマーケティング時代のSEO対策コンテンツマーケティング時代のSEO対策
コンテンツマーケティング時代のSEO対策
 
ソーシャルメディアで成功するための7step
ソーシャルメディアで成功するための7stepソーシャルメディアで成功するための7step
ソーシャルメディアで成功するための7step
 
【GifterLABO ×SSIL】ソーシャル教育システムに関する共同研究について
【GifterLABO ×SSIL】ソーシャル教育システムに関する共同研究について【GifterLABO ×SSIL】ソーシャル教育システムに関する共同研究について
【GifterLABO ×SSIL】ソーシャル教育システムに関する共同研究について
 
ビジネスモデルのデザインプロセス
ビジネスモデルのデザインプロセスビジネスモデルのデザインプロセス
ビジネスモデルのデザインプロセス
 
『「The Wallet Project(d.school)」に学ぶデザイン思考 - 要求の具現化』第19回 POStudy 〜プロダクトオーナーシップ勉強会〜
『「The Wallet Project(d.school)」に学ぶデザイン思考 - 要求の具現化』第19回 POStudy 〜プロダクトオーナーシップ勉強会〜『「The Wallet Project(d.school)」に学ぶデザイン思考 - 要求の具現化』第19回 POStudy 〜プロダクトオーナーシップ勉強会〜
『「The Wallet Project(d.school)」に学ぶデザイン思考 - 要求の具現化』第19回 POStudy 〜プロダクトオーナーシップ勉強会〜
 
eVar7_ux4kpi_まとめ
eVar7_ux4kpi_まとめeVar7_ux4kpi_まとめ
eVar7_ux4kpi_まとめ
 
定性調査のポイント
定性調査のポイント定性調査のポイント
定性調査のポイント
 

More from Masahiro Sato (8)

RecSys2023論文読み会_LLMRec_佐藤.pdf
RecSys2023論文読み会_LLMRec_佐藤.pdfRecSys2023論文読み会_LLMRec_佐藤.pdf
RecSys2023論文読み会_LLMRec_佐藤.pdf
 
20220521_IR_reading_Sato.pptx
20220521_IR_reading_Sato.pptx20220521_IR_reading_Sato.pptx
20220521_IR_reading_Sato.pptx
 
20211030 IR Reading Sato
20211030 IR Reading Sato20211030 IR Reading Sato
20211030 IR Reading Sato
 
Recsys2021_slides_sato
Recsys2021_slides_satoRecsys2021_slides_sato
Recsys2021_slides_sato
 
Recsys2018 item recommendation on monotonic behavior chains
Recsys2018 item recommendation on monotonic behavior chainsRecsys2018 item recommendation on monotonic behavior chains
Recsys2018 item recommendation on monotonic behavior chains
 
Recsys2016勉強会
Recsys2016勉強会Recsys2016勉強会
Recsys2016勉強会
 
20161001 kdd勉強会
20161001 kdd勉強会20161001 kdd勉強会
20161001 kdd勉強会
 
レコメンド研究のあれこれ
レコメンド研究のあれこれレコメンド研究のあれこれ
レコメンド研究のあれこれ
 

RecSys2020論文読み会