Recommended
More Related Content
Similar to Papaer Introduction "Personalized Entity Recommendation: A Heterogeneous Information Network Approach (WSDM’ 14)"
Similar to Papaer Introduction "Personalized Entity Recommendation: A Heterogeneous Information Network Approach (WSDM’ 14)" (18)
Papaer Introduction "Personalized Entity Recommendation: A Heterogeneous Information Network Approach (WSDM’ 14)"
- 1. Personalized Entity Recommendation: A Heterogeneous Information Network Approach (WSDM’ 14) Xiao Yu† , Xiang Ren† , Yizhou Sun‡ , Quanquan Gu† Bradley Sturt† , Urvashi Khandelwal† , Brandon Norick† , Jiawei Han† †University of Illinois at Urbana-Champaign, Urbana, IL, USA ‡Northeastern Univeristy, Boston, MA, USA Integration Seminar Kotaro Yamazaki
- 2. ⽬次 1. 背景 2. 事前知識 3. 提案⼿法 4. 実験 5. 結論 2
- 4. 従来の推薦⼿法[1,2,3]の問題点 (1/2) 従来のリンクベースの推薦システムは 単⼀タイプの関係性に対するモデル 4 [1] ... M. Jamali et al.. A matrix factorization technique with trust propagation for recommendation in social networks. [SIGKDD, ’10] [2] … P. Melville, et al. Content-boosted collaborative filtering for improved recommendations. [AAAI ’02]. [3] … Q. Yuan, et al. Factorization vs. regularization: fusing heterogeneous social relationships in top-n recommendation. [RecSys, ’11] 例)関連研究の対象 • Trust relationship [1] • Friend relationship [2] • User membership [3] Heterogeneous Network に対応させることは重要な課題
- 5. 従来の推薦⼿法[4,5]の問題点 (2/2) 全ユーザーに同じ推薦モデルを使うため、 ユーザーの嗜好と興味を考慮していない 5 [4] ... X. Yu, et al.. Collaborativefiltering with entity similarity regularization in heterogeneousinformation networks. [IJCAI I13]. [5] … X.Yu, et al.... Entity recommendation in heterogeneous information networks with implicit user feedback. [RecSys, 13]. 友達が⾒てた 監督が好き ゴジラが好き A B C [Amazonより引⽤]
- 6. 従来⼿法[4,5]の問題点 (2/2) 全ユーザーに同じ推薦モデルを使うため、 ユーザーの嗜好と興味を考慮していない 6 友達が⾒てた [4] ... X. Yu, et al.. Collaborativefiltering with entity similarity regularization in heterogeneousinformation networks. [IJCAI I13]. [5] … X.Yu, et al.... Entity recommendation in heterogeneous information networks with implicit user feedback. [RecSys, 13]. 監督が好き ゴジラが好き ? [Amazonより引⽤] A B C
- 7. 本研究の概要 • ⽬的 - 推薦アルゴリズムの提案 ØHeterogeneous Network に対応 Øユーザーの異なる嗜好性を考慮 • アプローチ - 従来の協調フィルタリングをベースにメタパスを⽤い異なる のタイプのフィードバックを考慮した - ユーザーをクラスタリングしてユーザーの嗜好を考慮したパ ラメータを計算する • 実験結果 - 2つの実データセットを⽤い、様々な観点から従来のアルゴリ ズムより優れていることを確認 7
- 8. ⽬次 1. 背景 2. 事前知識 3. 提案⼿法 4. 実験 5. 結論 8
- 9. 事前知識① Implicit feedback ⾏列 R • 𝑚⼈のユーザー 𝒰 = 𝑢%, … , 𝑢( , • 𝑛個のアイテム ℐ = {𝑒%, … , 𝑒-} に対して Implicit feedback ⾏列… 𝑅 ∈ ℝ(×- を以下で定義 9 R n m
- 10. 事前知識② ⾮負値⾏列因⼦分解 (NMF) ユーザー・アイテムのフィードバック⾏列Rを ユーザーの特徴量⾏列Uとアイテムの特徴量⾏列Vの積で近似する 10 R n m ≈ U d m VT n d× ◎メリット • 次元削減による問題の簡略化 • 値があるところのみで最適化が⾏える • (推薦システムにおいて0は評価値が0ではない特徴から重要) 𝑑 < min(𝑚, 𝑛)
- 11. ⽬次 1. 背景 2. 事前知識 3. 提案⼿法 4. 実験 5. まとめ 11
- 12. 本研究の概要 [再掲] • ⽬的 - 推薦アルゴリズムの提案 ØHeterogeneous Network に対応 Øユーザーの異なる嗜好性を考慮 • アプローチ - 従来の協調フィルタリングをベースにメタパスを⽤い異なる のタイプのフィードバックを考慮した - ユーザーをクラスタリングしてユーザーの嗜好を考慮したパ ラメータを計算する • 実験結果 - 2つの実データセットを⽤い、様々な観点から従来のアルゴリ ズムより優れていることを確認 12
- 13. 提案推薦モデル • Global Recommendation Model Observation 1: 異なるメタパスは異なる重要度を持つ • Personalized Recommendation Model Observation 2: 異なるユーザーは異なるモデルが必要である 13 !"($) !"(&) !"(') ! Global Recommend ( − +,-./(0) Personalized Recommend ! 01($) 2"($) 34 54 NMF 5 6 7/,8 − 9:,+ −∗ −9:,+ Implicit feedback
- 14. メタパス Heterogeneous Network において2つのエンティティが異なる タイプのパスを介してどのようにつながっているかを表現する 14 例）メタパス !" !# . u1 メタパスを⽤いてユーザーとアイテムのそれぞれの潜在的特徴を表現する
- 15. Input: Information Network Implicit Feedback ⾏列 メタパスベースの ユーザー嗜好⾏列を計算 ⾏列分解⼿法を⽤い 各ユーザーとアイテム に対する潜在特徴を計算 メタパスを⽤いた潜在特徴計算の流れ 15 ;𝑅(%) ;𝑅(<) ;𝑅(=) >𝑈(%) ;𝑉(%) 𝑅 𝒫%: 𝑈- 𝑀- 𝐴-𝑀 𝒫<: 𝑈- 𝑀- 𝑇-𝑀 𝒫=: 𝑈- 𝑀- 𝐷-𝑀 >𝑈(<) >𝑈(=) ;𝑉(<) ;𝑉(=)
- 16. メタパスを⽤いたユーザー嗜好の表現 メタパス𝒫Hにおけるユーザー嗜好⾏列𝑅Hを計算する この時𝑅IJ,KL (H) の値は以下で定義する 16 𝒫: 𝑢𝑠𝑒𝑟 − 𝑚𝑜𝑣𝑖𝑒 − 𝑎𝑐𝑡𝑜𝑟 − 𝑚𝑜𝑣𝑖𝑒 eからeへのメタパスの数 𝑒Vから𝑒Vへのメタパスの数 𝑒から𝑒Vへのメタパスの数 ;𝑅(H)
- 17. メタパスを⽤いたユーザー嗜好の表現 メタパス𝒫Hにおけるユーザー嗜好⾏列𝑅Hを計算する この時𝑅IJ,KL (H) の値は以下で定義する 17 例) 𝑠 𝑢%, 𝑒% の計算 𝑅WX,YX = 1 𝑝Y↝YX : 𝑝Y↝YX ∈ 𝒫^ = 1 𝑝Y↝Y : 𝑝Y↝Y ∈ 𝒫` = 2 𝑝YX↝YX : 𝑝YX↝YX ∈ 𝒫` = 2 𝑠 𝑢%, 𝑒% 𝒫 = 2×1×1 2 + 2 = 0.5 𝒫: 𝑢𝑠𝑒𝑟 − 𝑚𝑜𝑣𝑖𝑒 − 𝑎𝑐𝑡𝑜𝑟 − 𝑚𝑜𝑣𝑖𝑒 eからeへのメタパスの数 𝑒Vから𝑒Vへのメタパスの数 𝑒から𝑒Vへのメタパスの数
- 18. Global Recommendation Model 1.Rを⾏列分解(NMF) 2.ランク計算 18 パラメータ学習 ユーザーiとアイテムj の潜在特徴 ランキングスコア q-th メタパス ただし、e𝑈 f ∈ ℝ(×g, h𝑉 f ∈ ℝ-×g, 𝑑 < min(𝑚, 𝑛)
- 19. Personalized Recommendation Model アプローチ ✗ 直接個⼈に対してモデル学習する - 時間がかかる - 過学習の恐れ ○ クラスタリングを⾏いクラスタごとに学習 - クラスタはNMFを⽤いた低ランクユーザー⾏列を⽤いて コサイン類似度を計算しk-means を⾏う 19 ユーザー-クラスタ類似度 c 個のソフトユーザークラスタ ⽬的:ユーザーの嗜好性を考慮したレコメンドを⾏う ユーザー-クラスタ類似度 K番⽬ののソフトクラスタ
- 20. パラメータ学習 Bayesian Ranking-Based Optimization [Rendle UAI’09] • 問題設定とこれまでの⼿法 - Implicit feedbackのみからranking学習する - 従来の⼿法では1:positive，0:negativeとしていたがそれでは 筋が悪い • アプローチ - アイテムのペアのどちらのほうが好みであるかを学習する - すべてのユーザーに対してimplicit feedback 1 の値を持つア イテムは0であるものよりも前に順序付ける 仮定 Implicit feedback ⾏列において1であるアイテムは0であ るアイテムよりも嗜好度合いが⾼い 20
- 21. Bayesian Ranking-Based Optimization 概要 21 ユーザー𝑢Hがアイテムejよりも𝑒kを好む確率 𝑝 𝑒k > 𝑒m; 𝑢H 𝜃 を定義 ベイスの定理より 𝑝(𝑅|𝜃)は𝜃において𝑅に対応するすべてのユーザーに対する すべてのアイテムペアが正しく順序付けられる確率 であるので 𝑠𝑖𝑔𝑚𝑜𝑑 𝑓𝑢𝑛𝑐𝑡𝑖𝑜𝑛 𝜎 𝑥 = 1 1 + 𝑒uv 尤度関数𝑝 𝑅 𝜃 = ∏Wx∈y 𝑝(𝑅H|𝜃) に対して以下の⽬的関数が得られる 𝑂 = − ln 𝑝 𝑅 𝜃 𝑝 𝜃 = − | Wx∈𝒰 | Y}~Y• ∈€x ln 𝜎 𝑟 𝑢H, 𝑒k − 𝑟 𝑢H, 𝑒m + 𝜆 𝜃 < <
- 22. 全体の流れ 22 ;𝑅(%) ;𝑅(<) ;𝑅(=) 𝑅 Global Recommend 𝐾 − 𝑚𝑒𝑎𝑛𝑠(𝑈) Personalized Recommend 𝑅 >𝑈(%) ;𝑉(%) クラスタリング モデル学習 各クラスタ𝐶„ に対して𝜃„ を最適化 NMF モデル学習 𝜃を最適化 メタパス𝐿の設定 𝑢𝑠𝑒𝑟 − 𝑖𝑡𝑒𝑚 −∗ −𝑖𝑡𝑒𝑚 ⼊⼒ 情報ネットワーク Implicit feedback メタパスを⽤いた ユーザー嗜好⾏列の計算
- 23. ⽬次 1. 背景 2. 事前知識 3. 提案⼿法 4. 実験 5. まとめ 23
- 24. 実験設定(1/2) • ⽐較⼿法: - Popularity: 最も⼈気のアイテムをユーザーに推薦する - Co-click: アイテム間の条件付き確率 - NMF: フィードバックにおける⾮負値⾏列分解(事前知識②) - Hybrid-SVM: シンプルな機能のユーザーフィードバックと 情報ネットワークのRank-SVMの利⽤ • 評価指標 • データセット(詳細は次スライド) - IMDb-MovieLens-100K (IM100K) - Yelp 24
- 27. パフォーマンス⽐較(2/2) • HeteRec-p は⼀貫して最も優れた性能 - フィードバック数が多いほど結果が良い - ⼈気アイテムが少ないほど結果が良い 27
- 28. パラメータ検証(クラスタ数) • クラスタ数はセンシティブ - ⼩さいクラスタ数ではユーザーの嗜好を分別しにくい - ⼤きいクラスタ数では訓練データの⽋乏が起こる 28
- 29. ⽬次 1. 背景 2. 事前知識 3. 提案⼿法 4. 実験 5. まとめ 29
- 30. まとめ • 結論 - Heterogeneous Networkにおけるユーザーの Implicit feedback に対するglobal モデルと personalizedモデルの２つの推薦システムを提案 • 今後の課題 - ユーザーのモデルフィードバックを⽤いたオンライ ン推薦モデル - ⾼速な近似学習プロセスを⽤いた⼤規模ネットワー クに対する推薦モデル 30
- 32. [備考] 最適化アルゴリズム • 確率的勾配降下法を⽤いて最適化 • 学習コストは𝑂(𝑚𝑛< ) 32
- 33. [備考] 事後確率推定(MAP) ‡𝜃ˆ‰Š = 𝑎𝑟𝑔𝑚𝑎𝑥‹ 𝑝 𝜃 𝑅 = 𝑎𝑟𝑔𝑚𝑎𝑥‹ 𝑝 𝑅 𝜃 𝑝(𝜃) 33 ベイズの定理より導かれた以下の式より 問題: 𝑝 𝜃 𝑅 を最⼤にするパラメータ𝜃を計算したい →直接計算することは困難→MAPの利⽤ 𝒑(𝜽)の事後分布𝒑(𝑹|𝜽)を最⼤化する𝜽を計算する 事前分布𝑝(𝜃)は数学的に導くものではなく、⼈間が最初に設定する 本研究では平均0、共分散分散⾏列𝜆𝐼の正規分布 この時、MAP では