Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

RecSys2016勉強会 資料

333 views

Published on

RecSys2016勉強会 http://connpass.com/event/41449/
論文:Contrasting Offline and Online Results when Evaluating Recommendation Algorithms
著者:Marco Rossetti, Fabio Stella, and Markus Zanker
論文リンク: http://dx.doi.org/10.1145/2959100.2959176
著者スライド:http://www.slideshare.net/ross85/contrasting-offline-and-online-results-when-evaluating-recommendation-algorithms

Published in: Data & Analytics
  • Download or read that Ebooks here ... ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... Download Doc Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • If you want to download or read this book, Copy link or url below in the New tab ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... Download Doc Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Download or read that Ebooks here ... ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... Download Doc Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • If you want to download or read this book, copy link or url below in the New tab ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m77EgH } .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • If you want to download or read this book, copy link or url below in the New tab ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m77EgH } .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Be the first to like this

RecSys2016勉強会 資料

  1. 1. Contrasting Offline and Online Results when Evaluating Recommendation Algorithms 神嶌 敏弘 RecSys2016勉強会 1
  2. 2. 概要 2 推薦システムはオフラインでホールドアウトデータに対して評価され ることが一般的だが,その結果はオンライン評価と異なるという報告 ↓ 既存研究では,オフライン・オンライン評価で利用者が違っていたの で,同一利用者集団での評価を試みる 研究課題 1. 利用者中心評価での相対順位を,オフラインの予測精度に基づくア ルゴリズムによって予測できるか? 2. ロングテールアイテムに対する予測精度のオフラインの評価尺度に 基づく順位は,利用者中心の評価のそれと同等か? 3. 利用者中心評価における推薦の効用をオフライン評価尺度で予測で きるか?
  3. 3. データと被験者 3 Movielens 1M データの映画に詳細情報を付加した自作サイト オフライン評価:被験者は大学のメーリングリストで募集,241人 が平均137件のフィードバック
 → 4種類のアルゴリズムを訓練 オンライン評価:4種のアルゴリズムの推薦結果を一つのリストに集 約し映画情報と共に提示
 → 100人が全アイテムについて見たいと思うかなどを回答
  4. 4. 比較手法 4 POP:最も人気のあるものを推薦するベースライン手法.利用者個 人の嗜好は無視 MF80:[12]の行列分解,因子数 80,オフラインの評価は最もよい MF400:[2] に基づき,因子数を400に増やしてロングテールアイ テムを対象にした行列分解 I2ICF:[10] のアイテムベースのメモリベース手法.他のアルゴリズ ムとは異なった推薦の傾向
  5. 5. 全アイテムについての評価 5 オフラインで統計的に有意な差が観測されても,それをオンライン の結果を確認することはできなかった MF400 MF80 POP I2I p = 0.05 p = 0.05 p = 0.05 MF80 MF400 POP I2I p = 0.05 p = 0.05 p = 0.1 Algorithm Offline Online I2I 0.438 0.546 MF80 0.504 0.598 MF400 0.454 0.604 POP 0.340 0.516 Offline precision all items Online precision all items 勝ってる方から 負けてる方に矢印
  6. 6. ロングテールアイテムに対する評価 6 オンラインとオフラインで結果は一致 オフラインでは,MF80のロングテールへの精度は,MF400 や I2ICF よりずっと悪く,データ全体での評価とは大きく異なる MF80 MF400 POP I2I p = 0.05 p = 0.05 p = 0.05 p = 0.05 p = 0.05 p = 0.05 Offline = Online precision long tail items Algorithm Offline Online I2I 0.280 0.356 MF80 0.018 0.054 MF400 0.360 0.628 POP 0.000 0.000
  7. 7. 有用性の比較 7 オフライン評価で良かったMF80が,有用な推薦では有意に悪い まだ知らなくて適合するアイテムを推薦したとき有用と見なす MF400I2I POP p = 0.05 p = 0.05 MF80 p = 0.05 p = 0.05 p = 0.05 Useful recommendations Algorithm Online I2I 0.126 MF80 0.082 MF400 0.116 POP 0.026

×