Recommender System         and   user experience   Yoshifumi Seki     Gunosy, Inc    2013/02/09  World IA Day Tokyo
What’s Gunosy?• ユーザの嗜好に合わせたウェブコンテンツを  毎日届けるレコメンドサービス• 2011年10月末公開 – 開発理由:夏休み暇だった – データマイニングを研究する学生3人で開発• 登録するとSNSのアカウントを元に...
Motivation• 自分たちが欲しい物を作った – RSSリーダーをどうも好きになれない  • 未読が三桁になって見るのも嫌になってしまう – 読むべき情報を知りたい• 簡単に真似できないものを作りたかった – 研究分野への勉強という意味も...
ビジネス系
エンジニア系
スポーツ系
ユーザ数の推移     60%以上のユーザがアクティ     ブSep.07   Oct.07   Nov.07   Dec.07   Jan.08   Feb.08   Mar.08   Apr.08   May.08   Jun.08   ...
今日のお話• 現代のウェブにおける推薦エンジンの価値• 推薦エンジン研究の最近のトレンドの話 – 推薦エンジンの歴史 – 既存の評価指標の限界    • Filer Bubble – From Algorithms To User experi...
What’s Recommender System• 膨大な情報の中からユーザに適した情報  を探索し,ユーザに提供する – ユーザの情報を特徴付ける  • ユーザのプロフィール  • アイテムに対する評価データ – アイテムの情報を特徴付ける...
ウェブと推薦エンジン• ECサイトへの導入 – Amazon, e-bay• パーソナライゼーション – Google Search – Facebookのタイムライン• スマートフォンの普及 – 画面が小さい、操作性が低い、通信速度が遅い –...
History          Microsoft Academic Search
History• 誕生は90年代  – 協調フィルタリング    • 現在でも多くのシステムで活用されている手法    • あなたの買った◯◯を買った人は××も買っています• 2000年代  – インターネット・バブル    • Amazon等...
協調フィルタリング• 既存のユーザコミュニティの過去の振る舞いや意見を  用いて、利用者の好みや興味を予測し、情報を発掘す  ること• ユーザベース協調フィルタリング – あなたと興味の近い人はこんな商品を買っています – 類似するユーザの評価...
内容ベースフィルタリング• アイテムの情報をユーザのプロファイルを元に推薦す  る• ルールベース – 業界における常識や知見などに基づいてアイテムを勧める   • デジカメ買った人にSDカードを勧める• メモリベース – ユーザとコンテンツの...
知識ベース推薦• 行動ログがあまりたまらない分野におけ  る推薦システム – 家、車などは人生で数回しか買わない上に、   次買うときは興味などが変わる – 購入を決定付ける素性を人の知識から獲得す   る  • 値段、性能の定量化、• 最適化...
Filter Bubble• The Filter Bubble: What the Internet Is Hiding from You   – Eli Pariser (2011)• ウェブにおけるパーソナライゼーションの負の側  面を指...
Filter Bubble• Recsys2011での議論  – Are there “filter bubbles”?      • 本質的にはトレードオフである  – To what degree is personalized filte...
From Algorithm to User Experience• Recommender Systems: from algorithms to user experience    – Joseph A. Konstan and John...
User Recommender Lifecycle• New User Problem  – 評価値データがない( cold start problem)  – 人気なものと,評価が割れるものを混ぜて推薦す    るものが継続率が高い ( R...
Recommender System Quality• Top-N Recommendation   – Mean Absolute Error       • 平均絶対誤差   – Precision, Recall       • 検索エン...
Explanations and Transparency• Explanations of recommendation (Tintarev et al. 2007)   – Transparency       • どのように推薦結果が決め...
継続率の変化78            4500076            4000074              3500072              3000070              2500068             ...
スコアとクリック率との比較click rate                                                                       通常                          ...
表示順位とスコアの比較click rate                                                                       アルゴリズム                        ...
ウェブにおける情報体験の変化
ウェブにおける情報体験の変化
情報体験• ウェブの情報体験 – 自分から情報を取りに行かなくてはいけない – 探すためのリテラシーが必要 – 能動的• 旧来メディアの情報体験 – 新聞:毎日やってくる – テレビ:つければ入ってくる – 受動的• 受動的な情報体験が人々の基...
Gunosy’s Vision• ウェブにおける受動的な情報体験を設計する – 普段通り過ごすだけでGunosyが必要な情報を集めてくれる – ユーザに考えさせない,情報を入力させない   • 登録はSNSアカウントのみ   • 設定もほぼなし...
まとめ:IAと推薦システム• 推薦システム研究におけるユーザ体験設計はまだ  非常に尐ない – 推薦を受ける前と受けたあとで間違いなく行動は変   わる – 目的変数はユーザ行動の予測ではない• より抽象度の高い目的変数が必要である. – 継続...
World ia day
Upcoming SlideShare
Loading in...5
×

World ia day

9,526

Published on

0 Comments
50 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
9,526
On Slideshare
0
From Embeds
0
Number of Embeds
12
Actions
Shares
0
Downloads
67
Comments
0
Likes
50
Embeds 0
No embeds

No notes for slide

World ia day

  1. 1. Recommender System and user experience Yoshifumi Seki Gunosy, Inc 2013/02/09 World IA Day Tokyo
  2. 2. What’s Gunosy?• ユーザの嗜好に合わせたウェブコンテンツを 毎日届けるレコメンドサービス• 2011年10月末公開 – 開発理由:夏休み暇だった – データマイニングを研究する学生3人で開発• 登録するとSNSのアカウントを元にユーザの 嗜好を解析し,毎日25個のウェブコンテンツ を届ける• 2012年度未踏発掘・育成事業採択• App Store 無料6位
  3. 3. Motivation• 自分たちが欲しい物を作った – RSSリーダーをどうも好きになれない • 未読が三桁になって見るのも嫌になってしまう – 読むべき情報を知りたい• 簡単に真似できないものを作りたかった – 研究分野への勉強という意味も含めて – データマイニングの面白さと実践の溝
  4. 4. ビジネス系
  5. 5. エンジニア系
  6. 6. スポーツ系
  7. 7. ユーザ数の推移 60%以上のユーザがアクティ ブSep.07 Oct.07 Nov.07 Dec.07 Jan.08 Feb.08 Mar.08 Apr.08 May.08 Jun.08 Jul.08 Aug.08 Sep.08 Oct.08 Nov.08 Dec.08 Jan.09
  8. 8. 今日のお話• 現代のウェブにおける推薦エンジンの価値• 推薦エンジン研究の最近のトレンドの話 – 推薦エンジンの歴史 – 既存の評価指標の限界 • Filer Bubble – From Algorithms To User experience• ウェブの情報体験が旧来メディアの体験を超 えるには? – ウェブの情報体験の変化 – Gunosyのビジョン
  9. 9. What’s Recommender System• 膨大な情報の中からユーザに適した情報 を探索し,ユーザに提供する – ユーザの情報を特徴付ける • ユーザのプロフィール • アイテムに対する評価データ – アイテムの情報を特徴付ける • アイテムの中身 • 他のユーザの評価 – ユーザ・アイテム間の類似性を評価する
  10. 10. ウェブと推薦エンジン• ECサイトへの導入 – Amazon, e-bay• パーソナライゼーション – Google Search – Facebookのタイムライン• スマートフォンの普及 – 画面が小さい、操作性が低い、通信速度が遅い – 大量の情報を以下に表示するか? – 情報を減らす • パーソナライゼーション
  11. 11. History Microsoft Academic Search
  12. 12. History• 誕生は90年代 – 協調フィルタリング • 現在でも多くのシステムで活用されている手法 • あなたの買った◯◯を買った人は××も買っています• 2000年代 – インターネット・バブル • Amazon等ECサイトにおける推薦エンジンの成功 • Netfix Prize – 推薦エンジンの精度向上コンテスト – 多くの新しい手法が生み出されたが結局実際には使われなかったとの批判も – 新しい手法は多く生み出されたが協調フィルタリングが圧倒的 優位 – 推薦システムを売りにしたベンチャーの多くは倒産または売却 • 売上への寄与が見えづらく,売りにくい • 単純なモデルを実装した営業力の強い会社の勝利 • 汎用的に使えるものはなく,チューニングが必要なため外注ではなか なかマネタイズしない
  13. 13. 協調フィルタリング• 既存のユーザコミュニティの過去の振る舞いや意見を 用いて、利用者の好みや興味を予測し、情報を発掘す ること• ユーザベース協調フィルタリング – あなたと興味の近い人はこんな商品を買っています – 類似するユーザの評価値を元に,未知のアイテムに対する 評価値を予測する• アイテムベース協調フィルタリング – この商品を買っている人はこんな商品も買っています – ユーザベースの転置行列を解く• 実際の行動に基づいた高精度な推薦が可能• 行動ログが必要• 新しいユーザ,新しい商品に推薦できない
  14. 14. 内容ベースフィルタリング• アイテムの情報をユーザのプロファイルを元に推薦す る• ルールベース – 業界における常識や知見などに基づいてアイテムを勧める • デジカメ買った人にSDカードを勧める• メモリベース – ユーザとコンテンツのと距離を元に推薦する – ユーザとコンテンツをそれぞれベクトル空間に射影し,そ の座標間の距離を元に推薦する• モデルベース – 大量の行動履歴からユーザの行動をモデル化し推薦ルール を作成する
  15. 15. 知識ベース推薦• 行動ログがあまりたまらない分野におけ る推薦システム – 家、車などは人生で数回しか買わない上に、 次買うときは興味などが変わる – 購入を決定付ける素性を人の知識から獲得す る • 値段、性能の定量化、• 最適化した探索を行う検索システム• ユーザの嗜好をベースにした対話型推薦 システム
  16. 16. Filter Bubble• The Filter Bubble: What the Internet Is Hiding from You – Eli Pariser (2011)• ウェブにおけるパーソナライゼーションの負の側 面を指摘 – 多様な情報に触れる機会が減らされている.• Recsys 2011でFilterBubbleのWorkshopが開かれる. – Are there “filter bubbles”? – To what degree is personalized filtering problem? – What should we as a community do to address the filter bubble issue?
  17. 17. Filter Bubble• Recsys2011での議論 – Are there “filter bubbles”? • 本質的にはトレードオフである – To what degree is personalized filtering problem? • すべての情報を人が網羅することは不可能なのでフィルタリング技術 は必須である – What should we as a community do to address the filter bubble issue? • 推薦の透明性,説明性を確保すべき • 利用者が現在求めるものだけでなく,長期的多様性も考慮 • アイテムごとの個別判断ではなく,推薦リスト全体の良さを追求• 何が問題だったのか?(私見) – 推薦システムの評価方法がユーザ体験を考慮していない • 5年分のデータのうち最初の1年で残りの4年を予測する • ユーザの行動予測問題
  18. 18. From Algorithm to User Experience• Recommender Systems: from algorithms to user experience – Joseph A. Konstan and John Riedl,User Modeling and User adapted Interaction(2012) – 推薦システムのユーザ体験評価についてのサーベイ論文• 推薦システムが悪いとユーザのサービスに対する満足度を落とす (Cosley et al. 2003) – ユーザは推薦システムが悪いとは認識しない• 推薦システムのライフサイクル – 新規ユーザと既存ユーザの推薦システムに対する期待の違い.• より洗練された評価基準 – ユーザ行動予測以外の評価基準 – 推薦結果全体の評価、多様性• ユーザが推薦システムをコントロールすること
  19. 19. User Recommender Lifecycle• New User Problem – 評価値データがない( cold start problem) – 人気なものと,評価が割れるものを混ぜて推薦す るものが継続率が高い ( Rashid et al 2002) • 推薦していないにも関わらずユーザはすごく精度が高 いと評価する • ユーザモデルも作りやすい• User Lifecycle (McNee 2006) 1. 推薦エンジンを観察する. 2. 推薦されるアイテムに関心をもち,多くのアイ テムを評価するようになる 3. 推薦システムとして活用するようになる
  20. 20. Recommender System Quality• Top-N Recommendation – Mean Absolute Error • 平均絶対誤差 – Precision, Recall • 検索エンジンの指標 – False positive, False negative • ROE curve トレードオフ,• Diversity Problem (Ziegler et al. 2005) – 推薦対象でないものを結果リストに差し込む • ユーザは個人に最適化されてないことを認識するが,差し込ま れた量が全体の30%程度であれば差し込まれた方を好む• Data quality – ユーザにアイテムを再評価させると評価結果が改善す る.(Amatriain et al. 2009)
  21. 21. Explanations and Transparency• Explanations of recommendation (Tintarev et al. 2007) – Transparency • どのように推薦結果が決められたか説明することで信頼性を上げるこ とができる – Trust • 推薦結果の正確性以外の部分で努力する必要がある. – Scrutability • ユーザが推薦に用いるデータの過ちに気づき,改善を自身で行うこと ができる.• 説明性を高めることで,ユーザの意思決定を促進することで きる. – アルゴリズムが洗練されて正しいことより,近い友人が薦めて いるという説明のほうが効果がある. (Herlocker et al. 2000) – 多様性を計算することより,タグをつけて多様であるように見 えるほうが効果がある.(Vig et al. 2009)
  22. 22. 継続率の変化78 4500076 4000074 3500072 3000070 2500068 20000 one_month_active_rate66 user_num 1500064 100006260 アルゴリズム500058 変更 0
  23. 23. スコアとクリック率との比較click rate 通常 普通の記事 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 ranking
  24. 24. 表示順位とスコアの比較click rate アルゴリズム 逆表示 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 ranking
  25. 25. ウェブにおける情報体験の変化
  26. 26. ウェブにおける情報体験の変化
  27. 27. 情報体験• ウェブの情報体験 – 自分から情報を取りに行かなくてはいけない – 探すためのリテラシーが必要 – 能動的• 旧来メディアの情報体験 – 新聞:毎日やってくる – テレビ:つければ入ってくる – 受動的• 受動的な情報体験が人々の基本的な情報体験とし て根付いている – ウェブがテレビ・新聞を超えられない理由はここに あるのではないか?
  28. 28. Gunosy’s Vision• ウェブにおける受動的な情報体験を設計する – 普段通り過ごすだけでGunosyが必要な情報を集めてくれる – ユーザに考えさせない,情報を入力させない • 登録はSNSアカウントのみ • 設定もほぼなし – クリックなどのGunosy利用状況に応じて最適化する • RSSやSNSで特定の情報をすでに見ている人に対してはそれ以外の情報 を出す – アルゴリズムの評価はユーザ継続率ベース • 使い続けることが重要 • 毎日使うサービスではなく時々使うサービス • 見ていないことに対してストレスを与えない – RSSリーダの未読(9999)って辛いよね。がスタート• 機械が得意なことは機械にやらせよう – 大量の選択肢からの単純な意思決定は機械のほうが得意 – 労働集約型産業へのイノベーションを起こす
  29. 29. まとめ:IAと推薦システム• 推薦システム研究におけるユーザ体験設計はまだ 非常に尐ない – 推薦を受ける前と受けたあとで間違いなく行動は変 わる – 目的変数はユーザ行動の予測ではない• より抽象度の高い目的変数が必要である. – 継続率を生み出す推薦リストとは? – 人はなにが推薦されると嬉しいのか? – 人はなにを推薦されるといやなのか?• IAの知見を指標化・定式化すればよりよい推薦シ ステムを起こせるのでは• ビッグデータは魔法の杖ではない.活用目的とな る目的変数を定義しなくてはならない.そのため のIA
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×