Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

セレンディピティと機械学習

5,375 views

Published on

2016.8.10 TechFeed Live! にて、機械学習の楽しみとしての世界の記述とセレンディピティについて話しました。

Published in: Technology

セレンディピティと機械学習

  1. 1. Copyright 2015 So-net Media Networks Corp. All rights reserved セレンディピティと機械学習 2016.8.10 ソネット・メディア・ネットワークス株式会社 舘野 啓
  2. 2. • 舘野 啓 (たての けい) • 経歴 – 2003~2012 ソニー(株) [A-Z]{2,3}研究所 • パーソナライゼーション/情報推薦アルゴリズム、テキストマイニングの研究開 発 • テレビ王国、フォトナビワイン、AnyMusic、Music Unlimited etc. への適用 – 2012~2014 ソニー(株) ビジネスデザイン&イノベーションラボ • 事業立ち上げにチャレンジ(含むSan Franciscoでの活動) – 2014.10~ ソネット・メディア・ネットワークス • アドテク業界に足を踏み入れる • 現在 – アルゴリズム開発、システム開発PM、新規事業検討、採用etc. 自己紹介
  3. 3. 3 • 好きな機械学習ネタ – トピックモデル 自己紹介 Latent Dirichlet Allocation θ z w Wd α φ Zβ y x a ξU γ A U ψ X η D Z ρ κ C c コンテンツ解釈の個人化モデル
  4. 4. 4 ソネット・メディア・ネットワークス インターネット広告配信 プラットフォーム Real Time Biddingにおける機械学習 どんな広告を? 誰に? いつ・どの面に? 幾らで? より詳細な課題:[1]
  5. 5. 5 ソネット・メディア・ネットワークス
  6. 6. 6 “機械学習を学ぶ” Golden Circle by Simon Sinek Why How What 機械学習 なぜ機械学習を学ぶのか?
  7. 7. 7 なぜ機械学習を学ぶのか? … 流行ってるから 楽しそうだから お金になりそうだから
  8. 8. 仮説 モデル 8 機械学習のエンジニアリングサイクル 事象 検証
  9. 9. 9 機械学習のサイクル 事象 検証 大量の教師データ (=よく知られた現象/課題) どう学びをモチベートしていくか? 仮説 モデル 自動化? e.g. DataRobot 物理で殴る? 精度の追及
  10. 10. 10 なぜ機械学習を学ぶのか? 世界を記述し、介入できるから 広告で 人間に 情報提示で 情報推薦 個人的には…… 意味的に
  11. 11. 11 情報推薦の基礎 網羅的な資料:[2][3] 4 5 3 4 5 4 1 3 1 ユーザ アイテム 4 5 3 4 5 4 1 3 1 未知の評価値を 予測 評価行列 高い予測評価値の アイテムを推薦
  12. 12. 4 5 3 4 5 4 1 3 1 12 • 代表的手法:Matrix Factorization – 評価値をユーザとアイテムの潜在ベクトルの内積で近似 – (潜在ベクトル≒”相性”を表すもの) 情報推薦の基礎 アイテム 潜在ベクトル ユーザ潜在 ベクトル min 𝑈,𝑉 Σ𝑖,𝑗 𝑟𝑖𝑗 − 𝒖𝑖 𝑇 𝒗𝑗 2 + 𝜆( 𝑈 2 + 𝑉 2) V UR 最適化問題 𝑅 = 𝑈𝑉 𝑇
  13. 13. 13 • Matrix Factorization から Probabilistic Matrix Factorization[4] へ 情報推薦の基礎 𝑟𝑖𝑗 𝒖𝑖 𝒗𝑗 𝜎 𝑢 𝜎𝑣 𝜎𝑟 𝒖𝑖~𝑁 𝟎, 𝜎 𝑢 2 𝐼 𝒗𝑗~𝑁 𝟎, 𝜎𝑣 2 𝐼 𝑟𝑖𝑗~𝑁 𝒖𝑖 𝑇 𝒗𝑗, 𝜎𝑟 2 潜在ベクトルと評価値を 正規分布に従う確率変数として扱う min 𝑈,𝑉 log 𝑃(𝑈, 𝑉|𝑅, 𝜎 𝑢, 𝜎𝑣, 𝜎𝑟) 因果関係=世界の意味構造を明示的に記述 PMFのグラフィカルモデル 事後確率最大化としてパラメータ最適化 𝑁 𝑢 𝑁𝑣 「ユーザ潜在ベクトルは 正規分布に従いますよ」
  14. 14. 14 情報推薦における課題 セレンディピティ 最適化問題としての定式化 高精度化 実適用での成果 推薦の墓場 似たようなアイテムばかりで飽きる 分かり切った推薦ばかり 視野が狭くなる…… “愉快なる未来”, 社会の“ダイナミズム”のためにも!
  15. 15. 15 “セレンディピティ”って? “... that kind which I call serendipity. ... I once read a silly fairy tale, called The Three Princes of Serendip: as their Highnesses travelled, they were always making discoveries, by accidents & sagacity, of things which they were not in quest of ...” Horace Walpole [5]
  16. 16. 16 “セレンディピティ”って? 価値ある偶然の発見 セレンディピティ理論のさまざまなプロセス仮説 [6] 要は Chance encountering of information Sagacity to derive insight Discovery Invention Unanticipated Anomalous Strategic datum Symbolic rules Novelty Validation Preparation Insight ElaborationIncubation Evaluation Prepared mind Seize the moment Evaluate effects Recognize potential Amplify effects Unexpecte d event New connection Exploit connection Reflect on value Project value Valuable outcome Prepared mind Bridge Result Focus shift Trigger
  17. 17. 17 • 情報推薦の満足度とセレンディピティ – コンテンツ推薦実験の事後アンケートを実施、共分散構造分析で 関連度合を算出 セレンディピティの重要性 好き抽出精度 嫌い除外精度 セレンディピティ 対話性 コンテンツ 満足度 状況 ムード コンテクスト .69 .34 .47 .82 .94 .86 1.17 .66 情報推薦において セレンディピティは重要!
  18. 18. 18 セレンディップな情報推薦の実現 事象 仮説 モデル検証
  19. 19. 19 セレンディップな情報推薦の実現 事象 妄想 モデル検証 セレンディピティって こうだ! (未観測の未来) 最適化問題 妄想を数理的に 記述する力 サービスとしてまわす (世界介入) 妄想なのか否か
  20. 20. 20 • 妄想 – ユーザが手に取りそうにない(“Discovery”/”Novelty”)けど、実は好き(“Valuable outcome”)になるような推薦がセレンディップなんじゃ? • モデル – “好き”:評価値 𝑟𝑖𝑗 をユーザとアイテムの潜在ベクトルに基づき予測 – “手に取りそう”:評価行為 𝑐𝑖𝑗 ∈ {0,1} をユーザとアイテムの潜在ベクトルと評価値で 予測 – 予測評価値:高, 評価行為確率:低(e.g. 𝑟𝑖𝑗/𝑐𝑖𝑗大)なアイテムがセレンディップ! 妄想とモデル(1) 𝒈𝑖~𝑁 𝝁 𝑔, 𝜎𝑔 2 𝐼 𝒉𝑗~𝑁 𝝁ℎ, 𝜎ℎ 2 𝐼 𝑐𝑖𝑗~𝐵𝑒𝑟𝑛(𝑓 𝒈𝑖 𝑇 𝒉𝑗 + 𝒖𝑖 𝑇 𝒗𝑗 ) 𝑓 𝑥 = 1 1 + exp(−𝑥) 𝑟𝑖𝑗 𝒈𝑖 𝒉𝑗 𝒖𝑖 𝒗𝑗𝝁 𝑢 𝝁 𝑣 𝜎 𝑢 𝜎𝑣 𝑐𝑖𝑗 𝜎𝑟 𝝁ℎ𝝁 𝑔 𝜎𝑔 𝜎ℎ 𝑁 𝑢 𝑁𝑣 𝒖𝑖~𝑁 𝝁 𝑢, 𝜎 𝑢 2 𝐼 𝒗𝑗~𝑁 𝝁 𝑣, 𝜎𝑣 2 𝐼 𝑟𝑖𝑗~𝑁 𝒖𝑖 𝑇 𝒗𝑗, 𝜎𝑟 2 評価行為の 傾向 ([7][8]を参考に簡略化) ユーザとアイテムの 評価の傾向(PMF)
  21. 21. 21 • 妄想 – 普段とは違う視点(“Focus shift”)からお薦めしてくれるのがセレンディピティなん じゃ? • モデル ([9][10]など) – 評価の傾向と、アイテムの特徴におけるまとまりの傾向両方を満たす潜在ベクトルを 推定 – ユーザの特徴的な視点(潜在ベクトル要素)で、予測評価値の高いアイテムがセレン ディップ! 妄想とモデル(2) 𝑤 𝑚𝜽𝑗𝜶 𝑟𝑖𝑗 𝜷 𝒗𝑗𝜆 𝑣 𝒖𝑖 𝑁𝑣 𝑧 𝑚 𝑁 𝑢 𝜆 𝑢 𝑁 𝑤 𝑁𝑡 𝒖𝑖~𝑁 𝟎, 𝜆 𝑢 −1 𝐼 𝒗𝑗~𝑁 𝜽𝑗, 𝜆 𝑣 −1 𝐼 𝑟𝑖𝑗~𝑁 𝒖𝑖 𝑇 𝒗𝑗, 𝜆 𝑟 −1 𝐼 𝜽𝑗~𝐷𝑖𝑟 𝜶 𝑧 𝑚~𝑀𝑢𝑙𝑡𝑖 𝜽𝑗 𝑤 𝑚~𝑀𝑢𝑙𝑡𝑖(𝜷 𝑧 𝑚 ) アイテムの特徴での まとまりの傾向(LDA) 𝝓𝑖 = exp 𝜂𝑢𝑖𝑘 Σ𝑙 exp 𝜂𝑢𝑖𝑙 𝑘=1 𝑁𝑡 max 𝑗 𝐾𝐿(𝝓𝑖||𝜽𝑗) + 𝜌𝑟𝑖𝑗 ……視点の強調 ……マッチング ユーザとアイテムの 評価の傾向(PMF)
  22. 22. 22 • Multi view clusteringによる情報推薦 妄想とモデル(2) 適用例 • 評価予測とは独立に、アイテムの特徴量(ジャンル, KW etc.)に基づくユーザ固有の“視点”を抽出 ジャンル キーワード 音声特徴 アイテムのクラスタと、あるユーザの好きアイテムの偏在性(濃淡) ユーザにとっての 重要な視点a b b b a a • 重要な視点を固定、他の視点をずらしたうえで高予測評価値 アイテムを推薦 ⇒セレンディップな、満足度の高い推薦を実現
  23. 23. 23 • 世界を記述して介入するの楽しいよね • その一例として“セレンディピティ”を 機械学習でなんとかしてみるお話 まとめ
  24. 24. 24 最後に Enjoy! ソネット・メディア・ネットワークスの 行動指針のひとつ
  25. 25. 25 最後に Enjoy learning ML!
  26. 26. 26 • [1] 舘野, “アドテクにおける機械学習技術”, http://www.slideshare.net/ttpooh/tokyo- data-night-tokyodn • [2] 神嶌, “推薦システム”, http://www.kamishima.net/archive/recsys.pdf • [3] 神嶌, “推薦システムのアルゴリズム”, http://www.kamishima.net/archive/recsysdoc.pdf • [4] Salakhutdinov, R., Mnih, A., “Probabilistic Matrix Factorization,” NIPS, 2007. • [5] Andel, P. V., “Anatomy of the Unsought Finding. Serendipity: Origin, History, Domains, Traditions, Appearances, Patterns and Programmability,” British Journal of Philosophy of Science, 1994. • [6] Corneli, J., et al., “Modeling Serendipity in a Computational Context,” arXiv, 2014. • [7] Hernandez-Lobato, J. S., et al., “Probabilistic Matrix Factorization with Non- random Missing Data,” ICML, 2014. • [8] Ohsawa, S., et al., “Gated Probabilistic Matrix Factorization: Learning Users’ Attention from Missing Values,” IJCAI, 2016. • [9] Wang, C., Blei, D., “Collaborative Topic Modeling for Recommending Scientific Articles,” KDD, 2011. • [10] 関野, “特徴量に基づく確率的行列分解”, IBIS, 2010. 参考文献

×