Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Learningtorank meetup-vol3-pt2

681 views

Published on

Report on deployed LTR systems

Published in: Technology
  • ..............ACCESS that WEBSITE Over for All Ebooks ................ ......................................................................................................................... DOWNLOAD FULL PDF EBOOK here { http://bit.ly/2m6jJ5M } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m6jJ5M } .........................................................................................................................
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... Download Full EPUB Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { http://bit.ly/2m77EgH } ......................................................................................................................... Download EPUB Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... Download doc Ebook here { http://bit.ly/2m77EgH } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • DOWNLOAD THIS BOOKS INTO AVAILABLE FORMAT (Unlimited) ......................................................................................................................... ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download Full EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ACCESS WEBSITE for All Ebooks ......................................................................................................................... Download Full PDF EBOOK here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download EPUB Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... Download doc Ebook here { https://tinyurl.com/yyxo9sk7 } ......................................................................................................................... ......................................................................................................................... ......................................................................................................................... .............. Browse by Genre Available eBooks ......................................................................................................................... Art, Biography, Business, Chick Lit, Children's, Christian, Classics, Comics, Contemporary, Cookbooks, Crime, Ebooks, Fantasy, Fiction, Graphic Novels, Historical Fiction, History, Horror, Humor And Comedy, Manga, Memoir, Music, Mystery, Non Fiction, Paranormal, Philosophy, Poetry, Psychology, Religion, Romance, Science, Science Fiction, Self Help, Suspense, Spirituality, Sports, Thriller, Travel, Young Adult,
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
  • Be the first to like this

Learningtorank meetup-vol3-pt2

  1. 1. 海外カンファレンス報告 ランキング学習の現状 カムエラ ラウ (Kamuela Lau) 1
  2. 2. 自己紹介 • ロンウイットに2017年12月入社 • LTR4L において LTR のアルゴリズムを実装 • ブログ • https://jp.kamulau.com 
 (English: en.kamulau.com) • ツイッター: @kamu_lau 2
  3. 3. Agenda • 海外カンファレンス • Spark AI Summit Europe 2018 • Activate Search & AI • LTR の現状 • リコメンデーション改善:Elsevier • オートコンプリート:The Home Depot • 検索改善:Bloomberg 3
  4. 4. Spark + AI Summit Europe 2018 4
  5. 5. Activate 5
  6. 6. LTR フレームワークのイメージ 学習データ クエリa Doc-a1 Doc-a2 Doc-a3 : ランキング ・・・ クエリb Doc-b1 Doc-b2 Doc-b3 : ランキング クエリN Doc-N1 Doc-N2 Doc-N3 : ランキング モデルの学習 モ デ ル ランキング システム クエリX Doc-X1’ Doc-X2’ Doc-X3’ : ランキング 推定値 クエリX Doc-X(0) Doc-X(1) Doc-X(2) : ランキング? モデル 6
  7. 7. LTR ユースケースその① 7
  8. 8. LTR ユースケースその① Elsevier • Elsevier • 医学・科学技術関係を中心とす る世界最大規模の出版社 • ScienceDirect • 1500万論文・記事 • 月数百万のユーザ • 論文のリコメンデーション 改善にLTR を利用 Learning to Rank with Apache Spark: A Case Study in Production Machine Learning 8
  9. 9. LTR ユースケースその① ScienceDirect のリコメンデーションエンジン 9
  10. 10. LTR ユースケースその① LTR を利用するシステム データ 前処理 (ダウンロード・ 閲覧回数) IBCF モデル LTR リランク データ 前処理 (Popularity, Subject, Text など) 訓練データ (リコメンドの クリック数) LTR モデル 10
  11. 11. LTR ユースケースその① 協調フィルタリング(Collaborative Filtering, CF) • Memory-based
 Similarity (Cosine 距離など) で似たユーザ、またはアイテムを見つける • User-based (User-item) • “あなたへのおすすめ商品” • Item-based (Item-item) • “この商品を買った人はこんな商品を買っています” • Model-based
 機械学習を用いてCF モデルを構築 11
  12. 12. LTR ユースケースその① IBCF のメリット、デメリット メリット • ダウンロード・閲覧履歴の み使用 • 論文内容やユーザの個人 情報は不要 デメリット • スパースデータの場合は IBCF の精度が落ちる • 圧倒的に人気のある論文が 勧められてしまうことがあ る 12
  13. 13. LTR ユースケースその① LTR を用いてリコメンデーションをリランク • IBCF スコア • 人気度 • テキスト データ 前処理 (リコメンドの
 クリック数) 訓練データ LTR モデル • カテゴリ・サブジェクト • 時間・日にちなどのデータ • リコメンデーションによるア クセス 論文についてのデータが沢山ある 13
  14. 14. LTR ユースケースその① 結果 • Offline (NDCG など) のモデル評価 • Online (A/B testing)による評価 • ユーザアクティビティを様々な手法で測定 • 全手法において 7∼10% 増加 14
  15. 15. LTR ユースケースその② 15
  16. 16. LTR ユースケースその② The Home Depot • The Home Depot • アメリカに本社を置く住宅 リフォーム・建設資材・サー ビスの小売チェーンである* • ウェブサイトの検索語のオー トコンプリート機能 (Type Ahead Service)の改善に LTR を利用 Apply Learning to Rank in The Home Depot Type Ahead Service * Wikipedia より抜粋 16
  17. 17. LTR ユースケースその② The Home Depot の Type Ahead Service 17
  18. 18. LTR ユースケースその② LTR を利用するシステム Click Stream Data 訓練データ XGBoost モデル Lucene インデックス リランクさ れた結果 データの 前処理 学習 リランク 18
  19. 19. LTR ユースケースその② 訓練データの構造 • 入力された文字、時間な どの情報をクエリとする • 検索語候補のリストが文 書リスト • 正解はクリックデータに 基づく 19
  20. 20. LTR ユースケースその③ 20
  21. 21. LTR ユースケースその③ Bloomberg • Bloomberg • 経済・金融情報の配信、通信 社・放送事業を手がけるアメ リカ合衆国の大手総合情報サー ビス会社。* • 情報端末、Bloomberg ニュース • 検索改善に LTR を利用 (News) * Wikipedia より抜粋 21
  22. 22. LTR ユースケースその③ LTR を利用したシステム クエリ インデックス 上位 k件 Commodities News People など 訓練データ モデル リランクされた 上位 k件 人手でラベル付与 学習 22
  23. 23. LTR ユースケースその③ LTR のデプロイまでの過程と結果 • 期待の結果を確認後、パフォーマンス向上 • ユーザの1割にたいして LTR モデルをデプロイ(試用) • 異常がないことを確認後、全てのユーザに LTR モデルを デプロイ • 同時にウェブサイトの変更があったため、変化の測定が 難しかった 23
  24. 24. まとめ • LTR は様々なユースケースがある • リコメンデーションエンジンの改善 • オートコンプリートの改善 • 検索の改善 • など 24
  25. 25. ご静聴ありがとうございました 参考資料 • Spark + AI Summit Europe: https://databricks.com/sparkaisummit/europe/schedule • Activate 2018: https://activate-conf.com/agenda/ • Learning to Rank with Apache Spark: A Case Study in Production Machine Learning with Adam Davidson and Anna Bladzich • 資料と動画: https://databricks.com/session/learning-to-rank-with-apache-spark-a-case-study-in-production-machine- learning • Learning to Rank: From Theory to Production • 資料: https://www.slideshare.net/lucidworks/learning-to-rank-from-theory-to-production-malvina-josephidou-diego- ceccarelli-bloomberg • 概要: https://sched.co/FkM6 • Apply Learning to Rank in The Home Depot Type Ahead Service • 概要: https://sched.co/FkMQ その他 • エンジニア・コンサルタント募集中 25

×