learningtorank meetup-vol4-pt1

1. LTR 勉強会第４回 SIGIR 2019 カンファレンス報告カムエララウ (Kamuela Lau)

2. 自己紹介 • ロンウイットに2017年12月入社 • ランキング学習のフレームワーク（LTR4L）、新検索サービスの開発者 • トレーニングコース「Apache Spark によるスケーラブル深層学習」の開発者・講師 • LTR・機械学習系のコンサルティング  • Georgia Institute of Technology に在学中（2019年8月に入学） • コンピュータサイエンス・機械学習特化修士課程 • 記事・ブログ • https://codezine.jp/author/1834 • https://jp.kamulau.com  (English: https://en.kamulau.com) • ツイッター: @kamu_lau

3. Agenda • SIGIR 2019 の紹介 • Online Evaluation • A/B テスト • 評価手法の「感度」と「指向性度」 • Interleaving • 企業内メール検索用のドメイン適応 • ApproxNDCG （ランキング評価手法の近似） • passageの関連度と文書の関連度との関係

4. SIGIR 2019 の紹介

5. SIGIR とは • Special Interest Group on Information Retrieval の略 • 毎年カンファレンス開催 • 情報検索の分野において最も重要なカンファレンス

6. SIGIR 2019 • 2019年7月21日∼25日にパリで開催 • Cité des Sciences et de l’Industrie（シテ科学産業博物館）

7. Online Evaluation

8. Online Evaluation  チュートリアル • 初日に開催された1日のチュートリアル • ランキングモデルまたはインタフェースの変更に対する実験・評価方法

9. 新ランキングモデルのデプロイまでの流れ新ランキングモデルを学習オフラインで評価デプロイ中のモデルより精度は上がったかオンラインテストを企画全ユーザからテスト参加者をサンプル参加者に対して新ランキングモデルを適用分析・評価を行う統計学的に有意差があり、評価値は上がったか図は元資料の Part 1 に基づいています全ユーザに対してモデルを適用

10. 評価手法の「感度」と「指向性度」感度 (Sensitivity)  評価手法の統計学的な有意差の測りやすさ。  感度が高いほど • 評価値の小差を測れる • より感度の低い手法に比べて、同じ差を測るのに必要なユーザ数が少ない • 変更が適用された後すぐに変わる指向性度 (directionality)  評価手法の意味の明瞭さ。  指向精度が高いほど • 結果の良さがわかる • 直接測りにくくなる

11. 変化を測るのに時間がかかる。感度が低い    評価値が上がると、その意味がはっきりしている。  指向精度が高いすぐに変わる。感度が高い評価値が上がっても、意味が不明。指向性度が低い理想的で指向性度が高いが測りづらい評価手法の「感度」と「指向性度」の例評価手法 • 各ユーザの満足度 • 各ユーザの発行クエリ数 • 各ユーザのクリック数 • 各クエリのクリック数 • 各ユーザのセッション数 • 各不在期間の長さ例は参考文献 [1]に基づいています

12. Interleaving • 複数のランキングモデルの結果を混ぜ合わせ、ユーザに提供 • A/B テストで考慮できないユーザレベルのノイズを抑えられる • A/B テストで発生する UX の悪化をある程度避けられるデプロイ中のランキングモデル実験中のランキングモデル文書A 文書B 文書C 文書D 文書K 文書L 文書M 文書Z 文書Z 文書Y 文書X 文書W 文書J 文書H 文書G 文書A 文書A 文書Z 文書B 文書Y 文書C 文書X 文書D 文書W interleaving のランキング Interleaving の例

13. 企業内メール検索用のドメイン適応

14. 企業内メール検索とドメイン適応 • メールを文書として扱う • コーパスが偏っていることが多い • それぞれのドメインに適応できるモデルが望ましい • データが足りない ⇨ ドメイン適応 A BC 全企業内メールのデータの集合（ソースドメイン）

15. ソースデータセットターゲット  データセット埋め込み空間マッピングマッピング予測モデル訂正モデル  (NNか統計学的手法) 学習損失ニューラルネットワーク企業内検索モデル上記図は元論文の Figure 3 に基づいています

16. ApproxNDCG  ランキング評価手法の近似

17. ポスターセッションの写真 ApproxNDCG

18. ランキング評価手法ランキングの良さを評価するための手法  ランキング評価手法例 • AP (Average Precision) • MAP (Mean Average Precision) • MRR (Mean Reciprocal Rank) • DCG (Discounted Cumulative Gain) • NDCG (Normalized DCG) NDCGの計算式ランクの計算式ランクの計算式が微分不能・非連続のため、直接勾配降下法で最適解を求められない

19. ApproxNDCG の実験結果参考文献 [3]より抜粋。

20. passageの関連度と文書の関連度との関係

21. passage-level relevance • passage - 何かのルール・アルゴリズムにより分割された文書の一項目 • semantic - 内容に基づいた分割 [Ex: TextTiling] • window - 固定の単語数・バイト数などによる分割 • discourse - 文・段落・章などによる分割参考文献 [4]より抜粋 passage の関連度と文書の関連度との関係を探るのが目的他の passage と独立した関連度とコンテキストで見た  関連度がある

22. 実験のまとめ RQ1: 文書の関連度とそれに含まれるpassageの関連度の関係とは何か RQ2: 上記関係を用いて現在の文書ランキングの性能を上げられるか  ① データセットの構築 • THUCNews という中国のニュースコーパス • クエリは中国の検索エンジンのログを使用 ② 関連度のラベル付与 • 4段階のラベル • 人手で付与する ③ 分布、集計、連続関連passage [sequence] による分析

23. 実験結果のまとめ参考文献 [4] より抜粋参考文献 [4] より抜粋

24. 参考文献 [1] Alexey Drutsa, Gleb Gusev, Eugene Kharitonov, Denis Kulemyakin, Pavel Serdyukov, and Igor Yashkov. 2019. Effective Online Evaluation for Web Search. In Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR'19). ACM, New York, NY, USA, 1399-1400. DOI: https:// doi.org/10.1145/3331184.3331378 [2] Brandon Tran, Maryam Karimzadehgan, Rama Kumar Pasumarthi, Michael Bendersky, and Donald Metzler. 2019. Domain Adaptation for Enterprise Email Search. In Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR'19). ACM, New York, NY, USA, 25-34. DOI: https:// doi.org/10.1145/3331184.3331204 [3] Sebastian Bruch, Masrour Zoghi, Michael Bendersky, and Marc Najork. 2019. Revisiting Approximate Metric Optimization in the Age of Deep Neural Networks. In Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR'19). ACM, New York, NY, USA, 1241-1244. DOI: https://doi.org/10.1145/3331184.3331347 [4] Zhijing Wu, Jiaxin Mao, Yiqun Liu, Min Zhang, and Shaoping Ma. 2019. Investigating Passage-level Relevance and Its Role in Document-level Relevance Judgment. In Proceedings of the 42nd International ACM SIGIR Conference on Research and Development in Information Retrieval (SIGIR'19). ACM, New York, NY, USA, 605-614. DOI: https:// doi.org/10.1145/3331184.3331233

25. ご静聴ありがとうございました