Paraphrasing Web Search Ranking

1. 文献紹介(2015/5/8)
Paraphrasing Adaptation
for Web Search Ranking
長岡技術科学大学 電気電子情報工学専攻
自然言語処理研究室 高橋寛治

2. 文献について
• Paraphrasing Adaptation for Web Search
Ranking
• Chenguang Wang, Nan Duan, Ming Zhou, Ming
Zhang, 2013, Proceedings of the 51st Annual
Meeting of the Association for
Computational Linguistics (Volume 2: Short
Papers), pp.41-46

3. 概要
• Web検索において、クエリと文書のミスマッチは
問題
• 換言を3つの側面から行い、Web検索の精度を向
上。
• 結果、3ポイントほど向上

4. はじめに
• 換言とは、入力文に対して別の表現で伝えること
• Web検索では、検索クエリに対して同じ意味でも
表現が違うと、うまく検索できない。
• X is the author of Y
• Y was written by X
• そこで、Web検索に特化した換言を深く調査する

5. Web検索のための換言
• 換言知識の取得
• バイリンガルコーパスから取得(Callison-Burch 2005)
• 分布仮説によりモノリンガルコーパスから取得(Lin and
Pantel 2001)
• WordNetから取得(Miller 1995)
• 換言に3つの手法を用いる
• 検索指向の換言モデル
• NDCGベースのパラメータ最適化
• 強化したランキングモデル

6. 検索に適応した換言モデル
• 統計的機械翻訳と同様の考え方
• 入力クエリQ に対して、線形モデルにより換言候補を列
挙する
𝑄 = arg max
𝑄′∈ℋ(𝑄)
𝑃 𝑄′
𝑄)
= arg max
𝑄′∈ℋ(𝑄)
𝑚=1
𝑀
𝜆 𝑚ℎ 𝑚(𝑄, 𝑄′)
• HはQに対するすべての換言候補
• Q’はQに対する候補
• 𝜆 𝑚とℎ 𝑚は素性に対する重みづけ

7. NDCGベースのパラメータ最適化
• NDCGは順位づけ問題の精度評価指標の１つ
• MERT(最少誤り率訓練)を利用
• 換言モデルにおける素性の重みづけを行う

8. 強化したランキングモデル
• Web検索においては、クエリに関連する文書のラ
ンク付けを行うことが重要
• Qはクエリ、Dはドキュメントセット、Fは一致素
性
ℛ 𝑄, 𝐷 𝑄 =
𝑘=1
𝐾
𝜆 𝑘 𝐹𝑘(𝑄, 𝐷 𝑄)

9. 実験
• 換言対を580万文取得
• 検索エンジンのログから無作為に抽出した2838のク
エリをアノテーション
• 1419をパラメータ学習、残りをテストセットとして利
用
• NDCG@1を用いて評価
• Web検索タスクの評価手法

10. ベースラインシステム
• 換言のベースライン：BL-Para
• 伝統的な統計的機械翻訳の素性のみを用いる
• 重みづけにBLEU評価を用いたMERTを用いる
• ランク付けのベースライン：BL-Rank
• もとのクエリと、Webページの内容を使用し、SVM-
rank toolkitでモデルを学習

11. 検索指向の素性の影響
• BL-Para+SF
• 検索指向の素性(search-oriented)を追加したもの
• Cand@1はそれぞれの手法で生成された最もよい
換言候補

12. 最適化アルゴリズムの影響
• MERT(最少誤り率訓練)により最適化されたこと
により、スコアが上がる

13. 強化ランキングモデルの影響
• NDCGの改善は元クエリの隠れた換言から
• クエリと文書のミスマッチをある程度防ぐ

14. まとめ
• Web検索のための換言について深く掘り下げた
• モデルの選択と最適化の方面から
• 今後は、ほかのクエリ変更手法と比較したい