Download to read offline
![[DL輪読会] “Asymmetric Tri-training for Unsupervised Domain Adaptation (ICML2017...](https://cdn.slidesharecdn.com/ss_thumbnails/dlhacks20170728-170728025901-thumbnail.jpg?width=640&height=640&fit=bounds)
Sigir2013 retrieval models-and_ranking_i_pub
- 1. SIGIR2013 Retrieval Models andRanking I @uchumik（Denso IT Lab）
- 2. title list H.Wang et al. Personalized ranking model adaptation for web search F. Raiber et al. Ranking document clusters using markov random fields J. H. Paik, A novel TF-IDF weighting scheme for effective ranking S. Kamali et al. Retrieving Documents with mathematical content
- 3. title list H.Wang et al. Personalized ranking model adaptation for web search F. Raiber et al. Ranking document clusters using markov random fields J. H. Paik, A novel TF-IDF weighting scheme for effective ranking S. Kamali et al. Retrieving Documents with mathematical content やたら複雑なTF-IDFやMathMLとか出てきて正直面白くなさそ う．．
- 4. Personalized Ranking Model Adaptationfor Web Search 概要 従来のパーソナライズ手法は各ユーザごとにリッチな履歴を必要としていて， ユーザの興味の変化に対応できなかった．また，クエリとURLの間の関係を直 接学習するためにカバー率が低い，多くの手法がPRFベースのためにそもそも １段目の検索で上位に来ない物はリランキング結果に出てこない等という問題 があった．そこで著者らはグローバルランキングモデルをパーソナライズする 手法を提案．加えて，ユーザの興味の変化の早さに追随するために適応効率に ついても考慮している． 提案手法では，グローバルランキングモデルのパラメータに線形変換を掛ける ことでパーソナライズモデルを作る．ユーザごとに変換行列を密で持つのは上 長なため，各素性ごとにスケーリングとバイアスの2つの項だけを持つような 行列とすることで空間オーダーを下げている．また，パーソナライズのデータ が尐ない場合に観測できる素性が疎になってしまい，パラメータが適切に更新 できなくなる問題を，素性をグルーピングしてしまい，観測できた素性につい ての更新を観測できなかった素性の重みにも伝搬させるという方法で対処して いる．注目すべきはグローバルランキングモデルのパラメータとパーソナライ ズランキングモデルの構造が同じ（両方共線形モデル）であるならば，ランキ ングの学習アルゴリズムが異なっていても良く，グローバルモデルの再学習の 必要はない作りとなっている．
- 5. 従来手法の問題点 1. Personalizationにリッチな履歴が必要 ユーザの好みやその変化への適用が遅い 2.メモリベースの場合にはカバー率が低い Query-URLの間の関係を直接学習するため 3. PRFの場合はランキングに影響を与える余地が尐ない 1段目の検索結果の上位のみをリランキングするため グローバルランキングモデルに線形変換を掛けることでパーソナライズ 提案
- 6. 従来 vs 提案 リッチな情報が必要素性のグルーピングによって スパースネスの問題に対処 効率的なadaptation カバー率の問題 （メモリベース，PRF） グローバルランキングモデル を線形変換でパーソナライズ することで対処
- 7.
- 8.
- 9. パラメータ推定 目的関数 : ユーザのクエリセット :正則化項 :ランキング学習のアルゴリズムに合わせて選ぶ目的関数 Cross-entropi in RankNet Hinge loss in RankSVM
- 10. RankNet の目的関数を変更 として目的関数を書換える を正則化項に追加 LambdaRank の目的関数を変更 RankNetの導関数に評価尺度のゲインを追加するのみ RankSVM の目的関数を変更 正則化項を に変更 に変更 その他 目的関数が線形モデルであれば w を書換えるのみ
- 11.
- 12. Feature Grouping Name 素性の名前でまとめあげるパターンを人手で用意し てグルーピング SVD 特異値分解で低次元に圧縮した後にk-meansでクラ スタリング Cross 学習データをN分割して各データごとにモデルを学 習．モデルパラメータをまとめたV×N行列を作り， k-means クラスタリング
- 13. 評価 データセット bing.comの検索ログ(2012/5/27-2012/5/31) ユーザはランダムにサンプル ユーザID, query, timestamp, top10 document lists, clicks queryをtimestampでソート document listsも検索エンジンが返した元の順番に戻している ユーザ非依存のアノテーション済みデータ 5段階のrelevance scoreが付けられている 1,830 ranking features BM25, LM score, PageRank 等のよく使われる素性も含む
- 14. Analysis of featuregrouping Kの値は一番良い値の周 りではそんなにMAPに 影響しない MAPはCrossが最も高い ドキュメントのラン キングに類似した影 響を与えてる素性を グルーピングしてい るため
- 15. Analysis of featuregrouping Kに対するパラメータ の平均更新回数 Kが小さいと関連の薄 い素性も一緒に更新さ せてしまい，パフォー マンスが悪化する
- 16.
- 17. Adaptation performance ベースライン素性が観測できない場合の更新はやはり問題（ Tar-*） Global Modelで back-off する(RA)よりも，観 測できた素性の更新を伝搬させる方が良い．
- 18. Adaptation performance Global modelのみだとパーソナライズできない(Source-Only) ユーザデータと統合した手法ではMAPが10ポイント以上UP ベースライン(IW-*, Trans*,CL*)のために全ユーザの適用データを 収集したため，sparsityの問題は無いが，各ユーザの好みが収集 した他のユーザのclicksで打ち消されてしまった（そもそもこれらは ドメインアダプテーションを対象に作られている）． 提案手法は各ユーザごとにパーソナライズできている．
- 19. Adaptation performance クエリは繰り返し入力される現象があるので，テストセットを リピートされるクエリとそれ以外とで分けてテスト． Repeated ではグローバルモデルからの改善はどちらも 無かったが，Non-repeatedでは Cross だけ改善が見られた． RA はメモリベースなので観測が無いと素性を適切に更新できないが， Cross は観測が無くても素性のグルーピングで更新を伝搬させるため Non-repeated なクエリに強い．
- 20. Adaptation performance どのタイプのクエリに効果があるのか 主にナビゲーショナルクエリに対して効果が見 られた global model の44.9%のナビゲーショナルク エリでMAPが向上 MAPが下がったのは10.2%のみだった “HowTo,”, “Health”, “Q&A”はランキングが悪 化した これらのインフォメーショナルクエリは調査目的 クリックがばらけている ユーザが明確な答えを持っていない
- 21. Adaptation performance どんなユーザに対して提案手法は効果的か Heavy(10↑adaptation query), medium(5-10 ap), light(5↓ap)
- 22. Adaptation performance globalmodel からのMAPの 上昇をプロット 1,2クエリで15%以上の向上 Cross-LambaRankは3クエ リで25%アップ RAは10クエリで23%アップ 素性のグルーピングでデータ のsparsityに対処しているの が効いている
- 23. Adaptation performance オンライン学習での比較 バッチ学習だとデータ集計が 必要で実用的ではない Tarはベースラインからの向 上が無い 観測できない素性をアップデート できない RAもグローバルモデルから の向上のカーブが鈍い 1つ前のiterationのモデルが 正則化項として入っているた め 提案手法はオンライン学習で も効果的
- 24. Conclusions パーソナライズのためのgeneral rankingmodel adaptation frameworkを提案 全体のランキングモデルの線形変換でパーソナライズ モデルを作る 適応効率だけではなく，性能でも従来手法を上回った future work feature grouping と線形変換を同時に推定 線形変換にユーザの興味をより反映させるuser-specific な素性を追加する
- 25. title list H.Wang et al. Personalized ranking model adaptation for web search F. Raiber et al. Ranking document clusters using markov random fields J. H. Paik, A novel TF-IDF weighting scheme for effective ranking S. Kamali et al. Retrieving Documents with mathematical content
- 26. Ranking Document Clusters UsingMarkov Random Fields 概要 クラスタランキングはクエリとクラスタを比較 する．いくつかの手法はクラスタ間やクラスタ とドキュメントの類似度等の情報を追加してい るが，様々なクラスタとクエリの関係を表す情 報を効率的に統合可能にする抜本的なフレーム ワークはまだない．そこでMRFを用いて様々な 情報を取り込むことが可能なクラスタランキン グ手法を提案している．
- 27. Dinit 初期のランキング d1 d2 d3 . . . クラスタリング c1 c2 c3 RetrievalFramework Cl(Dinit) c1 c3 c2 ランキン グ ドキュメントの重複あり クラスタとクエリの 類似度でランキング ドキュメント ランキング d2 d1 d3 d4 クラスタ間のドキュ メントの重複を削除
- 28. ランキン グ Dinit 初期のランキング d1 d2 d3 . . . クラスタリング c1 c2 c3 RetrievalFramework Cl(Dinit) c1 c3 c2 ドキュメントの重複あり クラスタとクエリの 類似度でランキング （研究対象） ドキュメント ランキング d2 d1 d3 d4 クラスタ間のドキュ メントの重複を削除
- 29. MRF によるクラスタランキング クエリに対するクラスタの関連度 をMRFでモデル化 分配関数Zの計算はランキング時には不要 クリーク集合L(G)に含まれる クリークlに対する素性関数
- 30. MRFの利点 ポテンシャルの計算の素性設計が自由になる 1. グラフGの構造（クリークの集合L(G)） 2.クリークの素性関数 クラスタ内のドキュメント とクエリの類似度を見る ドキュメントとクエリの類 似度の間の関係 類似度の最小値，最大値， 標準偏差 クエリ非依存の素性 クラスタの重要度等を見る PageRank, ストップワー ド比等
- 31. 評価 Dinit はMRFwith SDM，DocMRF，LMの3パターンで評価 SDM の free parameter 既存研究にある値を使用 train data を使った交差検定で決定 DocMRF: クエリ比依存のドキュメント素性を加えたSDM LM: Unigram language model クラスタリングにはNNを使用 各クラスタはk個のドキュメントを持つ(k={5,10,20}からCVで決定) 提案手法(ClustMRF)の free parameter もCVで学習 評価データ
- 32. ランキングの評価 init: MRF’s SDM TunedMRF:MRF’s SDM のパラメータをCVで決定 ClustMRF: パラメータはCVで決定
- 33.
- 34. 他のcluster-based methods との比較 Inter はクエリとドキュメントの類似度とクエリとクラスの類似度の線 形補完（State-of-the-art）
- 35. Dinit のアルゴリズムの比較 省略 DocMRFを使ってもLMを使ってもClustMRFが 良い結果
- 36.
- 37.
- 38. Diversifying search で評価 MRF, ClustMRF, Qclustの出力したランキン グをDiversification methodsの入力として使 用
- 39. CONCLUSIONS 新しいcluster ranking手法を提案 MRFを使うことで様々なタイプの情報を扱える 様々な実験で提案手法のパフォーマンスを評価 diversification methods のパフォーマンス向 上にも使える