Slides that I presented in IR reading fall My selected paper is Intra-Document Cascading: Learning to Select Passages for Neural Document Ranking

1. Intra-Document Cascading: Learning to Select Passages
for Neural Document Ranking
Sebastian Hofstätter, Bhaskar Mitra, Hamed Zamani, Nick Craswell, Allan
Hanbury
SIGIR 2021
論⽂紹介する⼈
筑波⼤学 加藤研究室
丸⽥敦貴
https://kasys.slis.tsukuba.ac.jp/member/atsuki-maruta/
IR Reading 2021 Fall
2021/10/30

2. どんな論⽂？ 2
• ニューラル⽂書ランキングモデルの計算量を削減
‒ 事前学習済みモデルを⽤いたニューラル⽂書ランキングモデルの
⾼い精度を維持しつつ、計算量を削減
⼊⼒
既存の
ランキング
モデル
BERTなど
4秒後
出⼒
提案⼿法
⼊⼒
C
A
B
A
B
C
1秒後
出⼒
C
A
B
1st
2nd
3rd
1st
2nd
3rd
⽂書集合
予測精度は維持

3. ディズニー
背景 3
• 事前学習済みモデルを⽤いたニューラル⽂書ランキングモデルが
⾼い性能を⽰している
‒ ⼤規模な事前学習済みモデル(BERTなど)をリランキングモデルに利⽤
⽂書集合
シンプル
ランキング
モデル
BM25など
⼊⼒ 出⼒
1st
2nd
・・・
100th
ランキングされた
⽂書集合
上位の⽂書
⼊⼒
リランキング
モデル
BERTなど
出⼒
1th
2th
・・・
10th
リランキングされた
⽂書集合
計算量が少なく
多くの⽂書に適⽤可
精度を⾼めるため
計算量の多いモデルを採⽤
10th
・・・
クエリ

4. • 事前学習済みモデル(BERT)を⽤いたニューラル⽂書ランキング
モデルは計算量が多い
‒ クエリを⼊⼒してからの待ち時間が⻑くなる
• ⽂書の⻑さに応じて計算量が変わる
‒ ⽂書中の全ての⽂章を評価するモデルでは、⽂書が⻑くなればなるほど
計算量が増える
問題と⽬的 4
ニューラル⽂書ランキングモデルの
⾼い性能を維持しつつ、計算量を削減する

5. • 既存のBERTを⽤いた⽂書ランキングモデルは⽂書中の全パッセージ
を評価
‒ 計算量が増え、⽂書の⻑さによって計算量が⼤きく変化
• クエリと適合する数パッセージのみを選択して、評価する
(パッセージの刈り込みを⾏う)
‒ 計算量を削減
‒ ⽂書の⻑さによって計算量が⼤きく変化しない
提案⼿法のアイデア 5
つくば 観光
クエリ こんにちは、丸⽥です。
最近道端に落ちてる100
円⽟拾ってラッキーと
思っていたらガムでした。
今⽇はつくば市の観光ス
ポットについて紹介し
ちゃいます！魅⼒あふれ
るつくば市を余すとこな
くお伝えできたらなと…
⽂書
こんにちは、丸⽥です。
最近道端に落ちてる100
円⽟拾ってラッキーと
思っていたらガムでした。
今⽇はつくば市の観光ス
ポットについて紹介し
ちゃいます！魅⼒あふれ
るつくば市を余すとこな
くお伝えできたらなと…
パッセージの選択
⼊⼒ ニューラル
⽂書ランキング
モデル

6. 提案⼿法 6
❶ パッセージ選択 : クエリとパッセージをESMに⼊⼒して、パッセージのランキングを作成、
上位k個のパッセージを選択
ESM : Conv-KNMR[1](既存⼿法で計算量が少ないランキングモデル)
❷ ⽂書スコア計算 : クエリと選択されたパッセージをETMに⼊⼒して、⽂書スコアを計算
ETM : 計算量の多いBERTを⽤いたランキングモデル[2]
[1] Zhuyun Dai, Chenyan Xiong, Jamie Callan, and Zhiyuan Liu. 2018. Convolutional Neural Networks for Soft-Matching N-Grams in Ad-hoc Search. In Proc. of WSDM.
[2] Rodrigo Nogueira and Kyunghyun Cho. 2019. Passage Re-ranking with BERT. arXiv preprint arXiv:1901.04085 (2019).

7. • データセット
‒ 学習データ : MSMARCO-passage collection
‒ 評価データ
• コレクション : 2019 TREC Deep Learning Track Document Collection
• クエリセット : 2019 TREC Deep Learning Track, MS MARCO Development set
• 評価指標 : nDCG@10, MRR@10, MAP@10
• ベースライン: BM25, TKL, PARADE(BERTを⽤いたモデル)[3]
Research Questions
実験設定 7
1. 提案⼿法は刈り込み無しのモデルと同等の性能を⽰すか？
2. 選択するパッセージの数によって計算量と予測精度にどのような影響を
与えるか？
3. 提案⼿法のクエリ待ち時間の分散はどうか？
[3] Canjia Li, Andrew Yates, Sean MacAvaney, Ben He, and Yingfei Sun. 2020. PARADE: Passage Representation Aggregation for Document
Reranking. arXiv preprint arXiv:2008.09093 (2020).

8. 1. 提案⼿法は刈り込み無しのモデルと同等の性能を⽰すか？
実験結果: RQ1 8
All-BERT(刈り込み無し)
シンプルな刈り込み
提案⼿法
提案⼿法は刈り込みを⽤いていない
BERTベースのモデルと同等の性能を⽰した

9. ２. ⽂書から選択するパッセージの数によって計算量と予測精度
にどのような影響を与えるか？
実験結果: RQ2 9
: 提案⼿法
(数字は選択パッセージ数)
: All-BERT
(刈り込み無しモデル)
: ベースライン
横軸 : 予測精度
縦軸 : 計算の速さ
左図: 4つパッセージを選択した時点でAll-BERTの性能を上回っている
右図: 6つパッセージを選択した時に最もAll-BERTの性能に近付いている
提案⼿法はAll-BERTよりも計算スピードが速く、同等の予測精度を⽰した

10. 3. 提案⼿法のクエリ待ち時間の分散はどうか？
実験結果: RQ3 10
横軸 : クエリ待ち時間
縦軸 : 処理できるクエリの割合
⾊付き線: 提案⼿法
⿊線: ALL-BERT(刈り込み無し)
①提案⼿法はクエリ待ち時間を⼤幅に減少させている
②ALL-BERTは処理できるクエリの割合が緩やかに上昇
→クエリによって処理時間が⼤きく異なる
→提案⼿法はクエリの処理時間のばらつきが少ない
①
② ②

11. • ニューラル⽂書検索モデルの計算量を削減するモデルを提案
‒ 検索に有効な数パッセージのみを⽂書スコアの計算に⽤いる(刈り込みを
⾏う)
• 実験からわかったこと
‒ 提案⼿法は刈り込みを⽤いていないモデルと同等の性能を⽰した
‒ 提案⼿法は刈り込みを⽤いていないモデルよりも
計算スピードが速く、同等の予測精度を⽰した
‒ 提案⼿法はクエリ待ち時間を⼤幅に減少させ、クエリによる処理時間のば
らつきも減らした
まとめ 11