SlideShare a Scribd company logo
1 of 11
Download to read offline
Intra-Document Cascading: Learning to Select Passages
for Neural Document Ranking
Sebastian Hofstätter, Bhaskar Mitra, Hamed Zamani, Nick Craswell, Allan
Hanbury
SIGIR 2021
論⽂紹介する⼈
筑波⼤学 加藤研究室
丸⽥敦貴
https://kasys.slis.tsukuba.ac.jp/member/atsuki-maruta/
IR Reading 2021 Fall
2021/10/30
どんな論⽂? 2
• ニューラル⽂書ランキングモデルの計算量を削減
‒ 事前学習済みモデルを⽤いたニューラル⽂書ランキングモデルの
⾼い精度を維持しつつ、計算量を削減
⼊⼒
既存の
ランキング
モデル
BERTなど
4秒後
出⼒
提案⼿法
⼊⼒
C
A
B
A
B
C
1秒後
出⼒
C
A
B
1st
2nd
3rd
1st
2nd
3rd
⽂書集合
予測精度は維持
ディズニー
背景 3
• 事前学習済みモデルを⽤いたニューラル⽂書ランキングモデルが
⾼い性能を⽰している
‒ ⼤規模な事前学習済みモデル(BERTなど)をリランキングモデルに利⽤
⽂書集合
シンプル
ランキング
モデル
BM25など
⼊⼒ 出⼒
1st
2nd
・・・
100th
ランキングされた
⽂書集合
上位の⽂書
⼊⼒
リランキング
モデル
BERTなど
出⼒
1th
2th
・・・
10th
リランキングされた
⽂書集合
計算量が少なく
多くの⽂書に適⽤可
精度を⾼めるため
計算量の多いモデルを採⽤
10th
・・・
クエリ
• 事前学習済みモデル(BERT)を⽤いたニューラル⽂書ランキング
モデルは計算量が多い
‒ クエリを⼊⼒してからの待ち時間が⻑くなる
• ⽂書の⻑さに応じて計算量が変わる
‒ ⽂書中の全ての⽂章を評価するモデルでは、⽂書が⻑くなればなるほど
計算量が増える
問題と⽬的 4
ニューラル⽂書ランキングモデルの
⾼い性能を維持しつつ、計算量を削減する
• 既存のBERTを⽤いた⽂書ランキングモデルは⽂書中の全パッセージ
を評価
‒ 計算量が増え、⽂書の⻑さによって計算量が⼤きく変化
• クエリと適合する数パッセージのみを選択して、評価する
(パッセージの刈り込みを⾏う)
‒ 計算量を削減
‒ ⽂書の⻑さによって計算量が⼤きく変化しない
提案⼿法のアイデア 5
つくば 観光
クエリ こんにちは、丸⽥です。
最近道端に落ちてる100
円⽟拾ってラッキーと
思っていたらガムでした。
今⽇はつくば市の観光ス
ポットについて紹介し
ちゃいます!魅⼒あふれ
るつくば市を余すとこな
くお伝えできたらなと…
⽂書
こんにちは、丸⽥です。
最近道端に落ちてる100
円⽟拾ってラッキーと
思っていたらガムでした。
今⽇はつくば市の観光ス
ポットについて紹介し
ちゃいます!魅⼒あふれ
るつくば市を余すとこな
くお伝えできたらなと…
パッセージの選択
⼊⼒ ニューラル
⽂書ランキング
モデル
提案⼿法 6
❶ パッセージ選択 : クエリとパッセージをESMに⼊⼒して、パッセージのランキングを作成、
上位k個のパッセージを選択
ESM : Conv-KNMR[1](既存⼿法で計算量が少ないランキングモデル)
❷ ⽂書スコア計算 : クエリと選択されたパッセージをETMに⼊⼒して、⽂書スコアを計算
ETM : 計算量の多いBERTを⽤いたランキングモデル[2]
[1] Zhuyun Dai, Chenyan Xiong, Jamie Callan, and Zhiyuan Liu. 2018. Convolutional Neural Networks for Soft-Matching N-Grams in Ad-hoc Search. In Proc. of WSDM.
[2] Rodrigo Nogueira and Kyunghyun Cho. 2019. Passage Re-ranking with BERT. arXiv preprint arXiv:1901.04085 (2019).
• データセット
‒ 学習データ : MSMARCO-passage collection
‒ 評価データ
• コレクション : 2019 TREC Deep Learning Track Document Collection
• クエリセット : 2019 TREC Deep Learning Track, MS MARCO Development set
• 評価指標 : nDCG@10, MRR@10, MAP@10
• ベースライン: BM25, TKL, PARADE(BERTを⽤いたモデル)[3]
Research Questions
実験設定 7
1. 提案⼿法は刈り込み無しのモデルと同等の性能を⽰すか?
2. 選択するパッセージの数によって計算量と予測精度にどのような影響を
与えるか?
3. 提案⼿法のクエリ待ち時間の分散はどうか?
[3] Canjia Li, Andrew Yates, Sean MacAvaney, Ben He, and Yingfei Sun. 2020. PARADE: Passage Representation Aggregation for Document
Reranking. arXiv preprint arXiv:2008.09093 (2020).
1. 提案⼿法は刈り込み無しのモデルと同等の性能を⽰すか?
実験結果: RQ1 8
All-BERT(刈り込み無し)
シンプルな刈り込み
提案⼿法
提案⼿法は刈り込みを⽤いていない
BERTベースのモデルと同等の性能を⽰した
2. ⽂書から選択するパッセージの数によって計算量と予測精度
にどのような影響を与えるか?
実験結果: RQ2 9
: 提案⼿法
(数字は選択パッセージ数)
: All-BERT
(刈り込み無しモデル)
: ベースライン
横軸 : 予測精度
縦軸 : 計算の速さ
左図: 4つパッセージを選択した時点でAll-BERTの性能を上回っている
右図: 6つパッセージを選択した時に最もAll-BERTの性能に近付いている
提案⼿法はAll-BERTよりも計算スピードが速く、同等の予測精度を⽰した
3. 提案⼿法のクエリ待ち時間の分散はどうか?
実験結果: RQ3 10
横軸 : クエリ待ち時間
縦軸 : 処理できるクエリの割合
⾊付き線: 提案⼿法
⿊線: ALL-BERT(刈り込み無し)
①提案⼿法はクエリ待ち時間を⼤幅に減少させている
②ALL-BERTは処理できるクエリの割合が緩やかに上昇
→クエリによって処理時間が⼤きく異なる
→提案⼿法はクエリの処理時間のばらつきが少ない
①
② ②
• ニューラル⽂書検索モデルの計算量を削減するモデルを提案
‒ 検索に有効な数パッセージのみを⽂書スコアの計算に⽤いる(刈り込みを
⾏う)
• 実験からわかったこと
‒ 提案⼿法は刈り込みを⽤いていないモデルと同等の性能を⽰した
‒ 提案⼿法は刈り込みを⽤いていないモデルよりも
計算スピードが速く、同等の予測精度を⽰した
‒ 提案⼿法はクエリ待ち時間を⼤幅に減少させ、クエリによる処理時間のば
らつきも減らした
まとめ 11

More Related Content

Featured

How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental Health
ThinkNow
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
Kurio // The Social Media Age(ncy)
 

Featured (20)

Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage Engineerings
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental Health
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
 
Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
 
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
 
12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work
 

IR Reading fall Atsuki Maruta

  • 1. Intra-Document Cascading: Learning to Select Passages for Neural Document Ranking Sebastian Hofstätter, Bhaskar Mitra, Hamed Zamani, Nick Craswell, Allan Hanbury SIGIR 2021 論⽂紹介する⼈ 筑波⼤学 加藤研究室 丸⽥敦貴 https://kasys.slis.tsukuba.ac.jp/member/atsuki-maruta/ IR Reading 2021 Fall 2021/10/30
  • 2. どんな論⽂? 2 • ニューラル⽂書ランキングモデルの計算量を削減 ‒ 事前学習済みモデルを⽤いたニューラル⽂書ランキングモデルの ⾼い精度を維持しつつ、計算量を削減 ⼊⼒ 既存の ランキング モデル BERTなど 4秒後 出⼒ 提案⼿法 ⼊⼒ C A B A B C 1秒後 出⼒ C A B 1st 2nd 3rd 1st 2nd 3rd ⽂書集合 予測精度は維持
  • 3. ディズニー 背景 3 • 事前学習済みモデルを⽤いたニューラル⽂書ランキングモデルが ⾼い性能を⽰している ‒ ⼤規模な事前学習済みモデル(BERTなど)をリランキングモデルに利⽤ ⽂書集合 シンプル ランキング モデル BM25など ⼊⼒ 出⼒ 1st 2nd ・・・ 100th ランキングされた ⽂書集合 上位の⽂書 ⼊⼒ リランキング モデル BERTなど 出⼒ 1th 2th ・・・ 10th リランキングされた ⽂書集合 計算量が少なく 多くの⽂書に適⽤可 精度を⾼めるため 計算量の多いモデルを採⽤ 10th ・・・ クエリ
  • 4. • 事前学習済みモデル(BERT)を⽤いたニューラル⽂書ランキング モデルは計算量が多い ‒ クエリを⼊⼒してからの待ち時間が⻑くなる • ⽂書の⻑さに応じて計算量が変わる ‒ ⽂書中の全ての⽂章を評価するモデルでは、⽂書が⻑くなればなるほど 計算量が増える 問題と⽬的 4 ニューラル⽂書ランキングモデルの ⾼い性能を維持しつつ、計算量を削減する
  • 5. • 既存のBERTを⽤いた⽂書ランキングモデルは⽂書中の全パッセージ を評価 ‒ 計算量が増え、⽂書の⻑さによって計算量が⼤きく変化 • クエリと適合する数パッセージのみを選択して、評価する (パッセージの刈り込みを⾏う) ‒ 計算量を削減 ‒ ⽂書の⻑さによって計算量が⼤きく変化しない 提案⼿法のアイデア 5 つくば 観光 クエリ こんにちは、丸⽥です。 最近道端に落ちてる100 円⽟拾ってラッキーと 思っていたらガムでした。 今⽇はつくば市の観光ス ポットについて紹介し ちゃいます!魅⼒あふれ るつくば市を余すとこな くお伝えできたらなと… ⽂書 こんにちは、丸⽥です。 最近道端に落ちてる100 円⽟拾ってラッキーと 思っていたらガムでした。 今⽇はつくば市の観光ス ポットについて紹介し ちゃいます!魅⼒あふれ るつくば市を余すとこな くお伝えできたらなと… パッセージの選択 ⼊⼒ ニューラル ⽂書ランキング モデル
  • 6. 提案⼿法 6 ❶ パッセージ選択 : クエリとパッセージをESMに⼊⼒して、パッセージのランキングを作成、 上位k個のパッセージを選択 ESM : Conv-KNMR[1](既存⼿法で計算量が少ないランキングモデル) ❷ ⽂書スコア計算 : クエリと選択されたパッセージをETMに⼊⼒して、⽂書スコアを計算 ETM : 計算量の多いBERTを⽤いたランキングモデル[2] [1] Zhuyun Dai, Chenyan Xiong, Jamie Callan, and Zhiyuan Liu. 2018. Convolutional Neural Networks for Soft-Matching N-Grams in Ad-hoc Search. In Proc. of WSDM. [2] Rodrigo Nogueira and Kyunghyun Cho. 2019. Passage Re-ranking with BERT. arXiv preprint arXiv:1901.04085 (2019).
  • 7. • データセット ‒ 学習データ : MSMARCO-passage collection ‒ 評価データ • コレクション : 2019 TREC Deep Learning Track Document Collection • クエリセット : 2019 TREC Deep Learning Track, MS MARCO Development set • 評価指標 : nDCG@10, MRR@10, MAP@10 • ベースライン: BM25, TKL, PARADE(BERTを⽤いたモデル)[3] Research Questions 実験設定 7 1. 提案⼿法は刈り込み無しのモデルと同等の性能を⽰すか? 2. 選択するパッセージの数によって計算量と予測精度にどのような影響を 与えるか? 3. 提案⼿法のクエリ待ち時間の分散はどうか? [3] Canjia Li, Andrew Yates, Sean MacAvaney, Ben He, and Yingfei Sun. 2020. PARADE: Passage Representation Aggregation for Document Reranking. arXiv preprint arXiv:2008.09093 (2020).
  • 8. 1. 提案⼿法は刈り込み無しのモデルと同等の性能を⽰すか? 実験結果: RQ1 8 All-BERT(刈り込み無し) シンプルな刈り込み 提案⼿法 提案⼿法は刈り込みを⽤いていない BERTベースのモデルと同等の性能を⽰した
  • 9. 2. ⽂書から選択するパッセージの数によって計算量と予測精度 にどのような影響を与えるか? 実験結果: RQ2 9 : 提案⼿法 (数字は選択パッセージ数) : All-BERT (刈り込み無しモデル) : ベースライン 横軸 : 予測精度 縦軸 : 計算の速さ 左図: 4つパッセージを選択した時点でAll-BERTの性能を上回っている 右図: 6つパッセージを選択した時に最もAll-BERTの性能に近付いている 提案⼿法はAll-BERTよりも計算スピードが速く、同等の予測精度を⽰した
  • 10. 3. 提案⼿法のクエリ待ち時間の分散はどうか? 実験結果: RQ3 10 横軸 : クエリ待ち時間 縦軸 : 処理できるクエリの割合 ⾊付き線: 提案⼿法 ⿊線: ALL-BERT(刈り込み無し) ①提案⼿法はクエリ待ち時間を⼤幅に減少させている ②ALL-BERTは処理できるクエリの割合が緩やかに上昇 →クエリによって処理時間が⼤きく異なる →提案⼿法はクエリの処理時間のばらつきが少ない ① ② ②
  • 11. • ニューラル⽂書検索モデルの計算量を削減するモデルを提案 ‒ 検索に有効な数パッセージのみを⽂書スコアの計算に⽤いる(刈り込みを ⾏う) • 実験からわかったこと ‒ 提案⼿法は刈り込みを⽤いていないモデルと同等の性能を⽰した ‒ 提案⼿法は刈り込みを⽤いていないモデルよりも 計算スピードが速く、同等の予測精度を⽰した ‒ 提案⼿法はクエリ待ち時間を⼤幅に減少させ、クエリによる処理時間のば らつきも減らした まとめ 11