R. W. White, Beliefs and Biases in Web Search, SIGIR 2013の論文紹介

1. 加藤 誠 (京都大学) が
愛したSIGIR Paper
Beliefs and Biases in Web
Search
R. W. White, SIGIR 2013

2. • 検索ユーザのBeliefsは検索後にどう変わるか，
検索結果の選択，提示にBiasはあるか
– Bias: 正しくない情報を優先的に選択すること
Beliefs and Biases in Web Searchが教えてくれたこ
と
水をたくさん飲む
と体に良い
Belief
時間経過
検索エンジン
水分 健康 大量の水が体に良い
大量の水は良くない
クエリ 検索結果
？

3. 水をたくさん飲む
と体に良い
Belief
時間経過
検索エンジン
水分 健康 大量の水が体に良い
大量の水は良くない
クエリ 検索結果
？
• 検索ユーザのBeliefsは検索後にどう変わるか，
検索結果の選択，提示にBiasはあるか
– Bias: 正しくない情報を優先的に選択すること
Beliefs and Biases in Web Searchが教えてくれたこ
と
RQ1. Beliefが
どう変わるのか

4. • 200人に過去2回のYes-No質問に関する検索を
思い出してもらいYes-Noが変化したか調査
A) 検索でBeliefの変化は小(Yes-YesとNo-Noが
多)
B) 検索前がEqualのとき検索後にYesはNoの4倍
RQ1. Beliefがどう変わるのか
Yes Equal No
Yes 77.1 8.6 8.6 2.9 2.9
35.1 40.5 9.5 2.7 12.2
Equal 23.1 12.8 43.6 15.4 5.1
16.1 9.7 19.4 19.4 35.5
No 11.1 11.1 77.8
検索後のBeliefs
検索前のBeliefs
A
A
BB

5. • 検索ユーザのBeliefsは検索後にどう変わるか，
検索結果の選択，提示にBiasはあるか
– Bias: 正しくない情報を優先的に選択すること
Beliefs and Biases in Web Searchが教えてくれたこ
と
運動中の
水分は不要
Belief
時間経過
検索エンジン
運動 水分 不要 運動中は水分不要
運動中は水分必要
クエリ 検索結果
？
RQ2. 検索エンジンに
Biasはあるか

6. • 医療系質問に関するクエリで得られる検索結
果中でYesまたはNoと言っている割合を調査
A) Yesと言う検索結果の方がNoよりも3倍多い
– 医師に協力してもらい，これら医療系質問への
回答はYes:No = 55:45であることがわかってい
る
→事実との大きな乖離
B) Yesの方がNoより上位に順位付けされる
ケースがその逆より2倍多い
RQ2. 検索エンジンにBiasはあるか
大量の水は体に良くない
大量の水が体に良いYes 検索結果
No 検索結果

7. 水をたくさん飲む
と体に良い
Belief
時間経過
検索エンジン
水分 健康 大量の水が体に良い
大量の水は良くない
クエリ 検索結果
？
• 検索ユーザのBeliefsは検索後にどう変わるか，
検索結果の選択，提示にBiasはあるか
– Bias: 正しくない情報を優先的に選択すること
Beliefs and Biases in Web Searchが教えてくれたこ
と
RQ3. 検索行動に
Biasがあるか

8. • 検索エンジンログから医療系質問に対しYes
またはNoと言っている結果のクリックを調査
A) Yesと言っている検索結果をNoと言ってい
る結果よりも3~4倍ほど高い確率でクリック
B) Noの検索結果をスキップしてYesの検索結
果をクリックする確率がその逆より4倍多い
RQ3. 検索行動にBiasがあるか
大量の水が体に良い
Yes 検索結果
大量の水は体に良くない
No 検索結果
大量の水は体に良くない
大量の水が体に良い
スキップ
＞
Yes 検索結果
No 検索結果

9. • 検索エンジンは医学的に間違った結果を提示
– 上位1件目の正解率は45% 半分以下！
– 加えて「Yes」と言うページを上位にしやすい
• ユーザは医学的に間違った結果を選択
– 正解率は50%程度 半分程度！
– 加えてBeliefを変えず，
「Yes」と言うページを良く選択しやすい
• 少なくとも検索エンジンは反省すべし
– ユーザデータのランキングへの過度な利用
– Yesを上位にランク付けしやすいマッチング方法
Beliefs and Biases in Web Searchが訴える問題

10. • 情報検索には次の大きな課題が必要
• ユーザスタディはその突破口の1つ
– 潜在的な問題を徹底した分析で即座に解明する
Ryen W. Whiteのセンスと努力はすさまじい
• どう影響されたか？
– 2013年からユーザ
スタディの研究を開始
なぜ愛し，どう影響されたか？
Search is over
2010 2011 2012 2013 2014 2015 2016
Algorithm User Study

11. • 加藤 誠 (京都大学) が愛したSIGIR Paper
Beliefs and Biases in Web Search
R. W. White, SIGIR 2013 (Best paper)
• 検索エンジンは医学的に間違った結果を提示
• ユーザは医学的に間違った結果を選択
→少なくとも検索エンジンは反省すべし
• Ryen W. WhiteはSIGIR 2017のPC co-chair
（例年よりBest paperが取りやすいらしい）
まとめ