WI2研究会 Vol.10発表資料20170708
•
0 likes•2,354 views
2017年7月7日（金）、 8日（土）に京都大学にて開催された「ARG 第10回Webインテリジェンスとインタラクション研究会」の発表資料です。
Recommended
More Related Content
Similar to WI2研究会 Vol.10発表資料20170708
Similar to WI2研究会 Vol.10発表資料20170708 (20)
More from Yusuke Yamamoto
More from Yusuke Yamamoto (20)
Recently uploaded
Recently uploaded (8)
WI2研究会 Vol.10発表資料20170708
- 1. 批判的情報検索を促進する クエリプライミング 山本 祐輔（静岡大学）, 山本 岳洋（京都大学） yamamoto@inf.shizuoka.ac.jp WI2研究会 Vol.10（2017.7.8）
- 2. 玉石混淆のウェブ情報 医療専門家のチェックを受けていいるいるるウるウウェウェェブェブブサブササイサイイト医療療専門家家家ののチチチェェェッッックククをををを受受受受受けけててていい 500%%%%%未%未未満満満* * E. Sillence et al., “Trust and Mistrust of Online Health Sites”, ACM CHI, pp.663-670, 2004 https://minnakenko.jp よりhttps://www.dermatol.or.jp/qa/ より 4 Less than 50%
- 4. 情報信頼性分析システム *2 Y. Yamamoto and K. Tanaka. Enhancing Credibility Judgment of Web Search Results. In Proceedings of the 29th ACM SIGCHI Conference on Human Factors in Computing Systems (CHI 2011), pages 1235–1244, 2011. *1 Yin, X., Han, J., & Philip, S. Y. (2008). Truth discovery with multiple conflicting information providers on the web. IEEE Transactions on Knowledge and Data Engineering, 20(6), 796-808. TruthFinder*1 あるオブジェクトに関する ファクトの信頼性をスコアリング CowSearch*2 信頼性判断に重要とされる様々な尺度で ウェブページの信頼性を可視化 *2 Y. Yamamoto and K. Tanaka. Enhancing Credibility Judgment of Web Search Results. InY.*2 Y Proceedings of the 29th ACM SIGCHI Conference on Human Factors in Computing Systems (CHI 2011), pages 1235–1244, 2011. *1 Yin, X., Han, J., & Philip, S. Y. (2008). Truth discovery with multiple conflicting information providers on the web. IEEE Transactions on Knowledge and Data Engineering, 20(6), 796-808. l 分析に必要なデータが入手できるドメインにしか適用できない l 分析結果は情報の正確さを保証しているわけではない 技術の限界 6
- 6. 57% ウェブ情報を信用している人は予想以上に多い 82% ウェブ情報の信頼性を疑った ことがない15〜35歳の日本人*1 *1 Adobe Inc., “The State of Content : Rules of Engagement”, 2015 *2 S.Nakamura et al., “Trustworthiness analysis of Web search results (ECDL 2007) 気にしない、 気にしない。 検索エンジンが返す結果ページの 信頼性を疑わない日本人*2 8
- 11. 糖尿病 症状 糖尿病 症状 比較 糖尿病 症状 統計 糖尿病 症状 分析 糖尿病 症状 調査 糖尿病 症状 研究 糖尿病 症状 検証 糖尿病 症状 根拠 糖尿病 症状 実証 糖尿病 症状 データ 糖尿病 症状 原理 提案：クエリプライミング 情報精査の促進効果が 期待される語（クエリプライム） 状 比較 状 統計 状 分析 状 調査 状 研究 状 検証 状 根拠 状 実証 状 データ 状 原理 プライミング効果に着目し、情報精査をする気にさせる 単語をクエリ補完・推薦に溶け込ませる 13
- 12. プライミング効果（as イデオモーター効果） 忘れっぽい はげ ごま塩 シワ プライム刺激 おじいさん 観念を想起 刺激を受けた人の 行動が変化 歩行速度がゆっくりに 先行する刺激（プライム）の処理が後の行動 を促進または抑制する効果 Bargh, J. A., Chen, M. and Burrows, L.: Automaticity of social behavior: Direct effects of trait construct and stereotype activation on action, Journal of personality and social psychology, 71(2), pp. 230-244 (1996). 14
- 13. クエリプライミングの狙い 糖尿病 症状 糖尿病 症状 比較 糖尿病 症状 統計 糖尿病 症状 分析 糖尿病 症状 調査 糖尿病 症状 研究 糖尿病 症状 検証 糖尿病 症状 根拠 糖尿病 症状 実証 糖尿病 症状 データ 糖尿病 症状 原理 検索者の 行動変化を誘発 批判的思考 態度* 喚起 発 批判的な情報精査 状 比較 状 統計 状 分析 状 調査 状 研究 状 検証 状 根拠 状 実証 状 データ 状 原理 * 楠見孝, 道田泰司ほか:「批判的思考:21世紀を生き抜 くリテラシーの基盤」, 新曜社 (2015) 刺激（プライム語） 15
- 14. 糖尿病 症状 糖尿病 症状 比較 糖尿病 症状 統計 糖尿病 症状 分析 糖尿病 症状 調査 糖尿病 症状 研究 糖尿病 症状 検証 糖尿病 症状 根拠 糖尿病 症状 実証 糖尿病 症状 データ 糖尿病 症状 原理 糖尿病 症状 糖尿病 症状 目 糖尿病 症状 看護 糖尿病 症状 数値 糖尿病 症状 女性 糖尿病 症状 眠気 糖尿病 症状 痩せる 糖尿病 症状 子供 糖尿病 症状 尿 糖尿病 症状 爪 糖尿病 症状 めまい 提案：クエリプライミング クエリプライミングを用いた クエリ補完 状 比較 状 統計 状 分析 状 調査 状 研究 状 検証 状 根拠 状 実証 状 データ 状 原理 通常のクエリ補完 プライミング効果に着目し、情報精査をする気にさせる 単語をクエリ補完・推薦に溶け込ませる 16
- 16. 今日の報告事項 1. クエリプライミングの設計 2. プライム語の収集 3. 評価実験 18
- 20. メディアリテラシーと批判的思考態度 * 楠見孝, 道田泰司ほか:「批判的思考:21世紀を生き抜 くリテラシーの基盤」, 新曜社 (2015) メディア リテラシー 態度的側面スキル的側面 批判的思考* l 論理的思考の自覚 l 探究心 l 客観性 l 証拠の重視 クエリプライミングで 喚起させる具体的態度 主観にとらわれることなく、客観的に 物事を捉え、適切な基準に基づき 判断しようとする思考 22
- 22. 検索行動を妨げずに必ずプライムに目に触れさせるには？ クエリ入力時→クエリ補完 検索結果表示後→クエリ推薦 検索クエリの関連語として提示しても違和感のない語を クエリ補完、クエリ推薦時に提示 24
- 27. プライム語収集タスク2 タスク説明文の例 「客観的な視点を持った人」が「ダイエットの方法」 についてウェブ検索をしているとします。「ダイエッ ト 方法」に続く検索キーワードとして、客観的な視点 を持った人が入力しそうなキーワードXを3つ考えてく ださい。 批判的思考態度を持った人物がウェブ検索中に 入力しそうなクエリ語をクラウドソーシングで収集 例えば「ダイエット 方法 画像」と入力したとすると、 キーワードXに該当するものは「画像」となります． 29
- 28. プライム語収集タスク2 タスク説明文の例 「客観的な視点を持った人」が「ダイエットの方法」 についてウェブ検索をしているとします。「ダイエッ ト 方法」に続く検索キーワードとして、客観的な視点 を持った人が入力しそうなキーワードXを3つ考えてく ださい。 例えば「ダイエット 方法 画像」と入力したとすると、 キーワードXに該当するものは「画像」となります． 批判的思考態度を持った人物がウェブ検索中に 入力しそうなクエリ語をクラウドソーシングで収集 ドとして ーワードド 考 てくド AND条件で使われそうな 単語を3つ挙げさせる 30
- 29. プライム語収集タスク2 タスク説明文の例 「客観的な視点を持った人」が「ダイエットの方法」 についてウェブ検索をしているとします。「ダイエッ ト 方法」に続く検索キーワードとして、客観的な視点 を持った人が入力しそうなキーワードXを3つ考えてく ださい。 例えば「ダイエット 方法 画像」と入力したとすると、 キーワードXに該当するものは「画像」となります． 批判的思考態度を持った人物がウェブ検索中に 入力しそうなクエリ語をクラウドソーシングで収集 を持った人 検索をして 検索キー 力しそうな が「ダイ いるとしま ードとして キーワードが入力 なキ ド を力しそうなキ ワ ド 態度と検索トピック（10種類）は ワーカーごとにランダムに割当 54名から317個のキーワードを収集31
- 30. プライム語絞り込みタスク タスク説明文の例 ある人物がトピックXについてウェブ検索していると きに「トピックX 比較」という検索ワードを使ったと します．この検索ワードから、検索中の人物は「客観 的な視点を持った人物」であると感じますか？ 5段階で評価してください（2：かなり感じる ～ -2： まったく感じない）。 なお、この人物はどんなトピックを調べる時も検索 ワードに「比較」という語を付け足すことが多い人物 と考えてください。 プライム候補語を含むクエリから 批判的思考態度を持つ人物を連想する度合いを評価 32
- 31. プライム語絞り込みタスク プライム候補語を含むクエリから 批判的思考態度を持つ人物を連想する度合いを評価 論理的思考の自覚 探究心 客観性 証拠の重視 仕組み 効果 ロジック … メリット 原因 調査 評判 レビュー… 最新 検証 俯瞰 分析 違い … 公平 慎重 統計 証明 根拠 … 裏付け 実績 評価 50ワーカー 評価 50ワーカー 評価 50ワーカー 評価 50ワーカー 33
- 32. 評価値の高かったプライム語候補TOP3 論理的思考の自覚 探究心 客観性 証拠の重視 原理（1.37） 証拠（1.22） 仕組み（1.22） 調査（1.37） 研究（1.33） 検証（1.31） 比較（1.22） 統計（1.24） 分析（0.98） 根拠（1.74） 実証（1.74） データ（1.56） 各態度の上位3件のうち、意味が重複しない 10つの語をクエリプライミングに用いる 34
- 34. クエリプライミングの狙いの再確認 糖尿病 症状 糖尿病 症状 比較 糖尿病 症状 統計 糖尿病 症状 分析 糖尿病 症状 調査 糖尿病 症状 研究 糖尿病 症状 検証 糖尿病 症状 根拠 糖尿病 症状 実証 糖尿病 症状 データ 糖尿病 症状 原理 クエリプライミング 批判的思考 態度 ページ閲覧数 検索・閲覧時間 話題のチェック数 批判的情報検索 in ウェブ検索態 度 喚 起 行 動 促 進 36
- 36. 実験用システム ×効果的なダイエット ×効果的なダイエット 効果的なダイエット 納豆 効果的なダイエット バナナ Web Search 効果的なダイエット 納豆 効果的なダイエット バナナ 低炭水化物ダイエット アトキンスダイエットの効果 XXXXXXのYYYY 評価のための制約 § クエリは検索トップ画面で1回のみ入力可（内容も指定） § 検索結果リストは検索トピックで固定 § 文書中のリンクは無効化 低炭水化物ダイエット アトキンスダイエットの効果 XXXXXXのYYYY 低 38
- 37. タスク構成 検索タスクは合計3種類（3 トピック） - 検索タスクごとに異なるシステム（3種類）を使用 - タスクで用いるシステム、検索トピックは被験者ごとにランダム化 タスクX by システムA タスクY by システムB タスクZ by システムC タスクZ by システムC タスクX by システムB タスクY by システムA 終了 終了… 被験者1 被験者2 … 39
- 38. 比較対象 ~ 3つの実験システム 糖尿病 症状 糖尿病 症状 比較 糖尿病 症状 統計 糖尿病 症状 分析 糖尿病 症状 調査 糖尿病 症状 研究 糖尿病 症状 検証 糖尿病 症状 根拠 糖尿病 症状 実証 糖尿病 症状 データ 糖尿病 症状 原理 糖尿病 症状 糖尿病 症状 目 糖尿病 症状 看護 糖尿病 症状 数値 糖尿病 症状 女性 糖尿病 症状 眠気 糖尿病 症状 痩せる 糖尿病 症状 子供 糖尿病 症状 尿 糖尿病 症状 爪 糖尿病 症状 めまい Proposed クエリプライム語を１0個提示 Conventional Googleのクエリ推薦語を１0個提示 糖尿病 症状 Plain 何も情報補完を行わない 40
- 39. 被験者、検索トピック、文書コーパス 被験者 143 名 on Lancers.jp 実験環境 オンライン 検索トピック うつ病 糖尿病の症状 結婚式の服装マナー 文書コーパス ClueWeb09-JA (文書ランキングにはBM25 + MRRを適用) 41
- 40. 分析指標 for 批判的情報検索 閲覧ページ数 タスク所要時間（セッション時間） 情報利得* * Umemoto, K., Yamamoto, T. and Tanaka, K.: Scent- Bar: A Query Suggestion Interface Visualizing the Amount of Missed Relevant Information for Intrinsically Diverse Search, Proc. of ACM SIGIR’16, pp. 405-414 (2016). 判断材料を増やすために、多くのページから情報を集めるようになるか？ 情報を慎重に見定めるために、検索にかける時間が長くなるか？ 俯瞰的に調べるために、多様な観点から情報を集めるようになるか？ （閲覧の視点に偏りがないようにしようとするか？） 42
- 41. 1タスクあたりのページ閲覧数、セッション時間 セッション時間（秒） クエリプライミングと他システム間で有意さは確認されず… 4.52 4.52 254.9 248.3 ページ閲覧数 Plain Conventional Proposed Plain Conventional Proposed 5.20 268.7 43
- 42. 1タスクあたりの情報利得 情 報 利 得 0.143 0.149 クエリプライミングを用いた場合、 他システムと比べ情報利得が多い傾向 (p=0.1) タスクに関して多様なトピックを閲覧 p<0.1 p<0.1 Plain Conventional Proposed 0.171 44
- 43. 結果の考察～クエリプライミング（QP）は効果があったのか？ QPは検索行動を変容させる可能性あり l 情報利得の向上 より多様なトピックを閲覧 ？ l 批判的情報検索への寄与を適切に調べるために、実験の再設計が必要 期待よりも低かったQP効果 l プライム刺激との接触機会の頻度 l 実験設計、評価尺度の妥当性 l 個人差の影響 46
- 44. 考察1：プライム刺激との接触機会と提示効果の関係 糖尿病の症状 糖尿病の症状 比較 糖尿病の症状 根拠 糖尿病の症状 データ 効果発現に必要な認知処理が十分に行われていない? l ユーザは指定された初期クエリを受動的に入力 l 今回の実験ではプライム刺激の目視機会が22回しかない 47
- 45. 考察1：プライム刺激との接触機会と提示効果の関係 効果発現に必要な認知処理が十分に行われていない? クエリ修正を許可し、 自由にページを閲覧する l ユーザは指定された初期クエリを受動的に入力 l 今回の実験ではプライム刺激の目視機会が22回しかない 糖尿病の症状 糖尿病の症状 比較 糖尿病の症状 根拠 糖尿病の症状 データ 自由に クエリ入力 改善案 改善案 48
- 47. 考察：評価尺度、実験設定の妥当性 批判的情報検索 ページ 閲覧数 タスク 所要時間 情報利得 証拠の確認 の有無 確認した主張 の多様性 論理的思考 の自覚 探究心 客観性証拠の重視 批判的情報検索を評価するための 妥当な指標・タスクの再検討が必要 ？？ for 説が複数ある検索課題etc.. 50
- 48. 考察：客観視の心がけと情報利得の関係 p<0.01 1 タ ス ク で 得 た 情 報 利 得 客観視を心がけていない被験者 心がけている被験者 Plainシステム Conventional Proposed 0.150 0.129 0.137 0.165 客観視スコア*が低い被験者は、情報利得に対して クエリプライミングと通常のクエリ推薦・補完間で効果に差があり * 平山るみ, 楠見孝:「批判的思考態度が結論導出プロセスに及ぼす影響：証拠評価と結論生成課題を用いての検討」，教育心理学研究 (2004). 0.177 0.167 51