「第11回データ工学と情報マネジメントに関するフォーラム」（DEIM2019）にて発表した資料です。

1. 「文章表現の曖昧さ指摘による
情報精査の態度・行動促進」
齊藤 史明 山本 祐輔
静岡大学 情報学部
saito@design.inf.shizuoka.ac.jp 2019年3月5日
1
DEIM2019 C2-2

2. 背景：１
ネット上に存在する信憑性の低い情報
様々なパターンが存在
⚫そもそも嘘である
⚫情報が古い
⚫専門性が無い人が発信している
⚫曖昧な表現を用いて正確さが不足している
2
……

3. Wikipediaに実際に存在していた曖昧な表現の例
⚫「このデマを流したのは自分達の影響力を
誇示したい○○社とメディア、広告業界
であると言われている。」
⚫「～が定説だが、異論も一部にある。」
3
画像参照：https://ja.wikipedia.org/wiki/ウィキペディアのロゴ

4. 背景：２
4
ウェブ上のニュース記事には
曖昧な表現が使われているものが多い
検索ワード「囁かれ」
検索結果:６２６件
検索ワード「ネット上」
検索結果:５７８４件

5. 曖昧な表現のタイプ
情報の提供者が分からない表現
⚫「某関係者は～」
⚫「～と囁かれている」
5
主観が含まれている・
実態が分からない表現
⚫「～という意見が殺到する」
⚫「物議を醸す」
誰が言ったんだ？
事実なのか？
実態はどうだ？
書き手の意図は何だ？

6. 提案システム
6
ウェブ上の曖昧な文を
自動識別しハイライト表示する
ユーザに閲覧中の文章や関連文書の
信憑性について注意を促す

7. 発言や情報の信憑性を自動分類する
⚫ファクトチェックを行うサイトのデータから機械学習
⚫特徴量は話者・話題について
正解・不正解データを用意できる
ドメインにしか対応できない
関連研究
「“Liar Liar Pants on Fire”:A New Benchmark
Dataset for Fake News Detection 」
7
William Yang Wang(2017)"“Liar Liar Pants on Fire”:A New Benchmark Dataset for Fake News
Detection"，Proceedings of the 55th Annual Meeting of the Association for Computational
Linguistics(Volume 2: Short Papers)，p422-426，ACL．

8. 提案システム
8
ウェブ上の曖昧な文を
自動識別しハイライト表示する
ユーザに閲覧中の文章や関連文書の
信憑性について注意を促す

9. ⚫曖昧な文の識別システムの作成
⚫ハイライト表示の効果の測定
9

10. 曖昧な文の判別
機械学習にて曖昧文の検出器を作成
⚫SVM*を利用
⚫１文を入力とし曖昧かどうかを2値で判断
⚫「曖昧な文」とは5W1Hの「誰が」について
明確でない文と定義
10
*Vladimir vapnik (1995)”Support-Vector Networks"，Machine
LeaningVolume 20 Issue 3，pp.273-297 ，Kluwer Academic Publishers．

11. 教師データ：１
Wikipediaの記述ルールを利用
曖昧な表現には注釈が付けられる
例1:誰が言ったのか？
例2:「異論」とは誰の意見？
11

12. 教師データ：２
正解データ
Wikipediaで、
の注釈が付いている文
12
不正解データ
の注釈が付いている文が
存在している記事中の、注釈の付いていない文
データ数は4472件(正解2236件、不正解2236件)

13. 特徴量
⚫Bag-of-Words:名詞・動詞・形容詞の各単語の有無
⚫Wikipediaの「言葉を濁した表現の典型例」
全27例それぞれの有無
–「……であると言われている」
–「……という指摘・批判もある」
–「某……によると」
–「専門家・歴史家は……と論じている」
など
13

14. 学習器の性能：１
5分割交差検定にて性能を評価
14
評価指標 Accuracy Precision Recall F1
SVM(RBF) 0.764 0.772 0.748 0.760

15. 良い検出例
⚫（中略）目先の金儲けのためだけに
やっていることが増え、批判されるように
なっている。
⚫～が応仁の乱の一因となったともされる。
⚫（前略）土日という最も需要が見込まれる
時期にストライキを設定したことに
疑問を持つ専門家もいた。
15

16. 改善点：１
16
幅広い分野から文を取得するため
編集履歴から過去の編集データを取得する
トピックによって注釈の付きやすさが違う
正解データの文のトピックが偏っている可能性
正解データの改善点

17. 改善点：２
17
特徴量の改善点
⚫Bag-of-Wordsが単純
⚫周辺の文や語順を考慮した特徴量が必要

18. ⚫曖昧な文の識別システムの作成
⚫ハイライト表示の効果の測定
18

19. 仮説１
19
情報精査の行動が促進される
もうちょっと
調べてみよう
長く・多くのウェブページを閲覧するようになる

20. 仮説２
20
情報精査の態度が促進される
文章表現以外の要素にも気を付けるようになる
文章が怪しいなら
他にも
注意しないと

21. 仮説３
21
ハイライト表示の効果は
意思決定の信念の強さによって変化する
自信が無いし
ハイライト表示も
あるし
もっと調べないと
自信があったけど
このページ
ハイライトされてるぞ
大丈夫か？
自信によって行動・態度の変化に差がある

22. タスク
22
問いについて回答を出すために、
ウェブ検索結果を模したページから
情報探索をしてもらう
問いは医療・健康関連
⚫「シナモンは糖尿病に
有効でしょうか？」
⚫「ビタミンCは肺炎に
有効でしょうか？」

23. 被験者
被験者をクラウドソーシングで募り
ランダムに２群に振り分け
⚫Proposed群（46人）
–曖昧な文にハイライト表示がされる
–ハイライト表示箇所は人間が決定
–タスク開始前にハイライト表示の説明がされる
⚫Controlled群（50人）
–ハイライト表示を行わない
23

24. 測定項目
情報探索のログ
⚫検索結果一覧ページの閲覧時間
⚫記事ページの閲覧時間
⚫記事ページの閲覧件数
24

25. 実験結果：１
25
ハイライト表示による
閲覧時間の減少傾向が見られた
タスク・UI別 検索結果ページの閲覧時間
Task1
Task2

26. 実験結果：２
タスク・UI別 記事ページの平均閲覧時間
26
Task1
Task2
ハイライト表示による
平均閲覧時間の減少傾向が見られた

27. 考察
仮説１・２については否定（真逆の結果に）
Proposed群はハイライトの有無を
記事を読み続けるかどうかの目安として
利用した事が考えられる。
27
ハイライトが多い
記事は信頼できないから
読まない！
これで大丈夫！

28. 実験結果：３
28
回答に自信がない被験者は、
ハイライト表示をすることで
多くのウェブサイトを訪問する傾向にあった。
自信・UI・タスク別記事ページ閲覧件数
自信あり
自信なし
自信なし
自信あり
Task1 Task2

29. まとめ
⚫曖昧な文をハイライトするシステムの作成
–曖昧な文を判別する学習器はおおむね良い性能だったが
改善の必要あり
⚫ハイライトの効果を測定するユーザ実験
–ハイライト表示の有無を目安に情報探索を行った
–回答への自信による行動の変化が見られた
⚫今後の展望
–学習器の改善
–学習器を利用したWikipedia上の曖昧な文の調査
–追加実験
29