• Share
  • Email
  • Embed
  • Like
  • Save
  • Private Content
[WWW Conference 2011]Information Credibility on Twitter
 

[WWW Conference 2011]Information Credibility on Twitter

on

  • 1,400 views

Created by Kshi_Kshi

Created by Kshi_Kshi
Twitter: @Kshi_Kshi
Hatena_id:Kshi_Kshi_Research

Statistics

Views

Total Views
1,400
Views on SlideShare
1,237
Embed Views
163

Actions

Likes
0
Downloads
19
Comments
0

2 Embeds 163

http://d.hatena.ne.jp 162
http://webcache.googleusercontent.com 1

Accessibility

Categories

Upload Details

Uploaded via as Microsoft PowerPoint

Usage Rights

© All Rights Reserved

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Processing…
Post Comment
Edit your comment

    [WWW Conference 2011]Information Credibility on Twitter [WWW Conference 2011]Information Credibility on Twitter Presentation Transcript

    • Information Credibility on Twitter
      Twitter: @Kshi_Kshi
      Hatena_id: Kshi_Kshi_Research
      1
    • 序論
      - 論文 Information
      - 論文 Overview
      - 選定理由
      2
    • 論文 information
      Title: Information Credibility on Twitter
      ( Twitter上での情報の信用性 )
      Author:
       World Wide Web (WWW), ACM Press, 2011 
      Barbara Poblete
      @bpoblete
      http://research.yahoo.com/Barbara_Poblete
      Carlos Castill
      @chatox
      http://research.yahoo.com/Carlos_Castillo
      Marcelo Mendoza
      ???
      http://research.yahoo.com/Marcelo_Mendoza
      research by
      3
    • 論文 Overview
      目的
      ツイートに信用性があるかどうかを、ソーシャルメディア上の情報のみから、自動的に判断できるかどうか?の試みによって、
      仮説:「ソーシャルメディアの中にはツイートの信用性を評価できる特徴があること」を示す。
      手法
      - “Twitter Monitor”を用いて、盛り上がっている話題(ツイートの集合)を取得
      - NEWS(報道価値のある情報)とCHAT(友達間の会話)を分類する分類器を作成
      - 情報の信用性を判断するために、分類器を作成
      - 分類器の最適な特徴(Feature)について考察する
      結果
      - F値 92.4%の精度でNEWSクラスに分類できた。
      - F値 86 %の精度で信用できるか否かに分類することができた。
      - 情報の信用性と相関が高いor低い特徴(Feature)などが明らかになった。
      論文のポイント
      分類器を作成する時に、ソーシャルメディアのどのような情報を利用するのか?
      4
    • 選定理由
      Twitterの可能性
      ・Twitterの情報伝達スピードの速さは既存のメディアでは考えられないほど早い
      ・利用者の今の声を即時に反映させるサービスは工学的にも利用できるはず(参考に)
      研究の参考に
      ・信頼性という不確かなもの、どのようにして計算機で扱うのか?
      ・ユーザの感情をテキスト情報から察する技術
      5
    • 論文紹介 はじめ
      - Twitter(研究背景)
      - 着目している問題点
      - 目的
      - 提案手法 概要図
      <附録>
      - Twitter 基本用語①
      - Twitter 基本用語②
      6
    • 140文字以内の短い投稿(ツイート)を投稿し て、
      みんなで共有するサービスです。
      今回の災害時には、大活躍!
      電話がつながらない中、安定してサービスを供給し、Twitterの特徴の即時性・手軽さの甲斐もあり、多くの人の情報源として貢献。
      http://twitter.com
      地方自治体もアカウントを開設し、
      情報を提供している
      ・首相官邸(災害情報)@Kantei_Saigai
        ・ 総務省消防庁 @FDMA_JAPAN
      ・岩手県広聴広報課 @pref_iwate
      etc…
      しかし、
      7
    • 嘘情報も同時に拡散してしまう
      デマの拡散 ex) “放射能対策:うがい薬、効果あり”
      “うがい薬” and “放射能”を含む
      Tweet数、時系列(2011/03/12)
      8
      http://getnews.jp/archives/107722
    • 目的
      ・以下の仮説を明らかにする。
      ソーシャルメディアの中には、
      ユーザが情報の信頼性の評価に利用できる
      シグナル(要素)がある
      ex) ツイートの傾向(リプライ・リツイート・被リツイート頻度…),ユーザ情報(フォロワーの数,…),Other Info(付加したURL先の情報,…), etc…
      ・ソーシャルメディアの情報のみから、ツイートの信用性について、自動的に評価できるかどうか?の試み。
      9
    • 提案手法 概要図
      学習フェーズ
      分類器A※を作成
      (NEWS or CHAT )
      1
      Tweet 集合
      Trend Topicを取得
      学習フェーズ
      分類器B※ を作成
      (情報の信頼性の有無)
      分類器Aの適用
      NEWS
      UNSURE
      分類器Bの適用
      CHAT
      TRUE
      FALSE
      or
      2
      Tweet の分類(NEWS or CHAT)
      3
      情報の信用性を評価
      ※ Mechanical Turk にてラベル付けを行った後
      10
    • ① Trend Topic の取得
      -Twitter Monitorの利用
      - データセット概要
      <付録>
      - What is “Twitter Monitor” ?
      11
    • Twitter Monitorの利用
      ・Twitter上のツイートを解析
      (一定期間でのキーワードの頻出確率や、ツイートに付加されたURLなど…)
      ・流行のトピックとしてツイートをまとめてくれるもの
      [18] M. Mathioudakis and N. Koudas. TwitterMonitor: trend detection over the twitter stream. In Proceedings of the 2010 international conference on Management of data,pages 1155–1158. ACM, 2010.
      http://mydailymonitor.net/
      12
    • Trend Topicデータセット 概要
      ・期間: 2カ月
      ・1トピックの取得期間: 書き込まれた頻度がピークだった時間を中心に2日間のツイートを取得
      ・取得数: 2500トピック以上
      ・データセット対象:
      1トピックが10,000ツイート以下のトピック
      (取得した全体の99%に相当する)
      ピーク
      2日間
      図 :Google リアルタイム検索 Query: ”もう帰るんですか”
      図 :1トピックに含まれるツイート数
      13
    • ② Tweet の分類
      (学習データの作成方法は発表時間の都合上,割愛させていただきます)
      - ”NEWS” or “CHAT”の定義
      - 分類器作成に使う特徴(Feature)
      - 具体的な特徴(Feature)リスト
      - 分類器Aの作成・結果
      <付録>
      - Mechanical Turk とは?
      - 学習データ(評価者の作業)
      - 学習データ 方法・結果
      14
    • “NEWS” or “CHAT”の定義
      “NEWS”クラス:
      投稿者の友達だけではなく、世間の関心を引くような実際の出来事・事実についての声明
      “CHAT”クラス:
      友達間での個人的な意見・会話・やり取りを基本とした単なるメッセージ。
      15
    • 分類器作成に使う特徴(Feature)
      先行研究を手掛かりに属性をリストアップ。[1,2,12,26]
      Message-based(メッセージの特徴)
      ツイートの長さ。RT, @reply
      以下の文字を含んでいるかどうか?”?”,”!”,”^^”,”(*- -)”
      Positive or Negative, etc…
      User-based(ユーザの特徴)
      年齢,ツイート数,フォロー数,フォロワー数,プロフィールの有無,URLの有無。
      Propagation-based (拡散(RT)の特徴)
      拡散の深さ(RT),平均深さと最大深さ, etc…
      Topic-based(トピックの特徴)
      含まれているURLのドメインは有名(popular)なURLなのか?リツイートの頻度,ポストしたユーザの平均年齢, etc…
      16
    • 具体的な特徴(Feature)リスト
      17
    • 分類器Aの作成アルゴリズム・結果
      ・Algorithm: “J48 tree” (C4.5決定木を拡張した)
      採択理由: (SVM, ベイジアンネットワーク, decision trees, decision rulesなどの様々なアルゴリズムで試した結果、精度が一番良かったため。)
      結果
      適合率・再現率(F値 92.4%) 共にいい精度が得られた。
      18
    • ③ 情報の信用性の評価
      (学習データの作成方法は発表時間の都合上,割愛させていただきます)
      - 分類器作成時の特徴の選択
      - 分類器Bの作成
      - 分類器Bの結果
      - 特徴と信用性との関係
      <付録>
      - 学習データ(評価者の作業)
      - 学習データ作成 方法・結果
      19
    • 分類器作成時の特徴(Feature)をどうするのか?
      最良優先探索(best-first)アルゴリズムにて
      15の特徴(Feature)を選択
      標準偏差
      中央値
      ユーザ
      平均年齢
      平均ツイート数
      平均フォロワー数
      平均フォローされている数
      URLを含む頻度
      平均感情スコア
      POSITIVE感情頻度
      NEGATIVE感情頻度
      短縮URL数
      著者が書いた発言の割合
      リプライ頻度
      ?マーク頻度
      スマイルマーク頻度
      一人称を用いる頻度
      RT最大深さ
      トピック
      拡散
      20
    • 分類器Bの作成
      21
      ・Mechanical Turkで
      作成した学習データ
      ・前述の15の特徴
      を用いて、
      J48 treeアルゴリズム
      で決定木を作成した。
      A: TRUE
      B: FALSE
    • 分類器Bの結果
      22
      学習データ計 747 topics
      テストデータ計 608 topics
      判定結果
      TRUE 306 topics
      FALSE 302 topics
      結果
      適合率・再現率(F値: 86.0%)ともに高精度な結果が得られた
    • 特徴(Feature)と信用性との関係
      23
      Non-Credibility
      Credibility
      ・多くリツイート(RT)されているツイート
      ・フォローされている数の多さ
      ・Negativeニュアンスをもつトピック
      etc…
      ・URL無ツイート
      ・ツイート数が未熟なユーザ
      ・Positiveニュアンスの頻度が低い
      etc…
      フォローされている数が多いユーザは、信用できるとされるツイートが多かった。
      彼らはとても影響力のあるユーザなので、
      自然とTwitterのソーシャルフィルターになっている。
    • 最後に
      - まとめ
      -今後の研究
      - 私見
      24
    • まとめ
      ツイッター上の流行のトピックに関して
      ・”報道価値のあるもの”(NEWS)と”友達間の会話”(CHAT)クラスに高精度で分類することができた。(F値:92.4%)
      ・情報の信用性の有無をソーシャルメディアに有る情報のみを利用して、高精度で判断することができた。(F値:86.0%)
      この高精度の結果から
      ”ソーシャルメディア上の情報のみから、信頼性を評価できる要素がある”
      という仮説を明らかにできたといえる。
      また、その評価を可能とした特徴(Feature)と情報の信用性との関係について様々なことがわかった。
      25
    • 今後の研究
      データセット:
      ・大きなもの
      ・局所的なデータ(トピックの一番最初のツイートなど)
      属性:
      ・情報の信用性に深く関連する特徴(Feature)探し。
      ・表示させているアバターなどはどのような影響をもたらすのか?
      26
    • 私見
      Positive
      ・精度の高さ、素晴らしい。
      ・特徴(Feature)のための分析が豊富だった。
      ・結局、影響力のあるユーザ(例: 孫正義)がリツイートしたら、このシステムでは、そのツイートの情報は正しと判断されてしまうと思う。
      ・このシステムは影響力のあるユーザの判断に依存してしまうのではないか?
      人間でさえ判断ができない情報に対して、計算機が分類するのには無理があるのかもしれない。
      27
    • ご清聴ありがとうございました
      Thank you for listening.
      Let’s move on a question and answer session.
      28
    • 付録
      - Twitter 基本用語集①
      - Twitter 基本用語集②
      - What is “Twitter Monitor” ?
      - What is “Mechanical Turk” ?
      - 学習データの作成方法
      (分類器A,B)
      29
    • Twitter 基本用語集①(本論文の理解に必要と思われる)
      Example Community
      @A_san
      @C_san
      @B_san
      Tweet(ツイート):
      各ユーザが行う140文字以内の投稿
      Timeline/TL (タイムライン):
      Twitterのページで他のユーザーや自分の投稿が表示される部分のことを示す言葉。
      Follow(フォロー):
      あるユーザをフォローすると,自分のタイムラインに表示されるようになる。
      Ex)
      @A_sanは@C_sanのみをフォローしているので、
      @A_sanのタイムラインには @A_sanと @C_sanのTweetが表示される。
      Followers(フォロワー):
      フォローしているユーザをさす。
      Ex)
      @A_sanのフォロワーは @B_san, @C_san, @D_sanの3人。
      @C_sanのフォロワーは@A_sanの1人。
      @D_san
      : follow
      30
    • Twitter 基本用語集②(本論文の理解に必要と思われる)
      Example Community
      Mention/reply(リプライ):
      ツイートの先頭に, ”@ユーザ名” をつけて,発言を行う行為。そのユーザに対して発言することを意味する。両者をフォローしていないと他のユーザのTLには表示されない。
      Ex)
      @A_sanが@C_sanにMentionを行った場合、@B_sanのTLには、その発言が表示されないが、両者をフォローしている@D_sanには表示される。
      Retweet / RT(リツイート):
      返信(Reply)の場合その相手もフォローしていないとタイムラインに流れない仕様だが、多くの人に報知したい時など、他のユーザの発言を自分のフォロワーに共有したい場合に用いる。(公式RT,非公式RTがある)
      Ex)
      @A_sanがリツイートすると、@A_sanをフォローしている@B_san,@C_san,@D_sanのタイムラインに表示される。
      @A_san
      @C_san
      @B_san
      @D_san
      : follow
      Hash tag(ハッシュタグ):
        ツイートに記号 # から始まる識別子をつけると一つのテーマに沿った投稿を横断的に見ることができるようになる。ユーザ達のツイートを一つのテーマにまとめて観覧することができる。
      Ex)
      まだまだ、ありますが、実際にアカウントを作って、
      体験するのが近道かと。 ->
      http://twitter.com
      31
    • What is “Twitter Monitor”※?※ 現在はmyDailyMonitorという名前で公開されてます
      About
      myDailyMonitor is an online monitoring system that performs trend detection over the Twitter stream. The system identifies emerging topics (i.e. 'trends') on Twitter and provides meaningful analytics that synthesize an accurate description of each topic.myDailyMonitor is currently under development as a research project at the University of Toronto.
      System
      myDailyMonitor is written in Java and it runs on two Sun server machines. Its main components include (i) the Twitter streamlistener, a multi-threaded crawler that collects in real time over 15 million tweets per day, (ii) the trend detection module, which distills the collected data to identify trends and (iii) the trend analysis module, which employs text analysis algorithms to extract additional information about trends.
      http://mydailymonitor.net/
      32
    • Mechanical Turk とは?
      33
      Amazon Mechanical Turkとは、今まではソフトウェアに実行させていた処理の中でも、人間の方が得意であると思われる作業を、開発者がウェブ上に掲示することによって行ってもらうという市場形式のことである。
      http://www.sophia-it.com/content/Amazon+Mechanical+Turk
      詳しくはコチラ↓
      https://www.mturk.com/mturk/welcome
    • 学習データ作成(評価者の作業)
      評価者には以下のような作業が求められる。
      ①それぞれに属するtopicの10ツイートとTwitter Monitor で表示される各々のtopicを代表するキーワードを見せる。
      ② そのトピックに属しているツイートが、
      ・現在,広がっている特定の出来事についての情報なのか?(NEWS)
      ・コメントや会話なのか?(CHAT)
      尋ねる?
      ③ 各々のトピックで、そのトピックについて評価者は短い説明を求められる。
      ※ 情報が曖昧で、回答不可能と判断した場合、回答を無視できる。
      Understanding a topic
      NEWSor CHAT ?
      Asking the reason
      34
    • 学習データ作成 方法・結果
      -無作為に選択した 383 topics
      -3つに分ける (3 HITs)
      -10日間の評価(公開)期間
      -必ず7人に評価してもらう(each HIT)
      -7人中5人以上が同じクラスとした場合、クラスが決まる、それ以外は”UNSUREクラス”に属するものとする。
      NEWSクラス 29.5% (113 topics)
      CHATクラス 34.9% (134 topics)
      UNSUREクラス 35.6% (136 topics)
      Result
      35
    • 分類器Bの作成まで概略図
      2524 topics
      747 topics
      Mechanical Turk
      にて
      学習データ作成
      NEWS
      分類器A
      CHAT
      UNSURE
      36
    • 学習データ(評価者の作業)
      ・各々のトピックに対して、10tweetsを見せ、
      ・そのトピックの信用性について、いずれかに属すか?評価者に判断してもらう。
      (i) almost certainly true (ほぼ確実に正しい)
      (ii) likely to be false (嘘っぽい)
      (iii) almost certainly false (ほぼ確実に嘘)
      (iv) I can’t decide. (決められない)
      ・また、判断した根拠を短い文章で求める。
      37
    • 学習データ作成 方法・結果
      対象: NEWSクラスに分類された 747topics
      評価者: 各々のトピックに対して7人に評価してもらう
      判定基準: 7つの評価のうち少なくとも5つ以上の一致があれば、その評価値に定まる。それ以外は”Ambiguous”とした。
      Result
      “almost certainly true” 41.0% (306 topics)
      “likely to be false” 31.8% (237 topics)
      “almost certainly false” 8.6% (65 topics)
      “Ambiguous” 18.6% (139 topics)
      38