Your SlideShare is downloading. ×
第二回ニコニコ学会βデータ分析研究会
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

×
Saving this for later? Get the SlideShare app to save on your phone or tablet. Read anywhere, anytime – even offline.
Text the download link to your phone
Standard text messaging rates apply

第二回ニコニコ学会βデータ分析研究会

955
views

Published on

三種のツイートデータ ~しょぼい分析を添えて~

三種のツイートデータ ~しょぼい分析を添えて~


0 Comments
4 Likes
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total Views
955
On Slideshare
0
From Embeds
0
Number of Embeds
1
Actions
Shares
0
Downloads
3
Comments
0
Likes
4
Embeds 0
No embeds

Report content
Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
No notes for slide

Transcript

  • 1. 三種のツイートデータ ~しょぼい分析を添えて~ @toritorix 第二回ニコニコ学会β データ研究会@ドワンゴ新オフィス データセット作ってみた 2013年7月27日
  • 2. 自己紹介 • @toritorix • 自称エセデータサイエンティスト • 主な仕事 – データ収集 – 震災時のツイートの分析とか • 装備 – 武器:ネットワーク分析・統計処理 – 防具:虎の威 – 特技:Java • 本も出てるけど,絶版になったので宣伝しない
  • 3. 3種のデータセット • 東日本大震災発生時のTweet – 4億0756万2159 • 国内GEOタグ付きTweet – 5027万1986 • 選挙関連Tweet – 1026万5004(衆議院選挙2012) – 1142万0443(参議院選挙2013)
  • 4. 震災後Twitterデータ基本情報 • データ取得日 – 2011年3月7日~23日 • ツイート数 – 4億0756万2159(網羅率80%くらい) • ユーザ数 – 272万7247人 • 共同収集 – @PENGUINANA_
  • 5. データ仕様 • 中身 – TweetID – ScreenName(ツイート当時の物) – Contents(本文) – Source(ツイート元・WEBかアプリか) – Time(ツイート時間) – In_reply_to(Reply機能を使ったときのリプライ先 TweetID) – In_reply_to_sc(Replyを受けた人のScreenName) • 形式 – TSV,UTF-8
  • 6. 付加データ • 抽出済みデータ – ハッシュタグ – Mention/Reply/Retweet – Mecabによる形態素全解析結果 • 名詞・動詞・形容詞・地名 – Mentionによるネットワーク
  • 7. 震災前後のネットワーク 7 震災前のネットワーク 震災後のネットワーク
  • 8. ツイッタらーさん まじ デマッター
  • 9. ツイッターさんが広めた 輝かしいデマの数々 • 地震は日本崩壊を企む裏社会によるレーザー水爆によるもので、それに必要な電気を集めるため節電してるから、騙されずに電気を使って阻止しよう • 地震が起きた時、社内サーバールームにいたのだが、ラックが倒壊した 。腹部を潰され、血が流れている。痛い、誰か助けてくれ。 • 今日、ポケモンクリエイターの田尻智氏が日本の津波でなくなりました • 千葉市近辺に在住の方! コスモ石油の爆発により有害物質が雲などに付着し、雨などといっしょに降るので外出の際は傘かカッパなどを持ち歩き、身体が雨に接触しないように して下さい!!! • 震災時における女性に対する暴行事件の増加は、阪神淡路大震災でも証明されていますので、気をつけてください。 • 漫画ワンピース作者の尾田栄一郎さんが被災地へ15億円寄付したそうで す。彼こそが正にルフィーになってる。素晴らしいですね! • 日本では物資の空中投下が認められていないんだそう!とっくに自衛隊が孤立被災者に実施してると思ってた。これでは本当に孤立者が死んでしまう。 • 只今、近畿のプレートが小さくなっている模様。次は近畿に大きな地震が起きる可能性が非常に大きいので明日、明後日は注意してください。 • 東日本大震災にアメリカの地震兵器『HAARP』が関与している疑いが 浮上 • 甲状腺に問題がない人なら、イソジンをコップ一杯の水に3滴入れて飲んでおく。チェルノブイリで甲状腺ガンが多発していたのを踏まえ、甲状腺を保護するための備え。それを 3日間。 • チェルノブイリに2回行ってきた俺から【原発事故に備えるアドバイス 】だ。イソジン3滴入れた水を今すぐ飲め。甲状腺に発がん性物質が貯 まるのを先回りして防ぐためだ。これは放射能が拡散してからじゃ遅い !もし爆発した場合は地下に逃げて! • 精液が放射線に効くことが判明。効果はヨウ素の15倍以上とも(WHO調べ) • 鳩山元首相が、原発から半径200キロは怖くて住めないって言ったとか。 • 「千葉県の犬吠埼の沖合に風車をいっぱい建てたら東京電力の2005年の年間電力販売量にほぼ等しかった」 • 辻元が神戸で何をしたか覚えてないのか!こいつは土井たかこと被災地に来て「自衛隊は違憲です。自衛隊から食糧を受け取らないで」と書かれたビラを配っていたんだぞ。神戸
  • 10. ツイッターさんが広めた 輝かしいデマの数々 • 仙台市三条中学校避難所で中国人やりたい放題。ストーブ前で暖をとる高齢者を足で払い中国人同士で独占。 • 国家的危機にもお役所仕事「国内に3台しかない強力放水ポンプ車の提供を東電が拒否」 • 韓国で『日本の大震災記念Tシャツ』が販売される • 蓮舫発案のコンビニの深夜営業禁止より、節電の為全国パチンコ店1週間の営業規制を政府に訴えよう。 • 築地市場では入荷が順調なものの、生鮮物を中心に計画停電によるキャンセルや消費者の買い控えにより、魚の相場が下がっているう状況。漁師の皆さんにがんばって出荷しても らったのに申し訳ない。ぜひ、消費者として、生モノから消費し、日持ちする加工品は東北へまわしましょう。宜しくお願いします。 • 仙南中央病院SOS(ヤフー掲示板に)生理食塩水500ml10000本、ラクテック500ml10000本大至急。認知症患者脱水で餓死寸前。県とメディアに見捨てられてます。お願いします 。 • 「買い占めはやめて下さい」の与党が大量買い占め。民主党議員控え室に運び込まれる大量のカップ麺。「被災地へのルートを確保してませんので送れません」では支援物資なら 、なぜ国会議事堂へ?正直に「これは私たちの食料です」と言って欲しい。 • 【西日本の人たちができること】関西、中部電力圏のみなさん、なるべ く電気を節約してください。中部電力では関東地方に送電を始めていま す。リツイートお願いします! • 前期の東大で合格した親戚が宮城で被災。入学に必要な書類の提出期限は14日の消印。状況が状況なだけに延期してもらえないかと電話しても「規則だからダメ。入学資格取り消 しです。」の一点張り。避難所に居る合格生や郵便局が機能していない地域の人はどうすればいいんだ • 関西電力が東京方面への電力の供給を開始したとの情報が入りました!と言う事は、関西での節電が災害の協力になります!まだまだ夜半には冷え込みも厳しく18時〜19時の時間 帯で300万KWの電力が不足するとの東京電力の需要予想です! • 行方不明の東電傘下のプラントエンジニア。この2名、なんと津波後原発の冷却装置を誤って操作したままさっさと逃げたという。しかも、そのまま郡山市内に逃げて酒を飲んで いた。その名は小久保和彦・寺島祥希 • 福島第一原発、半径2キロ以内に避難命令 特別ルートからの情報をお伝えする。本情報は政府を飛び越えて当サイトで書いているものだ。近くにいる奴はすぐ逃げろ。ここ4日間 が勝負だ。イソジン液を買って、数滴水に入れて飲んでおけ。何でかは自分で調べろ • 枝野官房長官105時間ぶりに就寝 • 現在米国に滞在している元祖韓流スターのBoA(ボア)は日本大地震発生当日の去る11日午後、ツイッターに「日本で大地震が発生しました。たくさん死んでる。笑えます」として 「すべての日本人が被災すればいいのに」という内容の文を残した。 • 菅は相変わらず毎晩高級料理屋を回り豪華な食事をしてるみたいだよ。伸子も一緒に。 • 仙谷氏、15日から訪韓 • 今、私の元に来ている情報によれば御殿場演習場の上で異様な噴煙が目撃されています。富士山がここで新しい噴火を起こす可能性があると考えています。もちろん東海地震の危 険も。18~20日満月警戒してください
  • 11. でも,あんまり TL上では デマを 見かけない
  • 12. 俺の友達が こんなに情強な わけがない
  • 13. 調べてみた
  • 14. マイニングによるデマの抽出 • マイニング対象 – 期間:2011年3月11日~17日 – RTが1000以上のツイート • 広まらなかったデマは無視していいでしょう – 計:1983ツイート – あきらかなデマ・誤報を抽出 • 目的 – 「俺の周りは情強が多いのか」の確認
  • 15. 根性 マイニング
  • 16. 根性マイニングとは • 俺がひたすら目で見てデマかどうかを見 ていく手法である • 必要な技術 – 根性 • 精度 – 高い • 速度 – 遅い 1983ツイート全部見るの 案外辛いです vs
  • 17. 見つかったデマ・誤報 • 2011-03-16 00:51:34 m***** • なんと驚いた情報です!日本では物資の 空中投下が認められていないんだそう! とっくに自衛隊が孤立被災者に実施して ると思ってた。これでは本当に孤立者が 死んでしまう。救出前にヘリで食糧を落 として何が悪いんだろう。わたしは今こ れを知り怒りで全身が震えてます。みな さんリツイートをお願い! • 7386RT
  • 18. 見つかったデマ・誤報 • 2011-03-15 03:22:24 j******** • 枝野さんがやっと就寝されたそうで。実 に105時間ぶりだとか。105時間といえば 、4日間以上。「24」にすれば4シーズン 分。つまりジャックバウアー4人分です。 ありがとう!日本のジャックバウアー! !#edano_nero • 6213RT
  • 19. 見つかったデマ・誤報 • 2011-03-11 21:28:15 f****** • RT @otancoyasu: お願いします 【転載 】千葉市近辺に在住の方! コスモ石油 の爆発により有害物質が雲などに付着し 、雨などといっしょに降るので外出の際 は傘かカッパなどを持ち歩き、身体が雨 に接触しないようにして下さい!!! コ ピペとかして皆さんに知らせてください !! • 1357RT
  • 20. 見つかったデマ・誤報 • 2011-03-11 17:04:55 o***** • 千葉製鉄所爆発しました… http://twitpic.com/48edb1 • 1222RT
  • 21. 見つけたデマ 12件
  • 22. ツイッターユーザ 意外と情強
  • 23. 震災時のデマ • 2000件確認してわずか12件 – 類似情報をまとめると8種類 – 何らかの形で被害が発生しそうなデマはうち 4件 • 実はデマはRTされづらい – チリ地震の時もデマは広まりづらかったと報 告あり M. Mendoza, B. Poblete, and C. Castillo. Twitter under crisis: can we trust what we RT? In Proceedings of the First Workshop on Social Media Analytics - SOMA '10, pages 7179. ACM Press (2010)
  • 24. その他分析例 • 三浦 大樹,諏訪 博彦,鳥海 不二夫,鬼塚 真: ソーシャルサーチのための効率的な検索アルゴリズムの提案 情報処 理学会論文誌 データベース(TOD)6(3),29-39 (2013) • 小出 明弘, 斉藤 和巳, 風間 一洋, 鳥海 不二夫: ネットワーク分析によるTwitterユーザのフォロー形成に関する一考 察 情報処理学会論文誌 数理モデル化と応用(TOM) (2013) • Takeshi Sakaki, Fujio Toriumi, Kosuke Shinoda, Kazuhiro Kazama, Satoshi Kurihara, and Itsuki Noda Regional Analysis of User Interactions on Social Media in Times of Disaster WWW2013 Poster Session, WWW 2013 Companion Publication pp.235-236 (05/2013) • Fujio Toriumi, Takeshi Sakaki, Kosuke Shinoda, Kazuhiro Kazama, Satoshi Kurihara, and Itsuki Noda Information Sharing on Twitter During the 2011 Catastrophic Earthquake 2nd International Workshop on Social Web for Disaster Management (swdm2013) WWW 2013 Companion Publication pp.1025-1028 (05/2013) • Satoshi Kurihara, Yoshiyuki Okada, Takeshi Sakaki, Fujio Toriumi, Kosuke Shinoda, Kazuhiro Kazama, Itsuki Noda and Masayuki Numao SIR-Extended Information Diffusion Model of False Rumor and its Prevention Strategy for Twitter The Fifth International Workshop on Emergent Intelligence on Networked Agents (WEIN2013)(05/2013) • 篠田 孝祐, 榊 剛史, 鳥海 不二夫, 風間 一洋, 栗原 聡, 野田 五十樹, 松尾 豊: 東日本大震災時におけるTwitter の活用 状況とコミュニケーション構造の分析 知能と情報 Vol.25 No.1 pp.598-608(02/2013) • 小出 明弘, 斉藤 和巳, 風間 一洋, 鳥海 不二夫: コリンク構造に着目した多重グラフの特性分析 日本データベース学 会論文誌, Vol.11, No.2, pp.13-18, (10/2012) • 鳥海不二夫,篠田孝祐, 兼山元太: ソーシャルメディアを用いたデマ判定システムの判定精度評価 情報処理学会デ ジタルプラクティス Vol.3 No.3 pp.201-208 (07/2012) • Takeru Inoue,Fujio Toriumi,Yasuyuki Shirai,Shin-ichi Minato Great East Japan Earthquake Viewed from a URL shortener ACM CoNEXT 2011 Special Workshop on the Internet and Disasters(12/2011) • Takeshi Sakaki,Fujio Toriumi,Yutaka Matsuo Tweet Trend Analysis in an Emergency Situation ACM CoNEXT 2011 Special Workshop on the Internet and Disasters(12/2011)
  • 25. GEOタグ付きTweet • データセット – データ取得日 • 2010-02-26~2013-02-20 – ツイート数 • 5027万1986 – 現在も継続して取得中 – 共同収集 • @yashichi • 収集方法 – StreamingAPIで日本周辺を指定
  • 26. データ仕様 • TweetID • ScreenName(ツイート当時の物) • Contents(本文) • Time(ツイート時間) • 緯度・経度
  • 27. 日本全国でのTweet
  • 28. 都内のツイート
  • 29. 分析例
  • 30. 日本3大 がっかり はどこだ
  • 31. 日本三大がっかり • 真の日本三大がっかりが知りたい – 三大がっかりには色々な説がある • 分析手法 – 「がっかり」とつぶやく割合の高い場所を特 定 – 全ツイート数に対する「がっかり」の含有率 上位3カ所を取得 • 数にすると東京は超がっかりポイント なお,これから紹介する3大がっかりポイントについて がっかりすることを保証するものではありません. ジョークとしてお楽しみください
  • 32. がっかりポイントその1 札幌時計台
  • 33. がっかりポイントその2 はりまや橋
  • 34. がっかりポイントその3 守礼門
  • 35. 楽しいがっかりポイント • 札幌時計台 – 個人的には好き • 高知はりまや橋 – 何回も行ってそのたびに「がっかり」とつぶやく人 がいる • 沖縄守礼門 – 首里城いいよ,首里城 さあ,みんなツイッターを持って がっかりしに行こう!
  • 36. 選挙関連ツイートデータ • 衆議院選挙2012 – データ取得日 • 2012年11月16日~12月27日 – ツイート数 • 1026万5004 • 参議院選挙2013 – データ取得日 • 2013年6月11日~6月22日 – ツイート数 • 1142万0443
  • 37. 収集方法 • 選挙に関係ありそうな単語で検索 – 一分ごとに検索 – ため込むため込む・・・・ • 単語の選別 – 某大学の美人教授に言われるがまま
  • 38. 分析中
  • 39. 得票数とTweet数の関係 東京都の場合
  • 40. 3種のデータセット • 東日本大震災発生時のTweet – 4億0756万2159 • 国内GEOタグ付きTweet – 5027万1986 • 選挙関連Tweet – 1026万5004(衆議院選挙2012) – 1142万0443(参議院選挙2013)
  • 41. 連絡先 • Twitter: @toritorix