Twitterでみる社会のトレンド

Twitterでみる
社会のトレンド
SocioInfo #18
中央大学飯尾淳

SocioInfo#18 Copyright © Jun Iio 2
自己紹介
●
中央大学国際情報学部教授
（4月から．今は文学部社会情報学専攻教授）
– 博士（工学）技術士（情報工学部門）
– HCD-Net認定 HCD専門家
●
経歴
– 〜2013年3月
株式会社三菱総合研究所勤務
– 2013年4月〜中央大学
●
専門分野
– ユーザインタフェース，感性情報学，ソフトウェア
工学，画像情報処理，など
Socio-informatics

はじめに
●
NGワード（次の言葉を言ってはいけません）
「この研究は何の役に立つんですか？」
●
問い：研究は役に立つものでなければダメか？
●
「役に立つ」という指標に絶対的正義はあるか
– プロスポーツ，演劇，映画，文芸，音楽，美術，etc.
●
「おもしろい」研究を進める研究者の義務は？
– その「おもしろさ」を広く伝えること
●
まあ，このような社会文化の理解が結果としてなにかに
役立つことも…あるかな？（一緒に考えましょう）
●
そもそもSNSそれ自体が…（それ言っちゃおしまい）

Twitter Trends

Twitter Trends
●
アルゴリズムは非公開
– 頻繁にツイートされたトピックが抽出される
– 「いま」何が話題になっているか？
●
地域に依存
– 「東京の」トレンド，「大阪の」トレンド
– 日本においては22の地域を指定可能
●
Twitter Trends APIで取得できる
– API … Application Programming Interface
– 地域の情報を取得
– 地域を指定してTrendsを取得

問題設定
●
仮説：Twitter Trendsは社会の縮図
– ただし，トピックのリストが得られるだけ
●
何らかの情報構造を可視化できれば…
– Trending topics at a glance!
●
Methods:
1. トレンドトピックの収集
2. トピックに関するツイートの収集と分析
3. 可視化
4. さらなる情報可視化！

関連サービス（トレンド墓地）

関連サービス（トレンド墓地）
発想は悪くないん
だけどねえ…
（もう少し面白いもの
できないかな？）

事前に必要な準備
https://developer.twitter.com/
※ Twitterのユーザーアカウント登録も必要

Developerアカウントの登録
●
若干の「英語での説明」が必要
●
アカウント開設したら，次の4つを入手する
– Consumer API key
– Consumer API secret key
– Access token
– Access token secret
●
（後述する）twurl の利用にも，この4つが必
要となる

1. トレンドトピックの取得

Twitter Trends API

APIで指定可能な地域
●
GET trends/available で一覧を入手可能
– twurl コマンドを使うと便利
$ twurl /1.1/trends/available.json [RET]
– Available な地名一覧がJSON形式で取得可能
●
現在，使える日本の地域と対応するWOEID
– 下記記事の一覧が現在も有効
（2018/10/14確認）
●
https://qiita.com/amidara/items/8e3224c4960e19
b7a33a
– twurl のインストール方法とセットアップ方法
●
http://d.hatena.ne.jp/nakamura001/20121122/13
53599165

補足：twurl利用上の注意
●
JSONデータが取得できるがminifyされている
●
https://jsonformatter.org など利用しよう

Trends API
●
できること
– 地域を（WOEID）で指定して，その地域のトレン
ドをJSON形式で取得
●
今回は「東京」を指定した
– WOEID … Yahooが定めた地域ID
●
World on Earth ID
– トレンドは5分おきに更新
– 「75アクセス / 15分間」の制限あり
– exclude=hashtags の指定で，トレンドから「ハッ
シュタグ」を除外することもできる
●
今回はハッシュタグトレンドを除外した

利用例

実行例

2. 関連ツイートの取得

Twitter Search API

Search API
●
3種類ある
– Standard / Premium / Enterprise
●
Standard: free to use
●
Premium and Enterprise are subject to fees
●
Search （standard） APIでできること
– キーワードを指定して関連するツイート（メタデー
タ含む）をJSON形式取得
– リクエスト制限あり
●
180（user auth）or 450（app auth）アクセス/15分
– 1週間以内のツイートに限られる
– その他いろいろと制限あり

関連ツイート取得時の注意点
●
リツイートを除外する
– リツイートを含めてしまうと，同じ内容の重複が多
く，共起確率の計算に意味がなくなってしまうため
– 方法：検索キーワードに下記を追記
● exclude:retweets exclude:nativeretweets
●
取得ツイート件数は最大100件
– Search standard APIの制限から
– ただし，回数制限にはまだ余裕があるので，工夫す
れば数を増やすことはできそう

Trend topicsの可視化
●
手続き：
– 100 Tweetsを取得（by Search API）
– 形態素解析し「固有名詞」を抽出
– 単語の出現頻度を計算し，多頻度単語を抽出
– それらについて，共起確率を計算
●
可視化：共起ネットワークグラフによる可視化
注：グラフといっても棒グラフとか円グラフというものではない
– ノード … 出現頻度で，サイズと色を変化
– リンク … 一定以上の共起性を持つものを結ぶ
●
リンクの太さを共起確率で変化

形態素解析による品詞抽出
●
英語:
– A quick brown fox jumps over the lazy dog.
●
日本語:
– 庭には二羽鶏がいます
– 庭　に　は　二羽　鶏　が　い　ます
●
解析用に「辞書」が必要
– MeCab（形態素解析ツール）と NEologd（辞書）
を利用

固有名詞の抽出
●
PythonからMeCabを使う
– mecab-ipadic-NEologd のインストール
$ git clone --depth 1 https://github.com/neologd/mecab-
ipadic-neologd.git
$ cd mecab-ipadic-neologd
$ ./bin/install-mecab-ipadic-neologd -n -a
– mecab-python3 のインストール
$ pip3 install mecab-python3
– テストスクリプト
import MeCab
#Taggerの引数に-dオプションとmecab-ipadic-neologdの場所を指定する
m = MeCab.Tagger("-d /usr/local/lib/mecab/dic/mecab-ipadic-
neologd")
text = m.parse("君の名前は")
print(text)

補足：Janome

共起関係とは
●
共起関係とは？
– これは例文です．例として，日本語の難しさを指摘
してみます．「象は鼻が長い」，さてこの文の主語
は何か？日本語にはこのような曖昧さがあります．
– 英語の例文でよく「The quick brown fox jumps
over the lazy dog.」というものが使われます．英
語で使用する文字が全て使われています．
●
共起関係がある
– 「例文」と「日本語」，「例文」と「英語」
●
共起関係がない
– 「日本語」と「英語」

共起ネットワークグラフ
●
共起関係のスコープ
– 今回は1ツイートに含まれるなら共起関係有とした
●
共起ネットワークグラフによる可視化
– 頻出単語の共起性を可視化
– 2単語の共起確率 p（0.0 ≦ p << 1.0）が高いもの
を線で結ぶ
– 今回は共起確率を計算できたもののうち上位の1/4
を残すことにした
●
グラフの可視化
– GraphVizやD3.jsというツールを利用可能

3. 可視化システム「TWtrends」（ツイトレ）

計算結果の可視化
●
計算結果から共起ネットワークグラフ作成
– あらかじめ作成しておく（オンデマンドではない）
●
データベースへの格納項目
– トレンドトピック一覧
– 各トレンドに関連するグラフのノード一覧
– 各トレンドに関連するグラフのリンク一覧
●
可視化システム
– Ruby on Rails + D3.js で構築
– データ取得スクリプトが db/seeds.rb を生成
– rails db:seed コマンドでデータベース登録

システムの概要

データ構造
※ WWW SQL Designer で作成（URLはググってください）

db/seeds.rbの例

db/seeds.rbの例
node_hash = {}
trend = Trend.create(label: 'ミル姉さん', collected:'2018-12-31')
node_hash['ミル姉さん'] = trend.nodes.create(word: 'ミル姉さん', freq: 100.00)
node_hash['NHK'] = trend.nodes.create(word: 'NHK', freq: 21.43)
　　…
node_hash['武田真治'] = trend.nodes.create(word: '武田真治', freq: 1.02)
node_hash['YouTube'] = trend.nodes.create(word: 'YouTube', freq: 1.02)
link = Link.create(corr: 100.00)
node_hash['NHK'].links << link
node_hash['ミル姉さん'].links << link
node_hash['笑う犬'].links << link
node_hash['ミル姉さん'].links << link
　　…
node_hash['指原莉乃'].links << link
node_hash['内村光良'].links << link
node_hash = {}
trend = Trend.create(label: 'バナナマン', collected:'2018-12-31')
　　…
Trend, Node, Link
いずれもidは自動生成される
ので，指定する必要はない
ActiveRecord：
コード（メモリ上のデータ）を
いじるとDBにも同時に記録される

TWtrends: 可視化アプリ
●
Ruby on Railsで作成
– index画面とshow画面のみを作成
– Apache + Passenger で起動
– （実験実装なので）developmentモードのまま
●
ただし，エラーメッセージは出さないようにした
●
index画面
– 収集したトレンドワードを日付ごとに提示
– トレンドワードをクリックするとshow画面に飛ぶ
– http://iiojun.xyz/twt/（日付）
●
日付無しだと「本日」の画面となる
● 日付のフォーマットは YYYY-MM-DD

TWtrends: 可視化アプリ
●
show画面
– それぞれのトレンドワードに関連するツイートから
取得した固有名詞による共起ネットワークグラフを
表示
– グラフ描画はD3.jsを利用
●
search画面
– 試験的に実装（トレンドワードのキーワード検索）
– http://iiojun.xyz/twt/search
●
（余談）herokuに実装しようとしたら…
– 「DBのエントリは10,000以下！」と怒られ，退散

index画面

show画面
D3.js が提供する
spring embedderを
利用

トレンドの違い

show画面，実装上のポイント
●
Ruby on Railsのshow画面で，枠組みを描画
●
枠組みの描画が終わったら，AJAXでグラフ
データを取得
– AJAX … Asynchronous JavaScript and XML
– RoR側には，JSON形式でグラフデータを出力する
枠組みを実装しておく
●
AJAXにより非同期で取得したデータを用い
て，D3.js でインタラクティブグラフを描画

search画面（試験的実装）
CSSデザイン
bootstrap利用
ページング
kaminari利用

4. さらなる考察

多次元尺度構成法（MDS）

トレンドトピックマップ

トレンド類似度（似てる）

トレンド類似度（似てない）

トピックマップの作成方法
●
各トレンドトピックには共起ネットワークグラ
フが関連付けられている
→ ノードの出現確率でベクトルが定義される
●
単語空間において，各トレンドトピックは1点
に定まる
– 単語空間：ノードである全ての単語が張る空間
→ 各トレンドトピック間の距離が計算できる
●
距離の近いものをグルーピング
– コサイン類似度を使用
– コサイン類似度 d ＞ 0.75 のものをグループ化

単語空間のイメージ
ポテトチップスそば
富士そば狂気の新メニュー
とろろ昆布
全豪オープン
大坂なおみ
ねとらぼポテチ　富士そば　Yahoo!ニュースとろろ昆布
100.0 100.0 100.0　 65.0 0.0 0.0
100.0 100.0 100.0　 65.0 0.0 0.0
0.0 0.0 0.0 0.0 0.0 100.0
0.0 0.0 0.0 0.0 0.0 0.0
0.0 0.0 0.0 0.0 0.0 0.0

Cosine Similarity
a・b = |a||b|cosθ
∴ sim(a, b) =
cosθ = a・b / |a||b|
●
-1.0（正反対）≦ 類似度 ≦ 1.0（同じ）
– 今回はすべてのデータが0以上なので，
0.0（無関係）≦ 類似度 ≦ 1.0（同じ）… となる

トピックマップの生成
●
毎朝，オフラインで生成
●
Methods:
1. 指定した日のデータをJSON形式で取得
• RoRアプリにJSON形式でのデータ出力を実装済み
• TSV形式で単語空間データを生成
• データに「t」が含まれることは絶対にないため
2. 全ての単語について類似度を計算
• Pythonスクリプトで計算
3. GraphViz用のスクリプトを生成
• Rubyスクリプトで変換
4. GraphVizでグラフを描画 → PNG画像生成

ノードの類似度の例
この2つには高い
関連性が認められる

GraphVizスクリプトの例

データ処理上の留意点
●
特殊文字の取扱い
– 「,（カンマ）」や「'（アポストロフィ）」
– ごく稀に，トピックやノードに含まれる
– エスケープ処理が必要
このキーワード中に
「’」が含まれていたら
どうなるか？

今後の課題
●
トピックマップの精緻化
– コサイン類似度だけではグループ化できないケース
がある
– 時系列（タイムスタンプの近さ）を考慮した重み付
けによる距離関数の修正は，検討の余地あり
●
他言語対応
– 固有名詞抽出の部分を修正すれば，他言語にも対応
可能（なはず）
– 英語版は，現在，社情専攻の院生が挑戦中
●
NLTK（Natural Language ToolKit）を使えばできると
思われる

まとめ
●
Twitter Trendsは世相を表しているのか
●
トレンドトピックの収集
– Trends APIで取得する方法を紹介した
●
トピックに関するツイートの収集と分析
– Search APIでツイートを収集し分析する方法を紹
介した
●
可視化
– 可視化するシステムTWtrendsを紹介した
●
さらなる情報可視化
– さらなる可視化の試みについて紹介した

TWtrendsはGitHubで公開中
https://github.com/iiojun/twt

遊び方
●
サーバ側の設定（Rails環境は構築済とする）
– git clone https://github.com/iiojun/twt
– cd twt
– bundle update
– rails db:migrate RAILS_ENV=development
– rails db:seed
– rails server
●
クライアント側（Webブラウザ）
– http://localhost:3000 にアクセス
– db/seedsにある日付を見て，下記にアクセス
● http://localhost:3000/（日付）

Twitterでみる社会のトレンド

Recommended

Recommended

More Related Content

What's hot

What's hot (10)

Similar to Twitterでみる社会のトレンド

Similar to Twitterでみる社会のトレンド (20)

More from Jun Iio

More from Jun Iio (20)

Recently uploaded

Recently uploaded (16)

Twitterでみる社会のトレンド