Hadoop Conference Japan 2013 Winter: "見える"Twitter全量リアルタイム解析～Hadoop/RabbitMQ処理の仕組みと可視化～

”⾒える”Twitter全量リアルタイム解析
〜Hadoop/RabbitMQ処理の仕組みと可視化〜

原謙治
NTTコミュニケーションズ株式会社
先端IPアーキテクチャセンタ
2013年1月21日

Copyright © 2012 NTT Communications Co., Ltd. All Rights Reserved.

自己紹介

原謙治

NTTコミュニケーションズの先端IPアーキテクチャセンタという
R&D部門での大規模データ処理を主に担当。

@haracane 2010年頃からTwitterを中心としたソーシャルメディアの日本語解析
にHadoopを利用。

クチコミ分析サービスBuzzFinderの開発ではTwitter解析エンジンの
アーキテクチャ設計・実装・テストを担当。

好きなものは「面白いデータ」

Copyright © 2011 NTT Communications Co., Ltd. All Rights Reserved. 1

本日のアジェンダ
• BuzzFinderについて
• Twitterデータの特徴
• BuzzFinderでのTwitterデータ日本語解析
• BuzzFinderでのTwitterデータ処理フロー
– Hadoopを使ったバッチ処理
– RabbitMQ/Hadoopを組み合わせたリアルタイム処理
• Twitterデータ処理のグラフ可視化
• 解析例のご紹介


BuzzFinderについて

3

BuzzFinderとは
NTTコミュニケーションズグループが提供する
「国内最大級のクチコミ数を対象としたリアルタイム分析サービス」

BuzzFinderの特徴

1
Twitterの日本語ツイート全量と、
国内ブログサイトの90%以上を
対象に口コミを分析

2 クチコミデータを
リアルタイムに分析

3
風評・炎上対策のために
クチコミ数の動向から異変を検出
して担当者にメール通知

http://www.nttcoms.com/service/buzzfinder.html

Twitterデータの特徴

5

ツイート量の傾向

0時がピーク

19時頃から上昇
午後に増加
8時頃まで上昇

深夜に減少

23時〜1時頃がツイート量が多く、3時頃〜6時頃が少ない


Twitterデータからわかる情報

ツイート本文だけでなくユーザの情報もツイート毎に取得できる

JSON
ツイート本文

ユーザ名

アカウント名

自己紹介文
場所フォロワー数なども

BuzzFinderでの
Twitterデータ日本語解析処理

8

Twitterデータの日本語解析

リッチインデクシング技術*を利用して多面的に各ツイートを解析

JSON JSON
キーワード

ツイート本文日
本
語
キーワードの関連語

解
析
キーワードの評判
(ポジティブ/ネガティブ)

済
自己紹介文デ
ユーザの属性ー
(年齢/性別/職業)
タ
場所
ユーザの居住地

* リッチインデクシング技術はNTT研究所が開発した日本語解析技術

ツイート本文の日本語解析

ツイート本文からキーワード、関連語、ポジネガ語を抽出

イタリアで地震予知「地震」を解析対象
外すと禁錮6年かあ… キーワード抽出
キーワードとして抽出

イタリアで地震予知「禁錮6年」を「地震」の
関連語抽出
外すと禁錮6年かあ… 関連語として抽出

コストコで地震は「怖い」を「地震」の
ポジネガ抽出
怖すぎ… ネガティブ語として抽出


自己紹介文・場所の日本語解析
自己紹介文から年齢、性別、職業を抽出
場所からは都道府県を抽出

三⼗路の腐⼥⼦OL 「三⼗路」から「30代」を
やってます年齢抽出
年齢として抽出

三⼗路の腐⼥⼦OL 「腐⼥⼦」から「⼥性」を
性別抽出
やってます性別として抽出

三⼗路の腐⼥⼦OL 「OL」から「会社員」を
職業抽出
やってます職業として抽出

「歌舞伎町」から「東京」を
歌舞伎町の近く地域抽出
地域として抽出


BuzzFinderでの
Twitterデータ処理フロー

12

BuzzFinderでのTwitterデータ処理フロー

分散処理システムを組み合わせて
大規模ソーシャルデータのリアルタイム解析を実現

PostgreSQLで
Hadoop/RabbitMQでインデックス作成
日本語解析＆統計＆集計結果保持

RDB
日本語全量結果
(Firehose) 出⼒

Twitter Twitter解析 Webサーバ
クラスタ
KVS Railsで検索＆集計
Cassandraで
Twitter&解析データ保持

13

Twitter解析クラスタの構成

速度優先のリアルタイム処理クラスタと
データ網羅性優先のバッチ処理クラスタの⼆重構成でTwitterデータを解析

速報性を重視

リアルタイム
データ蓄積
リアルタイム処理
クラスタ

バッチ RDB KVS
データ蓄積
データ網羅性を重視バッチ処理
クラスタ


Twitter解析バッチ処理クラスタ

データ網羅性を重視したリアルタイム
MapReduce処理データ蓄積
クラスタ

バッチ RDB KVS
データ蓄積
バッチ処理
クラスタ



日本語解析Map処理と集計MapReduce処理の2段構成で
全Twitterデータをバッチ処理

Map処理(HadoopStreaming) MapReduceで
のみで日本語解析集計処理

日本語全量データ
(Firehose) 蓄積
RDB KVS



リアルタイム
データ蓄積
クラスタ

バッチ RDB KVS
速報性を重視した
データ蓄積
バッチ処理
クラスタ


Twitterリアルタイム処理クラスタ

Map処理をRabbitMQ経由で実⾏することで
日本語解析をストリーム処理

日本語解析Map処理を
RabbitMQ経由で MapReduceで
ストリーム実⾏最新データを集計

日本語全量データ
(Firehose) 蓄積
RDB KVS


バッチ/リアルタイム処理の
データフロー

19

バッチ処理のデータフロー
日本語解析Map データ抽出Map 集計Reduce
キーワード
Keywords
Keywords キーワード
解析済集計
データ
関連語
Topics
Topics 関連語
集計
ポジネガ
ポジネガ
集計
一定時間毎に
バッチ処理を実⾏ユーザ属性
Locations
Locations ユーザ属性
集計
居住地
Locations
Locations 居住地
集計
検索
Index Data
Index Data
インデックス 1日分の集計を実⾏

ツイート
Index Data
RDB
Index Data
データ

KVS
20

リアルタイム処理のデータフロー
キーワード
Keywords
解析済集計
データ
関連語
Topics
Topics 関連語
集計
ポジネガ
Semtiment
Semtiment ポジネガ
集計
(Hadoop実⾏していた)
ユーザ属性
Mapperプログラムを Locations
分散ストリーム処理集計
クラスタで実⾏居住地
Locations
Locations 居住地
集計
検索
Index Data
Index Data
インデックス一定時間毎に
集計を実⾏
ツイート
Index Data
RDB
Index Data
データ

KVS
21

Twitterデータ処理システムの運用

22

Twitterデータ処理システムの運用

RDB
日本語全量結果
(Firehose) 出⼒

Twitter Twitter解析 Webサーバ
ネットワーク監視クラスタ
KVS
ログ確認
各種リソース監視
リソース監視ブラウザから確認

リソース状態からシステム状態を推測/切り分けするには
運用担当者にシステム内部に関する詳しい知識が必要


BuzzFinderの運用改善
「ログ表示ツールのWebアプリケーション化」と
「データ処理状況のグラフ可視化」によって運用負荷を低減

PostgreSQLとRailsを利用して
バッチ/リアルタイム処理の実⾏ログを
Webアプリケーションで表示

Twitter解析
クラスタ

Muninを利用してデータ処理状況をグラフ可視化


処理実⾏ログをWebアプリケーションで表示

シンプルな仕組みの組み合わせで実⾏ログ表示アプリケーションを作成

ジョブ名,
開始時刻,
ジョブ名,
ジョブ名,
起動ログ終了時刻,
開始時刻,
開始時刻,
実⾏結果
終了時刻
終了時刻
終了ログ

Twitter解析
クラスタ

処理の起動時にログ書き込み、ジョブ毎の Rails Scaffoldに簡易検索機能を
終了時に終了時刻と実⾏結果を更新ログを取得追加してログを表示


実⾏ログ表示Webアプリケーション

ジョブ名のプレフィックスで絞り込み
日付で絞り込み

ジョブ名処理時間開始・終了時間実⾏状態

100⾏以下の少ないコードで実⾏ログ表示
Webアプリケーションを作成

データ処理状況をMuninでグラフ可視化

処理された各種データ量を定期的に観測してグラフ可視化を⾏う

PostgreSQL
データ量

HDFSデータ量

Queueサイズ
Twitter解析 Publish/
クラスタ Subscribe量
Muninで各データをグラフ化

データ種別毎に
処理量を出⼒


Muninとは
マシンのリソース使用状況を監視・グラフ化する
リソースモニタリングツール

Muninの特徴

CPU, メモリ, ディスク, ネットワーク等
の監視・グラフ化を⾏う。

大きな特徴はプラグイン作成による拡張
のしやすさ。

プラグインを作成して
Twitterデータ処理状況をグラフ化


バッチ処理データ量の可視化
キーワード
Keywords
解析済集計
データ
関連語
Topics
Topics 関連語
集計
ポジネガ
ポジネガ
⼊⼒データ量集計
ユーザ属性
日本語解析 Locations
データ量集計
居住地
Locations
Locations 居住地
集計
検索
Index Data
Index Data
インデックス

RDBロード量
各種抽出ツイート
Index Data
RDB
Index Data
データ
データ量
KVS KVSロード量
29

バッチ処理データ量の可視化

各フェーズでの処理データ量をグラフ可視化

⼊⼒ツイート日本語解析キーワード＆関連語キーワード＆
(バイト数) (バイト数) (バイト数) 関連語集計
(バイト数)
「いつ」「どこで」
「どのデータが」
処理されているかがわかる

障害対応・パフォーマンス
チューニングを強⼒にサポート KVSデータキーワード＆キーワード＆
(カラム数) 関連語関連語集計
(レコード数) (レコード数)

ストリーム処理データ量の可視化
キーワード
Keywords
解析済集計
データ
関連語
Topics
Topics 関連語
集計
ポジネガ
Semtiment
Semtiment ポジネガ
⼊⼒データ流量集計
/堆積量ユーザ属性
Locations
日本語解析集計
データ流量居住地
Locations
/堆積量 Locations 居住地
集計
検索
Index Data
Index Data
インデックス

RDBロード量
各種抽出ツイート
Index Data
RDB
Index Data
データ
データ流量 KVSロード流量
/堆積量 /堆積量
KVS
31

ストリーム処理データ量の可視化

各フェーズでの処理速度、データ処理量、キューサイズをグラフ可視化

⼊⼒ツイート日本語解析キーワード＆関連語キーワード＆
(ツイート数/秒) (ツイート数/秒) (バイト数) 関連語集計
(バイト数)

データ処理量の確認に加えて
データ処理速度の安定性も
確認できる

日本語解析出⼒キュー
(メッセージ数)


(補足) データ処理可視化Muninプラグイン
• Cawcaw https://github.com/haracane/cawcaw
– Rubygemとして公開
– HDFS, MySQL, PostgreSQL, RabbitMQのデータ量可視化をサポート


Twitter分析結果

34

Tweet数の推移
10月以降の「地震」のTwitter上でのトレンド

イタリア地震学者が M5.3＠宮城県沖
予知失敗で禁錮6年 M4.9＠千葉県北⻄部
・中越地震発生日

M5.6＠宮城県沖

M7.7＠カナダ⻄海岸

10/19 10/26 11/2 11/9 11/16 11/23 11/30

首都圏の地震では大きくツイート数が伸びる


関連語分析
「地震」の関連語上位5件

イタリア裁判・宮城沖地震カナダ地震首都圏・
中越地震発生日宮城沖地震
禁錮6年宮城県沖カナダ怖い
イタリア怖い日本多い
地震予知失敗多い日本時間震度4
新潟県中越地震地震速報⻄海岸地震速報
伊地裁宮城県マグニチュード7.7 発生時刻

「怖い」という
刑期のインパクト大震源地に関心地震情報が中心
感情表現が1位

実際の地震では感情表現が増加する


評判分析
ポジティブ
「地震」に関する評判ネガティブ

首都圏・
イタリア裁判宮城沖地震カナダ地震
宮城沖地震

31.3% 35.2% 40.4% 29.6%
59.6%
68.7% 64.8% 70.4%

首都圏地震の時が最もネガティブ

37

地域分析
「地震」とつぶやいたユーザの場所上位5件

イタリア裁判・宮城沖地震カナダ地震首都圏・
中越地震発生日宮城沖地震
東京東京東京東京
神奈川宮城神奈川神奈川
新潟神奈川愛知埼玉
千葉埼玉埼玉千葉
埼玉福島千葉宮城

震源地近辺が
新潟が上位に全国に分布ほぼ人口順
上位に

地震があると震源地のツイートが増加

38

性別分析
⼥性
「地震」についてつぶやいたユーザの男⼥⽐男性

首都圏・
宮城沖地震

26.7% 35.6%
45.3% 42.2%
54.7% 57.8% 64.4%
73.2%

実際の地震では⼥性率が上がる

39

年齢分析
10代
「地震」についてつぶやいたユーザの年齢分布 20代
30代
首都圏・ 40代
宮城沖地震 50代〜

10代が少ない 10代・20代が多い 50代以上が多い 10代が多い
(19.8%) (31.2・31.6%) (9.9%) (38.6%)

実際の地震では若年層のつぶやきが多い
(特に首都圏で起きた場合)

40

職業分析
公務員
「地震」についてつぶやいたユーザの職業分布会社員
自営業
専門職
首都圏・アルバイト
イタリア裁判宮城沖地震カナダ地震学生
宮城沖地震その他

公務員が多い学生が多い学生が多い
特徴なし
(9.2%) (48.0%) (53.8%)

裁判の話題では公務員のつぶやきが多い
学生は若年層と同様の傾向

41

まとめ

42

本日ご紹介した内容
• BuzzFinderのTwitter全量日本語解析の⼆つの仕組みの紹介
– バッチ処理
– リアルタイム処理

• Muninによるデータ処理状況の可視化

• BuzzFinderでの「地震」解析例のご紹介

43

Contacts
• BuzzFinderについて
– サービス紹介：http://www.nttcoms.com/service/buzzfinder.html

• Hadoop等について
– 原謙治
• kenji.hara@ntt.com
• Twitter @haracane
• ブログ http://hatacomp.hateblo.jp/

44

Hadoop Conference Japan 2013 Winter: "見える"Twitter全量リアルタイム解析～Hadoop/RabbitMQ処理の仕組みと可視化～

Recommended

Recommended

More Related Content

What's hot

What's hot (8)

Viewers also liked

Viewers also liked (12)

Similar to Hadoop Conference Japan 2013 Winter: "見える"Twitter全量リアルタイム解析～Hadoop/RabbitMQ処理の仕組みと可視化～

Similar to Hadoop Conference Japan 2013 Winter: "見える"Twitter全量リアルタイム解析～Hadoop/RabbitMQ処理の仕組みと可視化～ (20)

Recently uploaded

Recently uploaded (8)