ZOZO前澤社長お年玉リツイート企画のビッグデータに立ち向かう方法　-Twitterのビッグデータを分析するために、実際にやってみてわかった嵌りポイントとその対策-

© 2018 CData Software Japan, LLC | www.cdata.com/jp
ZOZO 前澤社長お年玉リツイート企画のビッグデータに立ち向かう方法
-Twitterのビッグデータを分析するために、実際にやってみてわかった嵌りポイントとその対策-
2019/01
CData Software Japan
Kazuya Sugimoto -Lead Engineer

See the World as a
Database
Speaker
杉本和也：Kazuya Sugimoto
• CData Software Japan, LLC Lead Engineer
• Microsoft MVP for Business Solution(Dynamics CRM/365)
Blog：Morning Girl
http://kageura.hatenadiary.jp/
Twitter：@sugimomoto Facebook：sugimomoto

About CData Software
Bi-directional Access to Live App, Database, & Web API Data Through Standard Drivers
・CData Software, Inc. / Started: 1994 (/nsoftware)
・Location: Chapel Hill, NC a spin-off of /n software
・CData Japan: 2016/6 (JV with Infoteria)
・20年以上にわたりデータ関連コンポーネントを提供
・100+ 対応データソース
・「API を使いやすく」をミッションにクラウドデータ接続を標準化

はじめに
-なんでこんなことをしようと思ったのか？-

［前澤 API］で Twitter 検索すると出てくる
Twitter API ・抽選方法への懐疑的な声

API で取得できない、件数さばけない！
という声が多数！
ほんと・・・？

ちょっと話はそれますが

業界最多級のデータソース
Drivers for NoSQL, Big Data, & SaaS Connectivity
CRMおよびマーケティング自動化
会計システム
コラボレーションおよびERP
オンプレミスおよびクラウドDB
ドキュメントおよびファイル形式
ソーシャルネットワーキングネットワーキングおよび認証
電子商取引
その他

Power BI のデータソース拡張コネクターなどを作ってます
Drivers for NoSQL, Big Data, & SaaS Connectivity

CData Software Japan に勤めていて、
日々APIと戯れる API 中毒な人間として、
黙ってられない！

今日お話したいこと・伝えたいこと
どうやって500万件におよぶ大量の Twitter データを取得したらいいのか？
どうやれば、BIツールなどで分析できる状態に持っていけるのか？
みなさんが
「１億円使って獲得した大量のリツイートを分析したい！」
と思ったときのために
実際に大量ツイートを取得した経験から
分析するまでのアプローチ・対応方法・API の仕様や制約をまとめてみました！

立ちはだかる「嵌りどころ・落とし穴」たち

分析するまでの過程で遭遇した４つの課題
Twitter
API リミット対策
どうやって500万件の
ツイートを取得するの？
どうやって対象の
ツイートを特定するの？
Twitter Search
API の仕様と制限
どうやって取得した
データを構造化するの？
Twitter データの
構造と解析
どうやって DB に
データを流し込むの？
Twitter データの
DB移行方法

1.どうやって500万件のリツイートを取得するの？
-Twitter API リミット対策-

仮に ZOZO前澤社長が本気で API を使って抽選
しようとした場合どうなるか？
イベント期間
「1月5日 22：35 ～ 1月7日 24：00」
当選者発表
「1月8日 9：00」
もし、適切に当選者を全部取得して抽選するのであれば、
「約50時間（24時間 ☓ 2 ＋ 9時間）」
で500万リツイート取得する必要があった

通常通り Twitter API を使って取得した
場合どうなるの？

69時間！？厳しい！

そこで、2017年に発表された有償の Search API
「Premium / Enterprise Search API」を使う！

「Premium / Enterprise Search API」を
使った場合、どうなるの？
Standard Search API Premium Search API Enterprise Search API
取得対象期間過去 7 日間過去 30 日間過去 30 日間
1リクエストで取得できる件数 100 ツイート
count=100
500 ツイート
maxResults=500
500 ツイート
maxResults=500
リクエスト制限 15分 / 180 リクエスト 1分 / 60 リクエスト 1秒 / 20リクエスト
1時間あたりで取得できるツイート数 72,000 ツイート
180 * 4 * 100
1,800,000 ツイート
60 * 60 * 500
36,000,000 ツイート
20 * 60 * 60 * 500
1000万ツイート取得にかかる時間
（500万ツイートの場合）
138 時間
（69時間）
5.5 時間
（2.75時間）
22 分
（11分）
1000万ツイート取得にかかる費用無償 5,000 ドル Twitter 社次第

ちなみに Premium API の利用料金
（Enterprise API は Twitter 社へ要相談）

2.どうやって対象のツイートを識別するの？
-Twitter Search API の仕様と制限-

そもそも何を取得したかったのか？
主なターゲットは
このリツイート

でも、それ以外にも私はこの企画全体の
影響を可視化したかった・・・！
例えば・・・

意見を述べる人とか、ニュースとか

こういう偽物とか

なんか便乗する人とか

こんなイベントを開く人とか

もちろん当選した人も

取得したいツイートの種類
通常リツイート引用リツイートリプライ（返信）通常ツイート

Search API の「Query」を使うわけですが
-Query Available operators-

（仮定）
大本のツイートに「#月へ行くならお年玉」
これを使えば、全部いけるんじゃない？

やってみた
検索キーワードが
ツイート内にある
検索キーワードが
引用・リツイート先にある
ノーマルツイート取得可能 -
リプライ取得可能取得できない！
ノーマルリツイート - 取得可能
引用リツイート取得可能取得できない！

これが取得できない！！！！

いろいろ考えた

結論
「#月に行くならお年玉」の
ハッシュタグが含まれていない引用リツイートも、
ハッシュタグツイートも取得するならどうするか？

1.retweets_of:で前澤社長のリツイート・
引用リツイートをすべて取得
2. 「#月に行くならお年玉」検索でさらに取得
3.そして、重複データを削除！

つまり・・・

なので、今回は泣く泣く「#月に行くならお年玉」で
取得できるものをシンプルに集めました。
その数「430万ツイート」
それでも、27万円ほどかかりました
（うち、2万7千円が私の財布、3万9千円がPayPalで募ったところご支援いただけました！）
PS.もし、これならできるんじゃね？って人が居たら教えてください

ちなみに、取得した時に使ったコードは以下で公開中
https://github.com/sugimomoto/CData.Twitter.RetrieveZozoTweets

3.どうやって取得したデータを構造化するの？
-Twitter データの構造と解析-

とりあえず、なんやかんやで取得しました
8,653ファイル・33.5GB（1ファイル500ツイート）

でも中身はこんな感じ

{
Name : “kazuya”,
Age : 30,
Location : [-73.856077,
40.848447]
} 変換!?
スキーマレス
ネスト・配列ミックスな
階層構造
型はどうする？
配列はどうマッピングする？
ネスト構造は分ける？分けない？
RDBライクになれば、
BIツールに繋げやすい
どうやってRDBライクにスキーマを定義し扱うのか？

もちろん、Power BI は JSON 読み込めます
でも、何も挟まずに32GBものJSONを読むのは厳しい

しかも・・・
Twitter オブジェクトは結構フォーマットが多い

Basic Tweet Format

Extended Tweets Format

Retweets Format

Retweets and Quote Tweets Format

めんどくさい！
後々のことを考えてある程度リレーショナルな形に
フラット化したい！

そこで、CData JSON Driver を
利用することにしました

JSON ファイルの構造を自動解析して
勝手にリレーショナル化してくれる
{
"documents": [
{
"title": "SampleTitle1",
"updated_at": "2018-09-10T05:22:26Z",
“files": [
{
"name": “SampleFile1-1",
"language_code": “en"
},
{
"name": " SampleFile1-2",
"language_code": "ja"
}
]
},
{
"title": "SampleTitle2",
"updated_at": "2018-09-05T05:22:26Z",
“files": [
{
"name": “SampleFile2-1,
"language_code": "ja"
},
{
"name": “SampleFile2-2",
"language_code": “en"
}
]
}
]
}
* title update_at
1 SampleTitle1 2018-09-10T05:22:26Z
2 SampleTitle2 2018-09-05T05:22:26Z
* documents_id name language_code
1 1 SampleFile1-1 en
2 1 SampleFile1-2 ja
3 2 SampleFile2-1 ja
4 2 SampleFile2-2 en
Files テーブル
Documents テーブル
参考：http://bit.ly/CDataJson

こんな感じになります

こんな風に見えるようになります

4.どうやって DB にデータを流し込むの？
-Twitter データのDB移行方法-

JSONを構造的にアクセスできるようにしたはいいが
分析の度に都度JSONファイルを読み込むのは重い

とはいえ
• テラバイト・ペタバイト級のデータでも無い
• ワンポイントデータなのでストリーミング処理も要らない
• 構文解析などまで手を染めるつもりはない
最終的にメンバーで分析することも考えて、
シンプルにクラウドRDBに送って、BI ツールで接続できるくらいがちょうどいい

また手前味噌ですが、CData Sync を活用しました

CData Sync って？

.NET C#
CData
ADO.NET
つまり、こんな感じのアーキテクチャにする
.NET
C#
REST
API
HTTP
JSON
SQL
RecordSet
SQL
Twitter Premium APIで
ツイートデータを取得
フラット化したJSONデータを
CData Sync で Azure SQL にレプリケート
SQL
最終的にPower BIを使って
リツイートを分析
{ json }
RecordSet
CData JSON Driver で
JSON をリレーショナル化

.NET C#
CData
ADO.NET
ちなみに、もし Standard Search API を使うなら
138時間連続稼働させることを考えてこんな感じに
REST
API
HTTP
JSON
SQL
RecordSet
SQL SQL
{ json }
RecordSet
{ json }
{ json }
{ json }
Azure
Functions
Azure
Storage
Azure
Web Apps
もしくは、DataFactory という手も
Azure SQL
もしくは
Datawarehouse

こんな風に同期設定

Azure SQL 100 DTU に登録

これでようやく分析できる状況が整いました！

最後に分析結果
Power BI でデモ

66

67

68

69

70

71

72

73

まとめ

まとめ
• Premium API なら大量ツイートも軽々さばける！
• 検索アプローチは要注意。やりたいこととどこまで検索対象
にできるかは、事前に把握しておくこと。
• Twitter の JSON 構造は地味に複雑。
今後も変化する可能性あるので
柔軟に対応できる状態にしておくのがいい
• 500万リツイートでも40GBほど、実はそこまでビッグでもない
ちょうどいいRDB選択でも十分分析できる

CData Software Japan ではメンバーを募集中！
https://www.wantedly.com/projects/265684

Special Thanks
Blog公開時からご支援頂いた
@渡部知記さん
@Shohei Oda さん
@Takeshi Kagata さん
@小林竜也さん
@東賢 (Ken Azuma)さん
@井之上さん
ありがとうございます！

Thanks!

ZOZO前澤社長お年玉リツイート企画のビッグデータに立ち向かう方法 -Twitterのビッグデータを分析するために、実際にやってみてわかった嵌りポイントとその対策-

More Related Content

What's hot

Similar to ZOZO前澤社長お年玉リツイート企画のビッグデータに立ち向かう方法 -Twitterのビッグデータを分析するために、実際にやってみてわかった嵌りポイントとその対策-

Recently uploaded