東京オープンソースカンファレンス 2015 Tokyo/Fallで発表した資料です。セミナータイトル「Spark Streamingで作る、つぶやきビックデータのクローン」

1. Spark Streaming を使用した
Twitter解析による
レコメンドサービス例
秋葉原IT戦略研究所
野田純一
2015.10.24

2. Overview
1.自己紹介
2.目的
3.Sparkについて
4.Spark Streamingについて
5.検証サービス説明
6.Spark Streamingを使用したオンラインTwitter解析によるレコメンドシステム
「Mikasa」-三笠
7.参考文献紹介
8.まとめ

3. 1. 自己紹介 野田純一
■結構前
Java2EEによる業務オペレーションシステム
■ちょっと前
Perl/Rubyでソーシャルゲーム フレームワー
ク開発
■最近
Hadoopでアドテク
Github: https://github.com/AKB428
Twitter: @n428dev
Qiita: http://qiita.com/AKB428
Hatena: http://akb428.hatenablog.com/
本部: http://akibalab.info/
Junichi Noda Larry Wall

4. 4
↓これが作りたい
2014 7月22日 NHK

5. 5. Sparkについて
• HadoopのMapReduceとは別アプローチ(DAG)での並列分散集計処理を行う
• インメモリー処理
• Hadoopエコシステムの一部として扱われるがHadoopと直接的な関係はない
• 2015年6月11日に 1.4.0 がリリース。https://spark.apache.org/releases/spark-release-1-4-0.html
• 1.4.0でSparkRが追加(R言語でSparkを利用できる）
• APIを利用できる言語はScala, Java, Python
SparkR

6. 5. Sparkについて ∼Spark処理でのDAG

7. • http://itpro.nikkeibp.co.jp/atcl/column/
14/122600137/122600004/?ST=bigdata&P=3

8. 5. Sparkについて∼最近の情勢
• 2015年6月15日 IBMが開発者と研究者を3500人Spark関連プロ
ジェクトに投入 http://japan.zdnet.com/article/35065964/
• 2015年 6月15∼17日 Spark summit 2015 開催 (サンフランシスコ)
• NTTデータ社が定期的に勉強会を実施
• 国内のサービス実例は少ない
• 2大Hadoopディストリビューション CDHとHDPにはSparkが搭
載
• Spark1.4からはUIでモニタリングも行えるようになった。
http://qiita.com/AKB428/items/71900eecdf2350e1e45f

9. 6. Spark Streaming について
• Sparkサブシステムの一つでファイルからでなくリアルタイ
ムに流れてくるストリームソースに対しての集計を対象とし
ている。
• 直近1時間のツイート数を毎分集計する、直近3時間でアクセ
スが多いIPを集計する・・などのウィンドウ集計が可能。

10. 6. Spark Streaming ∼データソースについて
その他、ssc.socketTextStream(" localhost", 7777)
とするとローカルポートをソースにできるのでサーバーのログを流
し込んでリアルタイムにエラー、クラックIPの集計などが可能。

11. 3. 検証サービス説明

13. 4. Spark Streamingを使用したオンライン
Twitter解析によるレコメンドシステム
「Mikasa」-三笠
https://github.com/AKB428/mikasa_ol
https://github.com/AKB428/mikasa_rs

15. 動画デモ
http://youtu.be/o6xq_RdNv6s
これがこのプレゼンを聞くと作れるようになります。

18. • Twitterストリームからデータを取得する。
• Twitter Streaming APIを使う。
• 400の検索キーワードが指定可能。
• Spark Stremingでリアルタイム集計を行う。

19. • 日本語文章を単語にわけて分解して集計
• 日本語を分解するため形態素解析ライブラリ
kuromojiを使う。
• アニメ作品など標準辞書にない単語はユーザー辞
書(CSV)を用意。

20. 形態素解析ライブラリの必要性について

21. ユーザー辞書の必要性について

22. Spark Streamingによるウィンドウ集計の活用
Mikasaは直近5分、直近60分のデータ集計を毎
分行っている。（合計60*2=120回)
少ないソースコードで、ウィンドウ集計が可能。

23. • ソースコード
• https://github.com/AKB428/mikasa_ol/blob/
master/src/main/scala/mikasa.scala

25. 画面デモ（直近5分を毎分集計）
(F1)2015年2期 TVアニメ http://tv-anime.xyz/5/
(F1)ラブライブ http://tv-anime.biz/5/
(F2)ラブライブ http://lovelive-net.com/5/
(F2)秋葉原 http://akiba-net.com/5/
(F2)関東TV番組 http://telev.net/5/
F1=ユーザー辞書に登録してある単語のみ集計
F2=ユーザー辞書外の単語も集計

26. 画面デモ（直近60分を毎分集計）
(F1)2015年2期 TVアニメ http://tv-anime.xyz/60/
(F1)ラブライブ http://tv-anime.biz/60/
(F2)ラブライブ http://lovelive-net.com/60/
(F2)秋葉原 http://akiba-net.com/60/
(F2)関東TV番組 http://telev.net/60/
F1=ユーザー辞書に登録してある単語のみ集計
F2=ユーザー辞書外の単語も集計

27. 画面デモ 過去の履歴キャプチャ

28. 2015年7月22日
7月22日 ラブライブ 矢澤にこ 誕生日
28

29. 29
２０１５年７月２２日

30. 過去のキャプチャ 今期(2015/夏期)のアニメ
30

31. 実際の売上
31

32. デモ：リコメンドTwitterボット
https://twitter.com/Akihabaara_itso
https://twitter.com/AuctionMadoka

33. サーバーデモ
動作中のサーバーのコンソールを公開

34. ユーザー体験デモ（直近5分集計）携帯でアクセス!
(F1)2015年2期 TVアニメ http://tv-anime.xyz/5/
(F1)ラブライブ http://tv-anime.biz/5/
(F2)ラブライブ http://lovelive-net.com/5/
(F2)秋葉原 http://akiba-net.com/5/
(F2)関東TV番組 http://telev.net/5/
F1=ユーザー辞書に登録してある単語のみ集計
F2=ユーザー辞書外の単語も集計

35. ユーザー体験デモ（直近60分集計）携帯でアクセス
(F1)2015年2期 TVアニメ http://tv-anime.xyz/60/
(F1)ラブライブ http://tv-anime.biz/60/
(F2)ラブライブ http://lovelive-net.com/60/
(F2)秋葉原 http://akiba-net.com/60/
(F2)関東TV番組 http://telev.net/60/
F1=ユーザー辞書に登録してある単語のみ集計
F2=ユーザー辞書外の単語も集計

36. • Mikasa Twitter のデータ収集解析の２つのアプ
ローチについて
• ①Twitter Filter + ユーザー辞書のみの単語で絞る
• １のメリット▶集計しやすい、後続の処理も設計し
やすい。
• １のデメリット▶未知の単語を拾えない、ユーザー
辞書にひもづく別のワードを拾えない
• 結論：ある程度、解析対象のドメインが固定されて
いるものにはこのアプローチは有効

37. • ② Twitter Filter + ユーザー辞書を使いつつ全ての単語を集計
• メリット▶ 未知のワードが拾える、リアルなネットワーク
解析ができる。
• デメリット▶ ジャンクワードが多く出現するのでデータクレ
ンジングの作業にコストがかかる。
• 結論：解析対象が不明なドメインの場合、まずこのアプロー
チで回す。計測対象のネットワークが変動しやすいドメインの
場合はこのアプローチが有効。ある程度アプローチ２で回し
てアプローチ１に切り替える、もしくはアプローチ１を追加
した二段のサービスに設計する。

38. 4. Spark Streaming ∼ソースコード補足
• TwitterUtilは実体はJavaのTwitterライブラリで
あるtwitter4j
• Twitter解析にはTwitterAPI特有のAPIレートリ
ミット、単一IPによる高負荷時のアクセス制
限があるので注意
• Twitter開発者アカウントには電話番号が必須
になったので気軽に開発はできなくなりつつ
ある。

39. Mikasaインストールについて
インストールマニュアル
https://gist.github.com/AKB428/c30bc6a979e05fa3a022
• TwitterAPIとAmazonAPIのアカウントがあれば1時間でセット
アップ完了。
• AmazonAPIはリコメンドしない場合は不要。
• TwitterAPIのアカウント取得も10分程度で可能。
Mikasa OL
https://github.com/AKB428/mikasa_ol
Mikasa RS
https://github.com/AKB428/mikasa_rs

40. • 9. 参考文献紹介-1
「Scala逆引きレシピ」
• 他言語経験者でScalaが初心者の方にお奨め、情
報も新しく、PlayフレームワークやSBTの説明も
豊富。

41. • 9. 参考文献紹介-2
「初めてのSpark」
• Sparkのコーディングはこれを読めば理解可能。
• Spark1.4まで対応(現在は1.5)

42. • 9. 参考文献紹介-3
• 「Apache Spark 入門」
• 10月29日発売、NTTデータが記述

43. • 9. 参考文献紹介-4
• 「Software Design 2015年11月号」
• ConoHaを使ったHadoopクラスタの構成例と
SparkSQLをつかったデータ処理の実例が記載。

44. • 10. まとめ
• Twitterストリームのリアルタイムな集計にSpark
Streamingは最適だった。（SQLだとデータを一度DB
に格納し日付系の長いSQLを打つ必要がある。）
• 日本語データを解析するためには形態素解析ライブラ
リの使い方の把握、ユーザー辞書のチューニング、デー
タクレンジングが重要で、ある程度は時間がかかる。
• Hadoop界隈のトレンドは間違いなくSpark。クラスタ
設計をする場合はメモリに関しては潤沢に用意する必
要はある。・・が取り扱い幅が大きくないならスタン
ドアロンでも十分。

45. 秋葉原IT戦略研究所では、IT&OSSでアニメや秋葉
原をもっと楽しくできるようなサービス、アプリ
を作成中です。同人サークルなので興味がある方は
声をかけてください。
http://akibalab.info/
http://qiita.com/AKB428/items/64938febfd4dcf6ea698

46. https://twitter.com/anime_follower

47. ご清聴ありがとうございました