Downloaded 59 times
Uploaded byJunichi Noda
Apache Sparkを利用した「つぶやきビッグデータ」クローンとリコメンドシステムの構築
デブサミ2016 1日目のセッション内容です。 http://event.shoeisha.jp/devsumi/20160218/session/993/
More Related Content
Similar to Apache Sparkを利用した「つぶやきビッグデータ」クローンとリコメンドシステムの構築
![[Oracle big data jam session #1] Apache Spark ことはじめ](https://cdn.slidesharecdn.com/ss_thumbnails/oraclebigdatajamsession1apachesparkquickstart-191127094941-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Anitech] ITでアニメを考える、「ShangriLa Meetup5」](https://cdn.slidesharecdn.com/ss_thumbnails/anitechitshangrilameetup5-170128172553-thumbnail.jpg?width=640&height=640&fit=bounds)
Apache Sparkを利用した「つぶやきビッグデータ」クローンとリコメンドシステムの構築
- 1.
- 2.
- 3. 1. 自己紹介 ■結構前 Java2EEによる業務オペレーションシステム ■ちょっと前 Perl/Rubyでソーシャルゲーム フレームワー ク開発 ■最近 Hadoopでアドテク Github:https://github.com/AKB428 Twitter: @n428dev Qiita: http://qiita.com/AKB428 Hatena: http://akb428.hatenablog.com/ 本部: http://akibalab.info/ Junichi Noda Larry Wall
- 4. • Sparkについて少し執筆しました • 「SoftwareDesign 2015年11月号」 • ConoHaを使ったHadoopクラスタの構成例と SparkSQLをつかったデータ処理の実例が記載。
- 5. 5 ↓これが作りたい 2014 7月22日 NHKNEWS WEB 2. 目的
- 6. • HadoopのMapReduceとは別アプローチ(DAG)での並列 分散集計処理を行う • インメモリー処理 •Hadoopエコシステムの一部として扱われるがHadoopと直 接的な関係はない • APIを利用できる言語はScala, Java, Python 3. Sparkについて
- 7.
- 8.
- 9.
- 10. Spark Streaming 〜データソースについて その他、ssc.socketTextStream("localhost", 7777) とするとローカルポートをソースにできるのでサーバーのログを流 し込んでリアルタイムにエラー、クラックIPの集計などが可能。
- 11.
- 12. 4. Spark Streamingを使用したオンライン Twitter解析によるレコメンドシステム「 Mikasa」-三笠 https://github.com/AKB428/mikasa_ol https://github.com/AKB428/mikasa_rs
- 16. • Twitterストリームからデータを取得する。 • TwitterStreaming APIを使う。 • 400の検索キーワードが指定可能。 • Spark Streamingでリアルタイム集計を行う。
- 17. • 日本語文章を単語にわけて分解して集計 • 日本語を分解するため形態素解析ライブラリ kuromojiを使う。 •アニメ作品など標準辞書にない単語はユーザー辞 書(CSV)を用意。
- 18.
- 19.
- 20.
- 21.
- 23. 画面デモ（直近5分を毎分集計） (F1)2015年4期 TVアニメ http://tv-anime.xyz/5/ (F1)2016年1期TVアニメ http://akiba-net.com/5/ (F2)ラブライブ http://lovelive-net.com/5/ (F2)デブサミ http://2045.tokyo/5/ (F2)関東TV番組 http://telev.net/5/ F1=ユーザー辞書に登録してある単語のみ集計 F2=ユーザー辞書外の単語も集計
- 24. 画面デモ（直近60分を毎分集計） (F1)2015年2期 TVアニメ http://tv-anime.xyz/60/ (F1)ラブライブhttp://tv-anime.biz/60/ (F2)ラブライブ http://lovelive-net.com/60/ (F2)秋葉原 http://akiba-net.com/60/ (F2)関東TV番組 http://telev.net/60/ F1=ユーザー辞書に登録してある単語のみ集計 F2=ユーザー辞書外の単語も集計
- 25.
- 26.
- 27.
- 28.
- 29. • コミケ 201512/31 朝8時頃
- 30.
- 31.
- 32.
- 33.
- 34.
- 35.
- 36.
- 37.
- 38.
- 39.
- 40.
- 41.
- 42. • Mikasa Twitterのデータ収集解析の２つのアプロ ーチについて • ①Twitter Filter + ユーザー辞書のみの単語で絞る • １のメリット▶集計しやすい、後続の処理も設計しや すい。 • １のデメリット▶未知の単語を拾えない、ユーザー辞 書にひもづく別のワードを拾えない • 結論：ある程度、解析対象のドメインが固定されて いるものにはこのアプローチは有効
- 43. • ② TwitterFilter + ユーザー辞書を使いつつ全ての単語を集計 • メリット▶ 未知のワードが拾える、リアルなネットワーク解 析ができる。 • デメリット▶ ジャンクワードが多く出現するのでデータクレ ンジングの作業にコストがかかる。 • 結論：解析対象が不明なドメインの場合、まずこのアプローチ で回す。計測対象のネットワークが変動しやすいドメインの場 合はこのアプローチが有効。ある程度アプローチ２で回してア プローチ１に切り替える、もしくはアプローチ１を追加した二 段のサービスに設計する。
- 44. Spark Streaming 〜ソースコード補足 •TwitterUtilは実体はJavaのTwitterライブラリで あるtwitter4j • Twitter解析にはTwitterAPI特有のAPIレートリ ミット、単一IPによる高負荷時のアクセス制 限があるので注意 • Twitter開発者アカウントには電話番号が必須 になったので気軽に開発はできなくなりつつ ある。
- 45. Mikasaインストールについて インストールマニュアル https://gist.github.com/AKB428/c30bc6a979e05fa3a022 • TwitterAPIとAmazonAPIのアカウントがあれば1時間でセッ トアップ完了。 • AmazonAPIはリコメンドしない場合は不要。 •TwitterAPIのアカウント取得も10分程度で可能。 Mikasa OL https://github.com/AKB428/mikasa_ol Mikasa RS https://github.com/AKB428/mikasa_rs
- 46. • 作ったシステムはスタンドアロンでも安定して動く（ 4ヶ月放置しても安定動作 Spark1.4、Spark1.5) •視覚的にわかりやすい、作りやすいのでSpark入門用 の教材に最適、会社ではインターン生にCDH、HDPク ラスタを構築してもらい、クラスタ上で動作するよう 作ってもらったりしている。（分散処理を体験したい 学生向け） • イベントのハッシュタグを監視し、イベントの展示モ ニタなどに使うといい感じ。（OSCでは実際使っても らっている。 6.まとめ
- 47.
- 48.