2014/1/15（水）のShibuya.rbでの発表内容です。

1. 人気の勉強会を逃さない
システム
@ryonext

2. 自己紹介
•
@ryonext
•
提督です

3. 勉強会にありがちなこと

4. よさそうな勉強会

6. 人いっぱい

8. こ
の
あ
と
滅
茶
た 苦
茶
キ
ャ
ン
セ
ル
し

9. いい勉強会を逃さない方法を
考えたい

10. と思ってたら良いサービスがで
きてた
•
IT勉強会ですよ Beta http://itcal.jp/

11. •
ちょっと違うアプローチのものを考えてみた

12. •
エンジニアは勉強会に参加登録するとつぶやくはず
•
つまり、たくさんつぶやかれている勉強会のURLはすご
い勉強会っぽい気がする

13. というわけで作ってみた
Twitter
connpass.com
zussar.com
doorkeeper.jp
kokucheese.com
atnd.org
を含むつぶやき
fluentd
MongoDB
表示用
アプリ

14. fluentd(td-agent)で使ったプラグ
イン
•
fluent-plugin-twittersearch
•
Twitterの検索API叩く用途
•
fluent-plugin-twitterというものもあるが、こっちはstreaming apiを使うも
の。streaming apiではやりたいことが実現できなかった
•
streaming apiはデータが渡された時点で、ランダムに(?)データが抽出されて
いて、そこから条件に合うものをフィルタする、というものだった
•
勉強会のURLをつぶやいている人はそんなにいないので良いデータが取れな
かった
•
fluent-plugin-mongo

15. 作ったプラグイン
•
文字列の中からurlを抜き出すだけのプラグイン
•
機能小さいので自分のGitHubにおいてあるだけ

16. データストアについて
•
最初はRedis使おうと思っていたけど、Redisのランキン
グは { モデルのid, ランク付けに使用するポイント } みた
いなデータになっているときに使えるものだった
•
つぶやかれたURLをひたすら溜めていってあとから集計
するものなのでmongo使ってみた

17. Viewer
•
Padrino+Mongoidで実装してみました

18. 一応動いているのでデモ

19. 課題たくさん:Twitterからの取得
•
fluent-pugin-twittersearchは取得済みとか気にしないで取得される
•
mongodbで重複データになる
•
今はmongodbで消してるけどこのやり方でいいのか・・・
•
•
ユニークインデックスを削除
•
•
ユニークインデックスをツイートIDに貼って、ユニークじゃないのを削除
ユニークインデックスを残しているとfluentd => mongoのところで死ぬ
twittersearchをfolkして、取得済みを拾わないようにするのが良さそう

20. 課題：短縮url
•
なにもしないと短縮urlで入ってくるし、リンク先のタイ
トルも欲しい
•
•
ページ表示時に短縮&タイトル取得やると遅すぎる
でもツイート全部に対して短縮urlの拡張やるのもリクエ
スト数ヤバイ
•
mongodbで、短縮urlと本物urlとページタイトルをマッ
ピングするレコードを作る仕組みが良さそう

21. 課題:置き場
•
fluentd, mongo, webアプリを無料または安く置けるのっ
てどこだろう
•
Herokuでfluentdが動かせれば条件満たせそうですが

22. 課題：仮説が間違ってた？
•
いま出ているデータを見る限り、上位に来る勉強会が超
人気勉強会ではないっぽい
•
そもそもIT勉強会ではないものが入ってる
•
•
フィルタリングが要りそう
エンジニアが参加します！ってつぶやくより、ガチでマー
ケティングしててRTしまくってるものの方がつぶやき数
が多くなるのかもしれない