ふぁぼ収集サービスのつらみ
•2 likes•8,038 views
Report
Share
Download to read offline
第3回関西アンカンファレンス(2013/05/18)発表スライド＋解説
More Related Content
Recently uploaded
Recently uploaded(11)
Featured
Featured(20)
ふぁぼ収集サービスのつらみ
- 3. 3 ふぁぼ収集サービスのつらみ １．自己紹介 ハンドル名：おさ ネット歴：もうそろそろ 20 年 テレホマンと戦った Twitter ： @osapon Web サイト： http://www.osa-p.net/ PG ・ SE を経て、現在 仕事探し中 ... ＿＿＿＿ ＿＿＿ ／ ／ ´∀ ｀ ;::: ＼＜ 呼んだ？ / /::::::::::| | | ./| /:::::|::::::| ＼＿＿＿＿ | | ｜／ ::::::::|::::::|
- 4. 4 ふぁぼ収集サービスのつらみ ２．ふぁぼるっくについて ふぁぼるっくって、どんなサイト？ Twitter の favorite （お気に入り）を 集計して表示するサイト。 が、表向き。実体は…。
- 5. 5 ふぁぼ収集サービスのつらみ ２．ふぁぼるっくについて Favstar が落ちたときに見に行くサイト。 ふぁぼったーが落ちたときに見に行くサイト。 忙しいときは 1 時間当たり数千 PV 、 通常は 1 日千 PV 。 いつ来るか分からない客のために 常に準備をするサイト。
- 6. 6 ふぁぼ収集サービスのつらみ ２．ふぁぼるっくについて Favstar が落ちたときに見に行くサイト。 ふぁぼったーが落ちたときに見に行くサイト。 忙しいときは 1 時間当たり数千 PV 、 通常は 1 日千 PV 。 いつ来るか分からない客のために 常に準備をするサイト。
- 9. 9 ふぁぼ収集サービスのつらみ ３．作成から公開 1 週間後、完成。 その後、 1 週間かけてデータの収集と確認。 2009 年 8 月 1 日、公開。 ふぁぼ界に、ふぁぼったーが万能では無い という一石を投じた。
- 10. 10 ふぁぼ収集サービスのつらみ ４．運用の苦労 徐々に利用者が増え、問題点が浮き彫りに。 当初の構成は 1 台の自宅サーバに Web サーバー・ DB サーバーが相乗り 自 宅 サ ー バ ー httpd PostgreSQL クローラー よくある Atom ミニ PC
- 11. 11 ふぁぼ収集サービスのつらみ ４．運用の苦労 徐々に利用者が増え、問題点が浮き彫りに。 当初の構成は 1 台の自宅サーバに Web サーバー・ DB サーバーが相乗り 自 宅 サ ー バ ー httpd PostgreSQL 重い重い クローラー よくある Atom ミニ PC
- 12. 12 ふぁぼ収集サービスのつらみ ４．運用の苦労 負荷対策として SQL のチューニング。 DB のテーブル設計の見直し。 DB と Web サーバーの切り離し。 自 宅 サ ー バ ー クローラーPostgreSQL さ く ら VPS httpd クローラー
- 13. 13 ふぁぼ収集サービスのつらみ ４．運用の苦労 負荷対策として SQL のチューニング。 DB のテーブル設計の見直し。 DB と Web サーバーの切り離し。 自 宅 サ ー バ ー クローラーPostgreSQL さ く ら VPS httpd クローラー 解説 フロントとバックエンドを分離 ちょっとリソースが空くと、 クローラーを走らせる悪い癖
- 14. 14 ふぁぼ収集サービスのつらみ ４．運用の苦労 負荷対策として HTML の最適化。 ajax での非同期読み込み。 静的ファイルを別サーバーへ追い出し。 自 宅 サ ー バ ー クローラーPostgreSQL さ く ら VPS httpd クローラー さ く ら レ ン サ バ 画像 JS CSS
- 15. 15 ふぁぼ収集サービスのつらみ ４．運用の苦労 負荷対策として HTML の最適化。 ajax での非同期読み込み。 静的ファイルを別サーバーへ追い出し。 自 宅 サ ー バ ー クローラーPostgreSQL さ く ら VPS httpd クローラー さ く ら レ ン サ バ 画像 JS CSS 解説 静的ファイルを外出し。 Yahoo! の最適化解説ブログで、画像など取得するのに、 cookie のヘッダが邪魔と聞いて。 実際はそんなことを気にするのは、もっと先（数億 PV からだと思う）
- 16. 16 ふぁぼ収集サービスのつらみ さ く ら VPS 自 宅 サ ー バ ー さ く ら VPS 自 宅 サ ー バ ー ４．運用の苦労 負荷対策として サーバーのさらなる分散化。 MongoDB 導入。 PostgreSQL httpd クローラー User Stream リーダー User Stream リーダー AmazonS3 画像 JS CSS MongoHQ MongoDB MongoDB MongoDB クローラー MongoDB MongoDB クローラー
- 17. 17 ふぁぼ収集サービスのつらみ さ く ら VPS 自 宅 サ ー バ ー さ く ら VPS 自 宅 サ ー バ ー ４．運用の苦労 負荷対策として サーバーのさらなる分散化。 MongoDB 導入。 PostgreSQL httpd クローラー User Stream リーダー User Stream リーダー AmazonS3 画像 JS CSS MongoHQ MongoDB MongoDB MongoDB クローラー MongoDB MongoDB クローラー 解説 UserStream が登場。 詳細はあとで。 データベースへの投入が大量になり、 DB セッションが足りなくなる。 挿入時間もかかる。 MongoDB は処理が早い、すぐに返ってくるので、 いったん貯めておいて、少しずつ取り込む。 クローラーは相変わらず。
- 18. 18 ふぁぼ収集サービスのつらみ 自 宅 サ ー バ ー ４．運用の苦労 負荷対策として サーバーのさらなる分散化。 memcached 導入。 PostgreSQL AmazonS3 画像 JS CSS クローラー さ く ら VPS httpd クローラー Memcached さ く ら VPS MongoDB Memcached CloudCoreVPS User Stream リーダー CloudCoreVPS クローラー AmazonEC2AmazonEC2 クローラー MongoHQ MongoDB 収集力 UP
- 19. 19 ふぁぼ収集サービスのつらみ 自 宅 サ ー バ ー ４．運用の苦労 負荷対策として サーバーのさらなる分散化。 memcached 導入。 PostgreSQL AmazonS3 画像 JS CSS クローラー さ く ら VPS httpd クローラー Memcached さ く ら VPS MongoDB Memcached CloudCoreVPS User Stream リーダー CloudCoreVPS クローラー AmazonEC2AmazonEC2 クローラー MongoHQ MongoDB 収集力 UP 解説 負荷対策とか自分に嘘をつくのをやめる。 EC2 small インスタンスを採用 使いたいときに使えるオンデマンドインスタンスは $0.06/1 時間 入札制度で高値入札した人から使えるスポットインスタンスは $0.01/1 時間 だった。 $0.01 x 24hours x 30days x ￥ 80( 当時の 1 ドル )= ￥ 600 ぐらいで、 1.7GB のメモリを積んだマシンが使えた。
- 21. 21 ふぁぼ収集サービスのつらみ 自 宅 サ ー バ ー ４．運用の苦労 負荷対策として なにがなにやら。 AmazonS3 画像 JS CSS さ く ら VPS MongoDB Memcached GMO ク ラ ウ ド GMO ク ラ ウ ド GMO ク ラ ウ ド User Stream リーダー MongoHQ MongoDB GMO ク ラ ウ ド httpd User Stream リーダー 自 宅 サ ー バ ー PostgreSQL 自 宅 サ ー バ ー クローラーNFS PostgreSQL クローラー 解説 円高終了、 EC2 撤退 CloudCoreVPS からも撤退。 大量セッションを張ると不正と判定される。 ITmedia の記事で、社長が取材に「無茶な使い方をして欲しい」と言って いたのに、無茶な使い方ができない。 単体なら良いけど、他のサーバーと組み合わせるシステムには無いわー。
- 23. 23 ふぁぼ収集サービスのつらみ ４．運用の苦労 解説 順調にマシンが増えています。 自宅サーバー 3 台、 VPS 6 台 (2013 年 5 月現在 )
- 28. 28 ふぁぼ収集サービスのつらみ ４．運用の苦労 SSD SSD SSD SSD 解説 マスター DB は SSD の RAID0 。 とにかくディスクが足を引っ張る。
- 32. 32 ふぁぼ収集サービスのつらみ ５．効率的なふぁぼの回収 もっとふぁぼふぁぼしたいー !! ふぁぼ回収の救世主となるシステムが開始。 UserStream SiteStream は？ 解説 SiteStrem は 4 回問い合わせたけど、無視。他の人も無視されてるっぽい。 お金が払えるとこしか相手しないのだろう。 NTT が何かサービスやってましたね。
- 34. 34 ふぁぼ収集サービスのつらみ ５．効率的なふぁぼの回収 UserStream を使えば「ふぁぼり」「ふぁぼられ」が もれなく取得出来る。 ただし、対象者の OAuth 認証が必要。 解説 1 アカウントあたり 1 プロセス。 サーバーからプロセス立ち上げまくって、セッション張りまくり。
- 35. 35 ふぁぼ収集サービスのつらみ ５．効率的なふぁぼの回収 11 サーバあたりサーバあたり 10001000 アカウントアカウント
- 36. 36 ふぁぼ収集サービスのつらみ ５．効率的なふぁぼの回収 11 サーバあたりサーバあたり 10001000 アカウントアカウント 解説 だいたい 1 サーバ 400 ～ 2000 本 7 台。 (2013 年 5 月現在 )
- 37. 37 ふぁぼ収集サービスのつらみ ５．効率的なふぁぼの回収 UserStream を主軸に REST でふぁぼ回収。 最大 28 アカウント ( うちホワイトリスト入り 2 アカウント ) 合計毎時 49100 リクエスト API 1.1 開始 Favorites/list は毎時 60 回まで → 合計毎時 1680 リクエスト 1/30 にパワーダウン !!
- 38. 38 ふぁぼ収集サービスのつらみ ５．効率的なふぁぼの回収 UserStream を主軸に REST でふぁぼ回収。 最大 28 アカウント ( うちホワイトリスト入り 2 アカウント ) 合計毎時 49100 リクエスト API 1.1 開始 Favorites/list は毎時 60 回まで → 合計毎時 1680 リクエスト 1/30 にパワーダウン !! 解説 API 1.1 は 15 分で 15 回 使えないも同然
- 39. 39 ふぁぼ収集サービスのつらみ ５．効率的なふぁぼの回収 現在、ふぁぼるっくでは 6000 人分ほどの UserStream を監視中。 精度向上のため、さらなるアプリケーション連携の 許可をお願いします。
- 40. 40 ふぁぼ収集サービスのつらみ ５．効率的なふぁぼの回収 現在、ふぁぼるっくでは 6000 人分ほどの UserStream を監視中。 精度向上のため、さらなるアプリケーション連携の 許可をお願いします。
- 49. 49 ふぁぼ収集サービスのつらみ ６．効率的なふぁぼの見せ方 ○○ 団 ShootingStar ふぁぼ爆撃 FavstarBAN 勢 一時期話題になったキーワード 一部クラスタで
- 50. 50 ふぁぼ収集サービスのつらみ ６．効率的なふぁぼの見せ方 ○○ 団 ShootingStar ふぁぼ爆撃 FavstarBAN 勢 一時期話題になったキーワード 一部クラスタで 解説 これらのふぁぼは何だろう。 聞いたことがあるかもしれないキーワード
- 52. 52 ふぁぼ収集サービスのつらみ ６．効率的なふぁぼの見せ方 爆撃アカウントの特徴爆撃アカウントの特徴 一週間のふぁぼ数グラフ ふぁぼ数 → ↑ ユ ー ザ ー 数 解説 アカウント毎のふぁぼ数をグラフ化 0 に近いアカウントが多く、 100 を過ぎた当たりから、 少数のアカウントになる。 1 万以上ふぁぼっているアカウントも。
- 53. 53 ふぁぼ収集サービスのつらみ ６．効率的なふぁぼの見せ方 爆撃アカウントの特徴 一週間のふぁぼ数 アカウント数 0 3,553,073 1 99,266 2 44,782 3 27,567 4 19,471 5 14,588 6 11,361 7 9,542 8 7,720 9 6,696 10 5,764
- 54. 54 ふぁぼ収集サービスのつらみ ６．効率的なふぁぼの見せ方 爆撃アカウントの特徴 一週間のふぁぼ数 アカウント数 0 3,553,073 1 99,266 2 44,782 3 27,567 4 19,471 5 14,588 6 11,361 7 9,542 8 7,720 9 6,696 10 5,764 解説 分かりにくいので、 100 ふぁぼ以下を拡大。 多くの人は、そんなにふぁぼっていない。
- 57. 57 ふぁぼ収集サービスのつらみ ６．効率的なふぁぼの見せ方 Favstar が積極的な BAN を実施
- 58. 58 ふぁぼ収集サービスのつらみ ６．効率的なふぁぼの見せ方 Favstar が積極的な BAN を実施 ↓ 爆撃クラスタが沈静化
- 59. 59 ふぁぼ収集サービスのつらみ ６．効率的なふぁぼの見せ方 Favstar が積極的な BAN を実施 ↓ 爆撃クラスタが沈静化 収集アカウントの多様化
- 60. 60 ふぁぼ収集サービスのつらみ ６．効率的なふぁぼの見せ方 Favstar が積極的な BAN を実施 ↓ 爆撃クラスタが埋もれる ↓ 爆撃クラスタが沈静化 収集アカウントの多様化
- 61. 61 ふぁぼ収集サービスのつらみ ６．効率的なふぁぼの見せ方 Favstar が積極的な BAN を実施 あまり効果無かった！！ ↓ 爆撃クラスタが埋もれる ↓ 爆撃クラスタが沈静化 収集アカウントの多様化
- 62. 62 ふぁぼ収集サービスのつらみ ６．効率的なふぁぼの見せ方 Favstar が積極的な BAN を実施 あまり効果無かった！！ ↓ 爆撃クラスタが埋もれる ↓ 爆撃クラスタが沈静化 収集アカウントの多様化 解説 偏差値を導入した直後ぐらい。
- 64. 64 ふぁぼ収集サービスのつらみ ７．まとめ ●ふぁぼは集め出したらキリが無い ●固定ユーザーを掴むまでは、ひたすら集めるだけ ●いつ来るか分からないユーザーの為に準備が必要 ●Twitter 社がサービスを始めたら即死 解説 自分の知らないクラスタとか結構ある アクティビティや 25 アカウントまでの表示が出来たけど、 まだ見難いので助かっている。
- 67. 67 ふぁぼ収集サービスのつらみ ふぁぼるっくをよろしく http://favlook.osa-p.net/ 解説 Google に facebook と間違えられたこともありました。