Twitter butler
- 2. 自己紹介
• 細川 慎也
• 宮城県の企業に勤めています。
• SI系、いわゆるITドカタ
• 今は短期出張中です。
• Twitter ID: arcanum_jp
• facebook : 本名で登録しています。
• その他サービス
• arcanum_jp / arcanum.jp / arcanumjp …
- 15. 最近の出来事
• ユーザーさんのタスクが想定外すぎる
• RT
• 想定:1時間に1回ぐらいやるのかな・・・ →1個のタスクで十分
• 実際:1時間ごとにタスク作ってた →0:00~23:00の24タスク
• タスクの作りによっては、レイトリミットを軽く超えるようになっていた
• ツイートのテンプレート数
• 想定:まぁ、あんまり入力しないだろうな・・・
• 実際:一人で1000も2000もテンプレート登録
• その他
- 16. 最近の出来事
• ユーザーさんのタスクが想定外すぎる
• RT
• 想定:1時間に1回ぐらいやるのかな・・・ →1個のタスクで十分
• 実際:1時間ごとにタスク作ってた →0:00~23:00の24タスク
• タスクの作りによっては、レイトリミットを軽く超えるようになっていた
• ツイートのテンプレート数
• 想定:まぁ、あんまり入力しないだろうな・・・
• 実際:一人で1000も2000もテンプレート登録
• その他
- 18. 最近の出来事
• サーバーの容量が700Kbに・・・ 一時
• なぜじゃーーーー(汗)
• 一時、サービスが立ち行かないぐらい不安定に。
• 再起動しても起動が遅い。
• そもそもサーバーにつながりづらい・・・
• ログだ!ログテーブルが怪しい! コイツが大きすぎる?
• select count(1) from xxx がもう20分ほど待っても返らない
• もうtruncate実施!でも変わらない!
• 対策:
• とりあえずAWS上のストレージを5Gほど増やす
- 19. 最近の出来事
• サーバーの容量が700Kbに・・・ 一時
• なぜじゃーーーー(汗)
• 一時、サービスが立ち行かないぐらい不安定に。
• 再起動しても何もできない。
• そもそもサーバーにつながりづらい・・・
• ログだ!ログテーブルが怪しい! コイツが大きすぎる?
• select count(1) from xxx がもう20分ほど待っても返らない
• もうtruncate実施!でも変わらない!
• 対策:
• AWS上のストレージを5Gほど増やす
• 原因:
• PostgreSQLのトランザクションログが膨大になっていた。
• トランザクションログ消したら7G以上空きが・・・・
- 22. 最近の出来事
• OutOfMemory
• ユーザーごとのタイムライン処理
• 原因:
• スレッドが起ちすぎる(ユーザーごとのスレッド)
• 大体200以上のスレッドが常時起動
• Twitter4jのUserStream自体はそれぐらいは当然耐えられる。
• 問題はサーバー側のメモリ容量
• 対策:
• タイムライン反応のサービス停止中! ・・・ サービスレベル低下
• TwitterにSiteStreamを申請中 ・・・ 絶賛ガン無視され中!
• UserStreamをプロセス化