突然、Yahoo!の急上昇ワードになって焦った話。

1. Yahoo!の急上昇ワード1位に
なった話
pc-concierge.net
斉藤 孝之

2. 自己紹介
ガラス工場のライン工→人材営業→IT業界へ。
データセンター運用(MSP)→独立系Sier→IT講師→Web系運用(MSP)
現在はITコンシェルジュとして活動中！
MORIO Dojoの帯： MORI帯！
好きなIDCFクラウドのサービス： もちろん仮想マシン！
【賞歴】
チューニンガソン入賞
インストールマニアックスFinal準優勝
IDCFクラウド最優秀アンバサダー
@taka3110_pcc
FB: takayuki.saito.1232
斉藤 孝之
さいとう たかゆき

3. こんな事やってます。
社内勉強会の企画や講師とか
IT問題解決のお手伝いとか
セルフマネージドの支援～インフラ構築～運
用設計まで1ストップに。

4. 突然スパイクした

5. ダイナミックスケールアップ
• 17:25 アラートにより事象確認、対応開始
• 17:28 サーバーにログインもサーバー負荷が高い状態を確認
• 17:30 apacheの再起動を実施も状況改善せず
• 17:34 再度apacheの再起動を実施も状況改善せず
• →アクセス集中している事を確認。攻撃か通常アクセスか確認を開始。
• 17:36 DBにてアクセスが処理し切れない状態を確認。
• →DBのチューニングを開始(主にmax_connection、及びmemoryチューニン
グ)
• 17:40 DBにてsleepセッションが残る為、apacheを再起動
• 17:44 WEBをStandard.S4からHighCPU.L8にスケールアップ
• 17:51 DBをHighCPU.M4からHighCPU.L8にスケールアップ

6. ダイナミックスケールアップ２
• 17:53 sleepセッション開放の為、apacheの再起動を実施
• 17:55 アクセスが更に集中し、状況が改善しない状態を確認
• 18:00 WEB、DBともにHighCPU.2XL32（最大）にスケールアップ
• →最大受付数をWEBを1024、DBを1500に変更
• 18:02 アクセス集中により処理し切れない為、受付数をWEBを1500
に変更、DBを2048に変更
• 18:08 アクセス集中原因を確認。
• 18:11 WEB2台構成の検討を開始もDBがボトルネックの為、断念

7. ダイナミックスケールアップ２
• 18:19 sleepセッション残留の為、apacheの再起動を実施
• 18:28 トップページのDBクエリを少なくして頂く
• 18:29 sleepセッション対策の為、DBのwait_timeoutを100に変更
• 18:38 一旦query_cacheをoffにし、性能状態を確認
（⇒結果的にquery_cacheをonにしてキャッシュさせた）
• 18:56 WEB側にて一部アクセスを攻撃と見なしていた為、セッション
異常終了監視（ net.ipv4.tcp_syncookies ）を解除
• 19:01 受付数をWEBを1700、DBを2048に変更

8. 結果

9. 突然にそなえて
• 負荷テストの値を超えた時の対応を事前に考えておく。
⇒負荷テスト時のチューニングはバックアップしておく。
• スケールアップし切れなければHighIOインスタンスへの切り替
えを検討する。
• Irqbalanceやカーネルパラメーターを忘れがち。
• キャッシュ出来る仕組みは作っておく。
• クエリは日々見直しを。
• 静的化出来る部分は静的化を。

10. ご清聴ありがとうございました。
キャッシュは正義。