More Related Content
More from Yuto Suzuki
5xx解消への道のり
- 2. 5xxとは ● 5xxとは ○ HTTP Statusの500 ~ 599のレスポンス ○ 4xxなどはクライアント側のエラーに対して、5xxはサーバ側のエラー ○ エラーなので利用者は正常なレスポンスを受け取れない ● 例えば ○ 500: Internal Server Error ○ 501: Not Implemented ○ 502: Bad Gateway ○ 503: Service Unavailable ○ 504: Gateway Timeout
- 3. 何の5xxが発生しているか見極める ● CloudWatchから ○ Target_5xx ○ ELB_5xx ● HTTP StatusCodeから ○ 500 ○ 503 ○ 504
- 5. Target_5xxへの対応 1. 500エラー a. 最初に調べるエラー b. アプリケーションのコード上のエラー c. panicのエラー d. エラーログなどを吐いて原因を検出しやすくする 2. 503エラー a. APIサーバが過負荷になっていると発生しがち b. だいたいCPUバウンドなので、スケールアウト、スケールアップさせる
- 6. ELB_5xxへの対応 ELB_5xxの対応はやっかい ● 503 ○ Service Unavailable ○ 昔は暖気申請をする必要があった ○ 基本的には504が大量に発生した結果なりやすい ● 504 ○ Gateway Timeout ○ とにかくAPIのレスポンスを早くするしかない ● 502 ○ Bad Gateway ○ ALBのtimeoutが短いパターン（default 60sなので管理画面とかでなければあまりない） ○ API側のエラー（Target_5xx）が大量に発生した結果のパターン
- 8. I/O Waitとは ● 物理的なIn,Outで待ちが発生すること ○ HTTPリクエストのレスポンス待ち ○ RedisやDynamoDBなどのレスポンス待ち ○ ファイルの読み書き ● とにかくネットワークのIOがめちゃくちゃ遅い 1. メインメモリアクセス 2. ローカルファイルアクセス 3. ネットワーク越しアクセス
- 9. I/Oの遅い部分の特定 推測するな計測せよ 関係ないところを改修するほど無駄なことはなし ● お手軽APM ○ とにかく全部計測 ○ リアルタイムじゃないとサンプリングされちゃう ● 基本のロギング ○ 初心に戻ってログデバッグ！
- 10. I/Oの遅い部分を早くする I/Oのtimeoutを設定する ● Goの場合 ○ コネクション作成時のconfig ○ contextによるtimeout cancel
- 11. TimeOutの設定 Redisの場合 ● ReadTimeout: クエリコマンドのtimeout ● PoolTimeout: コネクションプールからコネクションを確保するまで ● DialTimeout: コネクション確立まで Ring Pool Redis redis.GET
- 12. TimeOutの設定 Redisの場合 ● ReadTimeout: クエリコマンドのtimeout ● PoolTimeout: コネクションプールからコネクションを確保するまで ● DialTimeout: コネクション確立まで Ring Pool Redis redis.GET
- 13. TimeOutの設定 Redisの場合 ● ReadTimeout: クエリコマンドのtimeout ● PoolTimeout: コネクションプールからコネクションを確保するまで ● DialTimeout: コネクション確立まで Ring Pool Redis redis.GET
- 16. aws-dax-go AWSのDynamoDB AccelalatorのクライアントSDK ● timeoutをちゃんとしてくれない問題が！ ○ context timeoutしても時間通りcancelしてくれない ○ もちろんconfigでtimeoutも設定済み gunosy/keeper作りました
- 17. gunosy/keeper やってることはすごい薄いです 引数の関数fを非同期実行して、 - context timeoutしたら return (nil, ctx.Err) - timeoutしなければ return (obj{}, nil)