Successfully reported this slideshow.
Your SlideShare is downloading. ×

20140726 jaws-ug chiba AWS operation best practice

Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad
Ad

Check these out next

1 of 43 Ad

More Related Content

Slideshows for you (20)

Viewers also liked (17)

Advertisement

Similar to 20140726 jaws-ug chiba AWS operation best practice (20)

More from Kazuki Ueki (17)

Advertisement

Recently uploaded (20)

20140726 jaws-ug chiba AWS operation best practice

  1. 1. クラメソ保守運⽤用担当からみた AWS使っててよかったこと JAWS-‐‑‒UG  千葉葉⽀支部  Vol.4  -‐‑‒  AWS運⽤用縛り 2014/07/26 Kazuki  Ueki
  2. 2. ⾃自⼰己紹介 •  名前:植⽊木  和樹(うえき  かずき) •  年年齢:37歳 •  出⾝身:新潟県妙⾼高市(単⾝身赴任中) •  元製造業情報システムG常駐 •  主にUnixサーバエンジニア(監視、保守) •  資格:IPA  ITサービスマネージャ       IPA  システムアーキテクト •  JAWS北北陸陸コアメンバー(JAWS  DAYS  2013〜~) •  JAWS埼⽟玉コアメンバー(2013年年8⽉月〜~) •  好きなAWSサービス:SQS classmethod.jp 2 @czkuk
  3. 3. 本⽇日は「運⽤用」しばり classmethod.jp 3
  4. 4. ところで 保守ってなんだろう? 運⽤用ってなんだろう? classmethod.jp 4
  5. 5. 保守 classmethod.jp 5
  6. 6. ⽇日本⼯工業規格 JIS  X  0161:2008 classmethod.jp 6 保守の種類 定義 例例 改良良保守 (ソフト ウェア⾃自体 の修正) 適応保守 引渡し後,変化した⼜又は変化している 環境において,ソフトウェア製品を使 ⽤用できるように保ち続けるために実施 するソフトウェア製品の修正。 OS新バージョンへの対 応/消費税対応 完全化保守 引渡し後のソフトウェア製品の潜在的 な障害が,故障として現れる前に,検 出し訂正するための修正。 ドキュメントの改善 UIの改善 (問題への 対応) 是正保守 ソフトウェア製品の引渡し後に発⾒見見さ れた問題を訂正するために⾏行行う受⾝身の 修正。 不不具合の修正 (リアクティブ) 緊急保守 是正保守実施までシステム運⽤用を確保 するための,計画外で⼀一時的な修正。 是正処置実施までの暫 定処置 予防保守 引渡し後のソフトウェア製品の潜在的 な障害が運⽤用障害になる前に発⾒見見し, 是正を⾏行行うための修正。 ミドルウェアアップ デート、不不要ファイル 削除
  7. 7. つまり 「システムが本来あるべき姿」 になるよう対応すること メンテナンス classmethod.jp 7
  8. 8. 運⽤用 classmethod.jp 8
  9. 9. バックアップ 監視 リソース収集 定型業務 classmethod.jp 9
  10. 10. 「正常に稼働しているシステム」 を⽤用いて実施する業務 オペレーション classmethod.jp 10
  11. 11. 「正常に稼働しているシステム」 を⽤用い「⼿手順やルールに従って」 実施する業務 オペレーション classmethod.jp 11
  12. 12. ⾯面倒? classmethod.jp 12
  13. 13. classmethod.jp 13 ⾯面倒は全部AWSに任せる
  14. 14. 1.障害復復旧 2.障害原因調査 3.バックアップ 4.監視 5.リソース収集 6.定型業務 (よくある)保守運⽤用業務
  15. 15. 1.障害復復旧 2.障害原因調査 3.バックアップ 4.監視 5.リソース収集 6.定型業務 保守運⽤用業務
  16. 16. EC2  Stop ↓ EC2  Start これだけ classmethod.jp 16
  17. 17. ・突発障害の多くは仮想ホスト障害が原因   仕組み上不不可避・受け⼊入れる ・“Design  for  Failure”   極⼒力力複数台構成(できればMulti-‐‑‒AZ)    ・再起動すればサービス再開する作りにしておく ・AutoScalingにしておくとなおよし   (AutoHealing) AWSでの障害復復旧
  18. 18. 1.障害復復旧 2.障害原因調査 3.バックアップ 4.監視 5.リソース収集 6.定型業務 保守運⽤用業務
  19. 19. AWSサポートを 活⽤用しましょう classmethod.jp 19
  20. 20. ・環境をみて⼀一緒に原因を調べてくれる ・客観的に調査してくれる(当事者の思い込み) ・ドキュメントへのポインタを教えてくれる ・⼿手順やエビデンスはちゃんと伝えましょう ・EC2  retirement、RI期限切切れの通知(β?)   ・ec2  abuse  Report(踏み台とか) ・ベーシックは無料料。「開発者」は約5千円/⽉月 AWSサポートは素晴らしい
  21. 21. 1.障害復復旧 2.障害原因調査 3.バックアップ 4.監視 5.リソース収集 6.定型業務 保守運⽤用業務
  22. 22. スナップショット 取りましょう classmethod.jp 22
  23. 23. ・RDSならスケジュールで⾃自動 ・ちゃんと取れてるかはTrusted  Advisor参照 ・EBSには「ソンナコトモアロウカト」  オススメ   EBSにタグ設定するだけで⾃自動世代管理理   1クリックで毎⽇日スナップショットを⾃自動取得  〜~  ソンナコトモアロウカト編  |  Developers.IO ・リストア/リカバリ⼿手順も確認してる? バックアップが簡単
  24. 24. 1.障害復復旧 2.障害原因調査 3.バックアップ 4.監視 5.リソース収集 6.定型業務 保守運⽤用業務
  25. 25. CloudWatch 使いましょう classmethod.jp 25
  26. 26. ・インスタンス作成後「すぐに」情報収集 ・気になる項⽬目にはアラーム設定 ・⾜足りない項⽬目はカスタムメトリクスで   (ディスク使⽤用率率率、メモリ使⽤用率率率など) ・監視項⽬目数が膨⼤大なのでZabbixなど利利⽤用すべき   (ログ監視、RDSイベント監視なども) CloudWatchによる監視
  27. 27. 1.障害復復旧 2.障害原因調査 3.バックアップ 4.監視 5.リソース収集 6.定型業務 保守運⽤用業務
  28. 28. やっぱり CloudWatch 使いましょう classmethod.jp 28
  29. 29. ・CloudWatchの保存期間は2週間のみ ・CloudWatchはOSより下のみ ・⾜足りない項⽬目も多いのでZabbixなどと併⽤用   (特にRDSまわり) ・Web1台構成でもELBは⼊入れておくと良良い   リクエスト数、レイテンシ、HTTPステータスコード    リソース収集
  30. 30. 1.障害復復旧 2.障害原因調査 3.バックアップ 4.監視 5.リソース収集 6.定型業務 保守運⽤用業務
  31. 31. aws-‐‑‒cli classmethod.jp 31
  32. 32. ・運⽤用はドキュメントドリブンで ・マウスでのオペレーションは意外と難易易度度⾼高い   ⼿手順書作りも⼤大変(→  ⼿手順書作ってくれない) ・コマンドコピペでOK、操作ログ、複数処理理実⾏行行 ・Zabbixから⾃自動実⾏行行も コマンドラインによる定型業務
  33. 33. 1.障害復復旧:Stop/Start 2.障害原因調査:AWSサポート 3.バックアップ:⾃自動スナップショット 4.監視:CloudWatch 5.リソース収集:CloudWatch 6.定型業務:aws-‐‑‒cli 保守運⽤用業務まとめ AWSで⾃自動化・省省⼒力力化が可能
  34. 34. ところで あなたのAWSは健全ですか? classmethod.jp 34
  35. 35. ⽇日本⼯工業規格 JIS  X  0161:2008 classmethod.jp 35 保守の種類 定義 例例 改良良保守 (ソフト ウェア⾃自体 の修正) 適応保守 引渡し後,変化した⼜又は変化している 環境において,ソフトウェア製品を使 ⽤用できるように保ち続けるために実施 するソフトウェア製品の修正。 OS新バージョンへの対 応/消費税対応 完全化保守 引渡し後のソフトウェア製品の潜在的 な障害が,故障として現れる前に,検 出し訂正するための修正。 ドキュメントの改善 UIの改善 (問題への 対応) 是正保守 ソフトウェア製品の引渡し後に発⾒見見さ れた問題を訂正するために⾏行行う受⾝身の 修正。 不不具合の修正 (リアクティブ) 緊急保守 是正保守実施までシステム運⽤用を確保 するための,計画外で⼀一時的な修正。 是正処置実施までの暫 定処置 予防保守 引渡し後のソフトウェア製品の潜 在的な障害が運⽤用障害 になる前に発⾒見見し,是正を ⾏行行うための修正。 ミドルウェアアップ デート、不不要ファイル 削除
  36. 36. やっぱり AWSサポート classmethod.jp 36
  37. 37. ■電話、チャット ・24時間年年中無休 ・ELB暖気(Pre-‐‑‒Warming) ■Trusted  Advisor  ★イチオシ!   ・コスト最適化(RI推奨、EIPつけ忘れ)   ・セキュリティ(全開放のポート検知)   ・耐障害性(スナップショット取り忘れ)   ・パフォーマンス(上限数警告、EBS最適化) ■100  USD  または  AWS使⽤用料料の10%   ・⽉月額使⽤用料料が10万円までなら⽉月1万円   ・契約は⽉月単位 ビジネスサポートがおすすめ
  38. 38. Operational  Checklists  for  AWS
  39. 39. 先ほど公開しました
  40. 40. 予防保守が⼤大事 検証が⼤大事 事前チェックが⼤大事 classmethod.jp 40
  41. 41. ご清聴ありがとうございました classmethod.jp 41
  42. 42. 参考資料料(1/2) u  JIS  X  0161:2008(ソフトウェアライフサイクルプロセスー保守) http://ja.wikipedia.org/wiki/ソフトウェア保守 u  Amazon  EC2  インスタンスに関するよくある質問 「Q:  インスタンスが応答しなくなったときは、どうすればよいですか?」 http://aws.amazon.com/jp/instance-‐‑‒help/ u  AWSサポート https://aws.amazon.com/jp/premiumsupport/ u  1クリックで毎⽇日スナップショットを⾃自動取得  〜~  ソンナコトモアロウカト編  |  Developers.IO http://dev.classmethod.jp/cloud/aws/aws-‐‑‒cfn-‐‑‒advent-‐‑‒calendar-‐‑‒2013-‐‑‒snapshot/ u  aws-‐‑‒missing-‐‑‒tools/ec2-‐‑‒automate-‐‑‒backup  ·∙  GitHub   https://github.com/colinbjohnson/aws-‐‑‒missing-‐‑‒tools/tree/master/ec2-‐‑‒automate-‐‑‒backup
  43. 43. 参考資料料(2/2) u  ELBの挙動とCloudWatchメトリクスの読み⽅方を徹底的に理理解する  |  Developers.IO http://dev.classmethod.jp/cloud/aws/elb-‐‑‒and-‐‑‒cloudwatch-‐‑‒metrics-‐‑‒in-‐‑‒depth/ u  グラフの確認⽅方法と確認できるグラフ⼀一覧(EC2/ELB/RDS)  |  Developers.IO http://dev.classmethod.jp/cloud/aws/cloudwatch-‐‑‒can-‐‑‒be-‐‑‒seen-‐‑‒graph/ u  Operational  Checklists  for  AWS http://aws.amazon.com/jp/whitepapers/operational-‐‑‒checklists-‐‑‒for-‐‑‒aws/ u  これからAWSを始める⼈人は⼀一読すべき「AWS運⽤用チェックリスト」を読んでみた  |  Developers.IO http://dev.classmethod.jp/cloud/aws/aws-‐‑‒operational-‐‑‒checklist/

×