AWS ECS + Terraform

1. Archimedes API基盤の作り方
〜AWS ECS + Terraform〜
2017/1/10 M3 Tech Talk #85
IKEDA Kiyoshi(aka @progrhyme)

2. 自己紹介
➢ @progrhyme
○ https://github.com/progrhyme
○ https://twitter.com/progrhyme
➢ 職歴:
○ 〜2017 Oct. @DeNA
○ 〜現在 @M3
➢ 担当:
○ 電子カルテ
○ AIチーム
○ その他
2

3. Archimedesとは
➢ m3.comで表示するニュース記事を機械学習によっ
て選定するAPI
➢ 名前の由来:
○ 「A」から始まる数学者っぽい人
➢ 本スライドでは、アルゴリズムの詳細については割愛
3
「A」から始まる人といっても、最近の機械学習関係の人だとプログラ
ム中で使うライブラリ名などと衝突する可能性があるので、古い人か
ら選びました。

4. システム構成概要
API ECS
学習 ECS
アクセス
ログ
ニュース
記事
ALB
RDS
Archimedes システム
4

5. Archimedes - Infrastructure as Code
➢ Packer
○ AMIを作成
■ 踏み台用 … Amazon Linuxをベースに
■ ECS用 … Amazon ECS対応AMIをベースに
○ ProvisionerとしてAnsibleを使う
○ AMI更新→Terraformで反映
➢ Ansible
○ PackerのProvisionerとroleを共有
○ 踏み台インスタンスにはAnsibleをアドホックに適用可能
➢ Terraform
○ 前スライドの構成を全て管理
5

6. デプロイもTerraformで
➢ タスク定義のimage(コンテナイメージ)を更新して
terraform applyするだけ
➢ API ECS:
○ ALB + 動的ポートマッピング
○ ECSインスタンスに空きがなくてもデプロイが可能
➢ 参考:
○ Amazon ECSのELB構成パターンまとめ(ALB対応) ｜
Developers.IO
6

7. ECSのオートスケール設定
➢ ECSクラスタインスタンスのオートスケール設定
○ クラスタを構成するEC2インスタンスをどう増減させるか
○ CPUReservation, MemoryReservationによってスケールイン・アウト
○ ※インスタンス不足によるコンテナの起動失敗を避けるため、早めに
スケールアウトする
➢ ECSサービスのオートスケール設定
○ サービスを構成するコンテナをどう増減させるか
○ CPUUtilization, MemoryUtilizationによってスケールイン・アウト
➢ これらのCloudWatch Alarms設定もTerraformで管理
➢ 参考: ECSのオートスケール戦略 - Carpe Diem
7

8. Terraform: 複数環境の管理
➢ 環境間で共通する設定をsymlinkで共有
➢ 参考: TerraformでWorkspaceを使わずに複数環境をDRYに設定する - Qiita
イメージ:
.
├── dev/
│ ├── config.tf
│ ├── datasources.tf -> ../shared/datasources.tf
│ ├── main.tf -> ../shared/main.tf
│ ├── terraform.tfvars
│ └── variables.tf -> ../shared/variables.tf
├── modules/
├── prod/
├── qa/
└── shared/
├── datasources.tf
├── main.tf
└── variables.tf
8

9. 監視
➢ CloudWatch Alarms
○ しきい値設定も全てTerraformで管理
○ 見通しよく管理するには工夫が必要だが、今は小規模なので問題なし
➢ CloudWatch Events - (Lambda) -> SNS
○ ECSタスクの失敗を監視
■ 参考: Amazon ECSイベントストリームで、クラスタの状態を監視 |
Amazon Web Services ブログ
➢ Sentry … アプリケーションのエラーを監視
➢ ALBログ ... Athenaでクエリ可能
➢ Elasticsearch + Kibana
○ ECSのログをCloudWatchLogsからLambdaで中継
➢ E2E監視 … M3ネットワーク内から実行
9

10. 監視 - Kibana
10

11. 発生した問題とその対応①
➢ [Terraform] launch_configurationの更新でエラー
○ 対応: nameでなくname_prefixを指定
○ 原因: ASGがLCに依存しているので、新しいLCを先に作る必要があ
るが、nameが衝突するとエラーになる
○ 参考: aws_launch_configurationのuser_dataの更新でエラーが出る件の対処 - Qiita
➢ スケールアウト中にterraform applyするとインスタンス数がリ
セットされる
○ 原因: desired_capacityを設定していたため
○ 対応: lifecycleブロックでignore_changesに指定した
○ 参考: https://www.terraform.io/docs/configuration/resources.html#ignore_changes
11

12. 発生した問題とその対応②
➢ DockerTimeoutErrorでECSタスク失敗が頻発
○ 原因: EBS(gp2)のBurst Balanceが枯渇していた
○ 対応: Dockerボリュームのサイズを広げた
○ 参考: ECS運用のノウハウ - Qiita
➢ OOMによるECSタスク失敗が連続
○ 原因: 本番の学習データが予想より大きかった
○ 対応: タスクに割当てるメモリ量をUP
12

13. まとめ
➢ Terraformでインフラをコード化しておくと簡単に再現
できて便利
➢ Docker + ECSによってImmutable Infrastructureを
作ることができた
➢ Terraform, Packer初心者でもなんとかなった
13

14. ご清聴ありがとうございました。