The document discusses some of the challenges of practicing Site Reliability Engineering (SRE) on AWS. It notes that with over 200 AWS services and frequent updates, it can be difficult to keep up with the changing optimal solutions. When implementing service level indicators (SLI) and service level objectives (SLO) to measure reliability, the many AWS services need to be considered to determine how to define and measure the SLI metrics. The document also emphasizes that while SRE practices like SLOs are important, not all companies need to implement everything described in the SRE book from the start, as Google-scale reliability may not initially be required for all services and businesses.

1. SREのプラクティスに
AWSで取り組むときの悩み
JAWS-UG SRE支部 #1
Yuki Ando

2. 2
Yuki Ando / あんどぅ
JAWS-UG SRE支部運営メンバー
経済ニュースメディアでSREチーム所属
前職SIerではオンプレミスのインフラ運用で激しいトイルを経験し、
AWSのマネージドサービスとSREの考え方に感動
好きなAWSのサービス：ECS、CodeDeploy
好きなSREのプラクティス：SLO、非難なきポストモーテム文化
AWS好きの駆け出しSRE
@integrated1453

3. 3
今日、みなさんと共有したいこと
1
2
SRE、やっていきたい気持ち
SRE on AWS、やっていく大変さ

4. 4
なぜSREに
取り組みたいのか
1

5. 5
そもそもSREとは
ソフトウェアエンジニアリングでサービス運用を改善する方法論
技術的な手法だけではなく、組織・コミュニケーション・文化的な側面まで幅広い範囲を扱う考え方
SRE = Site Reliability Engineering
class SRE implements DevOps
DevOpsも、ツール・プロセス・文化など幅広い範囲を扱う考え方なので、
スケールするサービスの信頼性に焦点をあてたGoogle流のDevOpsインターフェースの実装がSRE、というのが発表者の理解
Googleで生まれた

6. 6
SRE本『はじめに』より
SREはシステムの信頼性※に焦点を置きます。
SREという言葉の提唱者であり、Googleの常時稼働運用担当バイスプレジデントの
Ben Treynor Slossは、信頼性こそがあらゆるプロダクトの基本的な機能だと考えています。
誰も使えないシステムは、有益なものではありえません。
信頼性は非常に重要なので、SRE はシステムのスケーラビリティ、信頼性、効率性を
向上させるために、その設計と運用の改善方法を見つけることに集中します。
とはいえこの改善努力は際限なく行われるわけではありません。
システムが「十分な信頼性を持った」なら、私たちは
機能の追加や新プロダクトの構築のために力を注ぐのです 。”
※信頼性とは「[システム
が
]求められる機能を、定められた条件の下
で
、定められた期間にわたり、障害を起こすことなく実行する確率」
信頼性とスピードのバランスをとる考え方

7. 7
スケールするシステムで信頼性を保つ難しさ
とあるECサイトのインフラエンジニア時代の原体験
いつもよりなんか遅いんだけど。
インフラで問題ないか調べて
いつもよりとは、具体的にいつからどの
APIが何秒くらい遅いですか？
ユーザに影響出ていますか？
知らないけど、体感でいつもより
購入までの操作が遅いんだよ

8. 8
スケールするシステムで信頼性を保つ難しさ
とあるECサイトのインフラエンジニア時代の原体験
3日前からアクセス数が急増して
て、スロークエリログも増えてるなぁ。
でも5XXエラーはそんなに出てないし、
問題なのかなぁ…

9. 9
スケールするシステムで信頼性を保つ難しさ
とあるECサイトのインフラエンジニア時代の原体験
あ、先日リリースしたアプリ
の新機能でDBに負荷がかかって
たっぽいです
3日前からアクセス数が急増して
て、スロークエリログも増えてるなぁ。
でも5XXエラーはそんなに出てないし、
問題なのかなぁ…

10. 10
スケールするシステムで信頼性を保つ難しさ
とあるECサイトのインフラエンジニア時代の原体験
あ、先日リリースしたアプリ
の新機能でDBに負荷がかかって
たっぽいです
3日前からアクセス数が急増して
て、スロークエリログも増えてるなぁ。
でも5XXエラーはそんなに出てないし、
問題なのかなぁ…
期末の広告やメルマガでクーポン
配ってたみたい。そうゆう状況な
ら、いつもより多少遅くても商品の
購入に支障がなければOKよ

11. 11
スケールするシステムで信頼性を保つ難しさ
とあるECサイトのインフラエンジニア時代の原体験
あ、先日リリースしたアプリ
の新機能でDBに負荷がかかって
たっぽいです
3日前からアクセス数が急増して
て、スロークエリログも増えてるなぁ。
でも5XXエラーはそんなに出てないし、
問題なのかなぁ…
期末の広告やメルマガでクーポン
配ってたみたい。そうゆう状況な
ら、いつもより多少遅くても商品の
購入に支障がなければOKよ
アーキテクチャ変更や新機能の追加で
負荷特性が変わっていることがある
／
可用性100%を目指すなら、もう新機能
を追加しないでください🥺(心の声)
＼
販促施策や広告・キャンペーンなどで
ユーザのアクセスパターンが変わることがある
／
レイテンシーの増加が許容されないなら、もう
新規ユーザを増やさないでください🥺(心の声)
＼

12. 12
要はバランスおじさん
多くのサービスはビジネスが目的。信頼性とサービスの成長のバランスをとることになる。
信頼性 サービス
の成長

13. 13
SREを実践するとして…
みんながGoogleクラスのサービスの成長を支えるSREをやりたいわけではない
Googleのサービスは世界中の数十億のユーザから使われることが前提で設計されている。
最初からそのレベルのスケーラビリティを考慮する必要があるか？
サービス開始から19日で5,000万ユーザを獲得したポケモンGo(Google発Niantic)並のスピードで
ビジネスを拡大するような見込みがあるか？
おそらく、多くの企業は最初からSRE本に書いてあることをフルスタックで実践する必要はない

14. 14
SREが関わるテーマ
信頼性に関わることすべて： SRE Book 目次より
SLO
トイルの撲滅
分散システムのモニタリング
自動化
リリースエンジニアリング
インシデント対応
ポストモーテムと根本原因分析
オンコール対応
過負荷への対応
…etc

15. 15
SLOはSRE特有の重要ツール
顧客体験からSLI/SLOを決め、SLOにSREが駆動されるという胸熱な考え方
01
POINT
クリティカルユーザー
ジャーニー(CUJ)
SLOの主眼は顧客体験の
改善。ユーザーにとって重
要なサービス上のタスクの
ステップを補足する
02
POINT
サービスレベル指標
(SLI)
ユーザーにとって重要であ
ると考えられるサービスの
アウトカムに対する評価と
その計測方法
03
POINT
サービスレベル目標
(SLO)
SLIで計測されるサービス
レベルのターゲット値
顧客が満足するレベルに
調整していく

16. 16
SLOはSRE特有の重要ツール
顧客体験からSLI/SLOを決め、SLOにSREが駆動されるという胸熱な考え方
01
POINT
クリティカルユーザー
ジャーニー(CUJ)
SLOの主眼は顧客体験の
改善。ユーザーにとって重
要なサービス上のタスクの
ステップを補足する
02
POINT
サービスレベル指標
(SLI)
ユーザーにとって重要であ
ると考えられるサービスの
アウトカムに対する評価と
その計測方法
03
POINT
サービスレベル目標
(SLO)
SLIで計測されるサービス
レベルのターゲット値
顧客が満足するレベルに
調整していく
ECサイトで、商品を
検索して、カートに入れ
て、注文完了したい
検索のレイテンシー
注文のリクエスト成功率
をアクセスログから
計測する
500ms以内で検索できた
リクエストの割合>98%
注文の可用性>99.5%

17. 17
SREがエンジニアリングである理由
サービス運用を”エンジニアリング”する上で、SLOが重要な役割を果たす
SREの対処が必要となるトリガーをモデル化して、定量分析して、信頼性を改善できるようになる。
ソフトウェアに機能を追加したらユーザのアクセス数やCV率・継続率を分析して、改善するのと
同じアプローチがとれる。
SLO化できる信頼性の指標の例
WebサイトやAPIサービス：リクエスト成功率、レイテンシー
CI/CDパイプライン：デプロイ頻度、リードタイム、変更失敗率、MTTR
データ処理パイプライン：データの新鮮さ、正確さ

18. 18
SREのロールに関連するスキル
運用
プロダクションでのアプリケーション運用経験は容易に身につかない価値ある知見
サイトリライアビリティワークブック 『20.2.1 最初のSREを見つける』
ソフトウェアエンジニアリング
SREはソフトウェアを理解し、改善する力が必要
モニタリングシステム
SREの原則では、計測し、納得のいく説明をつけることのできるSLOが必須
プロダクションの自動化
運用をスケールさせるには自動化が必要
システムアーキテクチャ
アプリケーションをスケールさせるには良いアーキテクチャが必要

19. 全部できる人はスーパーマンでは…😇

20. 20
SRE on AWS
やっていく大変さ
2

21. 21
AWSのサービス、選択肢増えすぎ問題😇
去年の最適解が今年は変わっていることが普通にあり得る
200を超えるAWSサービス
2020年には2,757回のリリース
毎年12月のre:Invent付近で怒涛の
サービスアップデート🎁
AWSのクラウドが選ばれる10の理由
https://aws.amazon.com/jp/aws-ten-reasons/

22. 22
SLI/SLOの実装をする場合
SLIの実装を決める上で、AWSのサービスの組み合わせを考える必要がある
クリティカルユーザージャーニーを定義する
SLIの仕様を決める
SLIを実装する
SLOのターゲット値を決める
エラーバジェットポリシーを文書化し、ビジネスサイドと握る
SLOダッシュボード・アラートを実装する
SLO駆動で信頼性の改善に取り組む

23. 23
SLI/SLOの実装をする場合
リクエスト成功率・レイテンシーをアクセスログから集計したい
AWS Cloud
Users
SLO Dashboard
SLO Alert
Storage
service
Request
?
?
SREs
Application Load
Balancer
Amazon ECS
nginx App
Other
?
?

24. 24
SLI/SLOの実装をする場合
パターン① ALBのアクセスログをS3に保存。Athenaで集計する
AWS Cloud
Users Amazon S3
output bucket
Request
SREs
Application Load
Balancer
Amazon ECS
nginx App
Access Logs
Amazon Athena
Query

25. 25
SLI/SLOの実装をする場合
パターン② nginxのアクセスログをコンテナの標準出力経由でCloudWatch Logsに保存
AWS Cloud
Users
Request
SREs
Application Load
Balancer
Amazon ECS
nginx App
Access Logs
Amazon CloudWatch
CloudWatch Logs Insight

26. 26
SLI/SLOの実装をする場合
パターン③ FireLensでFluentBit→S3に送信。Athenaで集計する
AWS Cloud
Users Amazon S3
output bucket
Request
SREs
Application Load
Balancer
Amazon ECS
nginx App
Amazon Athena
Query
FluentBit Access Logs

27. 27
SLI/SLOの実装をする場合
パターン④ FireLensでFluentBit→S3に送信。Kinesis Data FirehoseでCloudWatch Logs（ry
AWS Cloud
Users
Amazon S3
output bucket
Request
SREs
Application Load
Balancer
Amazon ECS
nginx App
Amazon Athena
Query
FluentBit
Amazon CloudWatch
Amazon Kinesis
Data Firehose
CloudWatch Logs Insight

28. 28
SLI/SLOの実装をする場合
アクセスログを集計してSLOダッシュボードやアラートを設定したい！！
AWS Cloud
Users
Amazon S3
output bucket
Request
SREs
Application Load
Balancer
Amazon ECS
nginx App
Amazon Athena
Query
FluentBit
Amazon CloudWatch
Amazon Kinesis
Data Firehose
CloudWatch Logs Insight
AWS Glue
Amazon Redshift
Amazon QuickSight
AWS Lambda Amazon SNS

29. 29
SLI/SLOの実装をする場合
もういっそ全部SaaSでよくない？
AWS Cloud
Users
Amazon S3
output bucket
Request
SREs
Application Load
Balancer
Amazon ECS
nginx App
Amazon Athena
Query
FluentBit
Amazon CloudWatch
Amazon Kinesis
Data Firehose
CloudWatch Logs Insight
AWS Glue
Amazon Redshift
Amazon QuickSight
AWS Lambda Amazon SNS
• New Relic
• Datadog
• Smo Logic
• Splunk
などのSaaS活用も選択肢に

30. 正解がわからない…😇

31. まとめ
SREやっていきたい。だけどSRE on AWSは大変
SREはソフトウェアエンジニアリングでサービス運用を改善できる素晴らしい方法論
だが、信頼性に関わることすべてが関心事なので要求されるスキルも多岐に渡る
AWSのサービスは選択肢も多く、アップデートも頻繁なのでSREを実践する際の
設計・実装も、サービスの状況・ニーズ・時期によって激しく異なる

32. JAWS-UG SRE支部で継続的に、
実践を伴った知見共有をしていきたいと思います！
一緒にSRE on AWSを考えて行きましょう！
どんなテーマに興味があるか教えてください🙏
https://bit.ly/sre01_survey
アンケートURL