3大クラウドの障害発生状況と、対策

1. 2017年
思い出深いニュース
2017年
痛いニュース
yukiusagi2052

2. あべ ゆうき
安部 勇輝
• だいぶ前 メーカ＆キャリア系SIer
ネットワーク系 ＋ IAサーバー系
インフラ・エンジニア
• ２~３年前 北九州の地場企業で情報シス部門で、
Excel・PowerPoint職人。
• 興味 監視、機械学習
新しいデバイス、ガジェット
クラウド愛に、目覚める
• ここ１年 福岡拠点のベンチャーで、
クラウド・エンジニア
yukiusagi2052

3. 昨年某日
パブリック・クラウドだと、障害対策はしっかり
してるよね？
それな。
既読
１４：３６
既読
１４：３８

4. 1月
31日1日
Azure
GCP
大きな事故もなく、
平和な時が流れ…

5. 2月
GCP
Azure
28日1日

6. 3月
GCP
Azure
31日1日
8日 東日本
バグ（自己修復に失敗）
2時間近く一部ユーザー
は、ストレージ接続不可
28日 西日本
ストレージ追加時に、IP
アドレスのバッティング
が発生。自動修復も失敗
30日 東日本
UPSの不具合 冗長化に
よる保護が正常に働かず、
エアコン停止、温度上昇
1日 2:30～7:00 (JST)
ミスオペレーションにて、
us-east-1 の s3停止

7. 4月
GCP
Azure
30日1日
11日 全リージョン
（18分間）
GCEが、ネットワーク断
所属が変わりました
きりん
カルテ
システム

8. 5月
GCP
Azure
31日1日

9. 6月
30日1日
GCP
Azure

10. 7月
GCP
Azure
31日1日

11. 8月
GCP
Azure
31日1日
25日12時
経路アナウンス失敗
１時間以内に設定を戻したが、
夕方まで影響が残る
30日8時～31日4時
ネットワーク不安定
ロードバランサー経由で、
接続できたり、できなかったり

12. 9月
GCP
Azure
30日1日

13. 10月
GCP
Azure
31日1日

14. 11月
GCP
Azure
30日1日

15. 12月
GCP
Azure
31日1日

16. 昨年某日
パブリック・クラウドだと、障害対策はしっかり
してるよね？
それな。
ごめん、思ったより止まったわ
昨日
既読
１４：３６
既読
１４：３８
既読
１４：３８

17. 感想
可用性は、99.9%を下回る月もあった。
99.9% 約43分の停止 99.95% 約22分の停止 99.99% 約4分の停止
でも…クラウド停止が、本当に許容できないシステムなの
Yes 顧客側ネットワーク障害時でも、最低限の業務ができるように、
業務全体から見直した方がよいのでは？
No, but … 各階層（ストレージ、データベース、アプリケーション、ネットワーク、DNS）
のデザインパターンを、ちゃんと取り入れよう
待機系の課金を考えるとサーバレス、マネージドなコンテナに寄るぞ~♪

18. 感想
データロスは、起きていない。
（過去にはGmailでデータロスが起きたことはあった気もするが…）
オブジェクト・ストレージの堅牢性は信頼してよいだろう

19. 感想
３~４月、８月に、トラブル多かった
システムの拡張・変更、要員の入れ替わりが多い時期に
人的なミスやバグの顕在化が多かった…？
超大手クラウド事業者でさえ、人の判断力や経験に頼っている要素
がまだまだ排除できていない…
ひょっとすると、５月はトラブルが少ないかも知れない。。。