過去6年のAzure障害について話しました

1. Azure障害は忘れたころにやってくる
2016年10月21日
第１回 城東.NET勉強会

2. まずは自己紹介
・名前
木下 裕之
・HN
Kingkino(キンキーノと読みますが皆キングキノと読むのでそれでいいです）
・SNS
Twitter @kingkinoko FaceBookやってます。GitとLinkedInもちょこっと・・・。
・Azure暦：5年

3. Azure障害の歴史
日本時間 障害内容（概要） 影響 ダウンタイム 所感
2012/2/29 10:45
証明書のうるう年バグによりクラウドサービスが強制
再起動をし続けアクセス不能となった。 全リージョン 9時間
とあるサービスがサービスインした後だったので緊迫しました。
クラウドサービスが強制再起動している状態だったのですが、運がよかったのか全世界で順
番に強制再起動が走っていたため復旧までに再起動対象とはなりませんでした。閏年バグ
なんてあるもんなんですね。
https://satonaoki.wordpress.com/2012/03/11/20120229-azure-
disruption-summary/
2013/2/23 5:44
証明書の失効によりAzrueStorageアクセスが不
能となった。
全リージョン 11時間
AzureStorageに外からのアクセスが出来なくなりましたがDC内はHTTPさえ使っていれ
ばアクセスできる状態だったので影響はありませんでした。AzrueStorageは外部アクセス
は必ずHTTPSになるので証明書の失効によりアクセスできなくなったみたいです。
https://satonaoki.wordpress.com/2013/02/24/azure-storage-outage-
status/
2014/8/19 2:49
仮想マシン、クラウドサービスの性能低下、原因不
明
全リージョン 1時間未満
新人歓迎会で酔っ払って家帰って寝て2時間後に叩き起こされました。
確か深夜3時だったと思います。それから復旧する7時頃まで寝ずに対応してました。
平日の深夜だったのでサービス影響はたいしてなかったです。眠たかったのだけは覚えてます。

4. Azure障害の歴史
日本時間 障害内容（概要） 影響 ダウンタイム 所感
2014/11/19 1:49
性能改善ソフトのバグによりサービス中断や性能低
下が発生。
全リージョン 10時間
本障害は徐々に拡大していった障害です。
基本的にサービスの停止はなかったのですが著しい性能低下が発生しました。
会社で対応してたので後輩に障害対応時の対応フローを教えるいい機会になりました。
後輩君は仮眠をとりながら深夜対応してたみたいでいい経験になったみたいです。
https://satonaoki.wordpress.com/2014/11/20/storage-interruption/
2014/12/6 10:15
ネットワークスパイクによるネットワーク負荷が発生し
ネットワークアクセスがしづらい状況となった。
東アジア
日本リージョン
7時間
朝の10時半頃に映画を見に行こうと準備して携帯見たら夥しい程の着信とLINE通知が
来てました。
それから完全復旧する17時頃まで対応しました。休日の昼間だったのでかなり緊迫した
状態でした。
複数の顧客を持っていたので電話を受けながらPCでLINEとSKYPEでチャットをするという
アクロバティック対応したのを覚えてます。
2016/9/15 20:18
ネットワークデバイスのソフトウェアバグによるDNSエ
ラーが原因でネットワークアクセスが不能となった。
全リージョン 3時間
Azureと関係のない仕事についてたので静観してました。
世界規模の障害が2～3時間で復旧したのみて過去の経験がいきているなーとしみじみ
感じましたね。
http://itpro.nikkeibp.co.jp/atcl/news/16/091502706/

5. Azure障害対応時の心得
・AzrueDashBoardを確認する
https://azure.microsoft.com/ja-jp/status/
・TiwtterのAzureタグで検索してツイートログを参照する

6. Azure障害対応時の心得
・Facebookのコミュニティ（Jazug等)を参照する ・MSプレミアムサポート契約している場合はMSサポートに電話する
・RCA(RootCouseAnalisys）障害原因報告書の確認

7. Azure障害検知
・監視サービスの利用
有人監視 ・・・ 料金は高いですけど電話連絡や簡単な復旧作業等を実施してくれます。
最近はクラウド監視ができる監視会社さんが増えてきましたので監視サービスも多様化してきています。
深夜の障害で電話がかかってくる切なさはひとしおですが・・・。
無人監視 ・・・ ハートビートやパフォーマンス監視を自動で行いメール通知を行ってくれるサービスです。
値段は安いのですがメールでの通知が主なため障害に気付かないことあるのは問題ですね。
・クロスクラウド監視
Azure以外のクラウドで監視用のサーバを立てて監視する方法です。
AWSで立てた監視サーバでAzureのサービスを監視する方法などはよく実施されています。
監視用のソフトウェアはZabbix、Cacti等がよく使われています。

8. Azure障害検知
・お手軽ノンプログラミング監視（IFTTT)
IFTTTを使ってAzureDashboardのRSSを監視し何か起きた時に通知を行う方法です。
以前はメール通知にしていたのですが最近Lineと連携したためLineに通知するようにしました。
簡単な手順でお手軽に監視できるので便利です。

9. まとめ
基本的にインフラに障害はつきものです。
起きてくれないのであればそれにこしたことはありません。
しかし、障害は起きてしまいます。
プログラムのバグ、機器の故障、人的エラー、悪意のある攻撃など様々な障害発生要素に脅かされています。
障害を防ぐことが難しいのであればダウンタイムを短くするしかありません。
Azureは徐々にですが過去の障害から知見を得て障害復旧スピードが上がってきています。
実際に2016年9月15日の大規模障害の復旧速度の速さは目を見張るものがありました。
今後もマイクロソフト社の障害対応の充実に期待していきましょう。