2020/01/30, 2020/02/14 Value Up Seminar 動画: https://www.youtube.com/watch?v=0u6y4fKu150

1. 日本マイクロソフト株式会社
カスタマー サービス＆サポート
サポート エスカレーション エンジニア
宇田 周平
サポート エンジニアが語る、
トラブルを未然に防ぐための
Microsoft Azure インフラ設計

2. About me
PS C:> Get-Profile -Name “Shuhei Uda” | Format-List
名前 : 宇田 周平
職種 : サポート エスカレーション エンジニア
2015/12 – 現在
Azure (IaaS / Networking)
2013/06 – 2015/11
Windows (Hyper-V / RDS / Performance)

3. https://thinkit.co.jp/article/13243

4. いつ頃から Azure をご利用ですか？

5. Azure を支えるインフラの全体像
トラブルを防ぐための設計ポイント
お品書き
※ 本セッションで言及する内容は、引用元の各種資料の
公開日時点のものであり、本日時点もしくは将来的に
予告なく変更される場合があります。

6. Azure を支えるインフラの全体像

7. Azure の構成要素
ToR / 物理サーバー
クラスター
データセンター
ゾーン
リージョナル ネットワーク
リージョン
地域
グローバル ネットワーク WAN
日本
西日本
RNG
1/2
AZ
未対応
DC1
Cluster
A
Nodes
DC2
…
…
東日本
RNG
1/2
Zone1
DC1
Cluster
A
Nodes
Cluster
B
…
Cluster
C
…
…
…
DC2
…
…
Zone2
DC3
…
…
Zone3
DC4
…
…

8. Azure の構成要素
ToR / 物理サーバー
クラスター
データセンター
ゾーン
リージョナル ネットワーク
リージョン
地域
グローバル ネットワーク WAN
日本
西日本
RNG
1/2
AZ
未対応
DC1
Cluster
A
Nodes
DC2
…
…
東日本
RNG
1/2
Zone1
DC1
Cluster
A
Nodes
Cluster
B
…
Cluster
C
…
…
…
DC2
…
…
Zone2
DC3
…
…
Zone3
DC4
…
…

9. 100M
daily active
enterprise and
consumer users
from every
country on
earth
>
We deliver fast, optimized, secure connectivity and applications to…
Microsoft Global Users

10. 100M
daily active
enterprise and
consumer users
from every
country on
earth
meeting
Microsoft at 160> global
edge sites
>
We deliver fast, optimized, secure connectivity and applications to…
Microsoft Global Users

11. 100M
daily active
enterprise and
consumer users
from every
country on
earth 130Kconnecting
over
miles of
fiber
meeting
Microsoft at 160> global
edge sites 54to
Azure’s
> global
regions
We deliver fast, optimized, secure connectivity and applications to…
Microsoft Global Users

12. Azure の構成要素
ToR / 物理サーバー
クラスター
データセンター
ゾーン
リージョナル ネットワーク
リージョン
地域
グローバル ネットワーク WAN
日本
西日本
RNG
1/2
AZ
未対応
DC1
Cluster
A
Nodes
DC2
…
…
東日本
RNG
1/2
Zone1
DC1
Cluster
A
Nodes
Cluster
B
…
Cluster
C
…
…
…
DC2
…
…
Zone2
DC3
…
…
Zone3
DC4
…
…

13. Azure リージョンの基本概念
Geo / 地域
Region / リージョン
Availability Zones / 可用性ゾーン
Geography
Region 2Region 1
Availability
Zone 1
Availability
Zone 2
Availability
Zone 3
Data residency boundary
https://azure.microsoft.com/ja-jp/global-infrastructure/

14. リージョナル
ネットワーク
Edge
皆様の拠点や Internet との接続は
世界中のエッジを経由
Regional network gateway
リージョンや DC 間の通信を仲介
リージョンは 100km 圏内に展開
Data centers
RNG を経由して行われる通信は
2ms 程度の遅延に収まります
DC の規模は大小さまざま
(28 – 528 MW)
Edge
1.6Pb/s
MS WANMS WAN
Express
Route
Internet
Peers
Internet Peering
(Public)
Region Y
Enterprise Peering
(Private)
Region X Region Z
Virtual Network Virtual Network
Virtual
Network

15. Singapore

16. Boydton, Virginia (2014)

17. Boydton, Virginia (2017)

18. Quincy, Illinois

19. Quincy, Illinois

20. DB4
DB3
Dublin, Ireland

21. DB5
DB3
DB4
Dublin, Ireland

22. DB3,4,5
DUB 07
DUB 06
DUB 08
Future Campus works
Dublin, Ireland

23. Azure の構成要素
ToR / 物理サーバー
クラスター
データセンター
ゾーン
リージョナル ネットワーク
リージョン
地域
グローバル ネットワーク WAN
日本
西日本
RNG
1/2
AZ
未対応
DC1
Cluster
A
Nodes
DC2
…
…
東日本
RNG
1/2
Zone1
DC1
Cluster
A
Nodes
Cluster
B
…
Cluster
C
…
…
…
DC2
…
…
Zone2
DC3
…
…
Zone3
DC4
…
…

24. 数百台～千台の物理サーバーを束ねて
クラスターと呼び、クラスター単位で
増設や管理をしています
二種類のクラスターが存在します
• Compute Cluster (VM 稼働用)
• Storage Cluster (データ保存用)
クラスターと呼ばれる管理単位

25. Azure を支える物理サーバー | 汎用
Gen 2
Processor 2 x 6 Core 2.1 GHz
Memory 32 GiB
Hard Drive 6 x 500 GB
SSD None
NIC 1 Gb/s
Gen 3
Processor 2 x 8 Core 2.1 GHz
Memory 128 GiB
Hard Drive 1 x 4 TB
SSD 5 x 480 GB
NIC 10 Gb/s
Gen 4
Processor 2 x 12 Core 2.4 GHz
Memory 192 GiB
Hard Drive 4 x 2 TB
SSD 4 x 480 GB
NIC 40 Gb/s
Godzilla
Processor 2 x 16 Core 2.0 GHz
Memory 512 GiB
Hard Drive None
SSD 9 x 800 GB
NIC 40 Gb/s
Gen 5
Processor 2 x 20 Core 2.3 GHz
Memory 256 GiB
Hard Drive None
SSD
6 x 960 GB PCIe Flash
and 1 x 960 GB SATA
NIC 40 Gb/s + FPGA
Beast
Processor 4 x 18 Core 2.5 GHz
Memory 4096 GiB
Hard Drive None
SSD
4 x 2 TB NVMe, 1 x
960 GB SATA
NIC 40 Gb/s
Gen 6
Processor
2 x Skylake 24 Core
2.7GHz
Memory 768GiB DDR4
Hard Drive None
SSD
4 x 960 GB M.2 SSDs
and 1 x 960 GB SATA
NIC 40 Gb/s
FPGA Yes
Beast v2
Processor 8 x 28 Core 2.5 GHz
Memory 12 TiB
Hard Drive None
SSD
4 x 2 TB NVMe, 1 x
960 GB SATA
NIC 50 Gb/s
3x
Beast

26. Azure を支える物理サーバー | 用途特化型
HPC
Processor 2 x 12 Core 2.4 GHz
Memory 128 GiB
Hard Drive 5 x 1 TB
SSD None
NIC 10 Gb/s IP, 40 Gb/s IB
HB
Processor 2 x 32 Core 2.5 GHz
Memory 240 GiB
Hard Drive None
SSD 2 x 960 GB NVMe
NIC
50 Gb/s Ethernet, 100
Gb EDR IB
HC
Processor 2 x 24 Core 3.4 GHz
Memory 352 GiB
Hard Drive None
SSD 2 x 960 GB NVMe
NIC
50 Gb/s Ethernet, 100
Gb EDR IB
GPU Gen 5
Processor 2 x 8 Core 2.6 GHz
Memory 256 GiB
Hard Drive 1 x 2 TB
SSD 1 x 960 GB SATA
NIC 40 Gb/s
GPU 2 x 2 Compute GPU
Lv2
Processor 2 x 32 core 2.0GHz
Memory 1 TiB
Hard Drive None
SSD 12 x 2 TB NVMe
NIC 40 Gb/s
NDv2
Processor
2 x Skylake 24 Core
2.7 GHz
Memory 768 GiB
Hard Drive None
SSD 6 x 960 GiB NVMe
NIC 40 Gb/s
GPU 8 GPU with NVLink

27. 用途特化型の VM は利用可能な
リージョンが限られます
クラスター単位 (物理サーバー
数百～千台) で増設するため、
十分な需要が見込まれる大きな
リージョンが優先されがち
用途特化型の VM を大規模に
ご利用になる予定がある場合、
数か月～半年前には担当営業に
事前に共有頂けると幸いです
各リージョンで利用可能な VM サイズには差があります
https://azure.microsoft.com/ja-jp/global-infrastructure/services/

28. Open Compute Project でハードウェアの仕様も公開されています
さらに詳しいハードウェア仕様を知りたい方
https://azure.microsoft.com/ja-jp/global-infrastructure/hardware-innovation/

29. HDD を破壊するためのシュレッダー

30. Azure の構成要素
ToR / 物理サーバー
クラスター
データセンター
ゾーン
リージョナル ネットワーク
リージョン
地域
グローバル ネットワーク WAN
日本
西日本
RNG
1/2
AZ
未対応
DC1
Cluster
A
Nodes
DC2
…
…
東日本
RNG
1/2
Zone1
DC1
Cluster
A
Nodes
Cluster
B
…
Cluster
C
…
…
…
DC2
…
…
Zone2
DC3
…
…
Zone3
DC4
…
…

31. トラブルを防ぐための設計ポイント

32. データセンターにおける電源や空調などのハードウェア障害
→ 発生頻度は稀だが、影響が広範囲におよび大規模障害になりやすい
物理サーバーや ToR などのハードウェア障害
→ 全体から見ると影響範囲は限定的だが、日々どこかで発生しうる
物理サーバーや ToR に対するメンテナンスやソフトウェア障害
→ 発生条件次第なので、影響範囲は事象次第
Azure で遭遇しうるインフラ起因のトラブル

33. インフラ起因で発生した障害は、お客様側では対処のしようがない
さらに言えば、私達サポート エンジニアもデータセンターにはおらず、
実環境を直接操作する権限は有していないので、インフラ側の障害は
直接的には対処ができない
(有効と考えられる回避策を提案したり、エスカレーションをしたり、
出来る限りの対応はしますが、インフラを直せるわけではない)
→ トラブルが発生した際に焦らないためには、設計が非常に重要！
トラブル発生時に焦らないために

34. 仮想マシンの構成次第で、SLA で保障している稼働率は変わります
Azure VM の SLA をおさらい
https://azure.microsoft.com/ja-jp/support/legal/sla/virtual-machines/v1_9/

35. 説明のために古い写真 (2013 年) を使いますが、
先ほどのクラスターを拡大して見ていただくと、
NIC やスイッチが単一障害点だと分かります
仮想マシンを単一インスタンスで使っていると…
• ハードウェアが突然壊れた際の影響が大きい
• メンテナンス作業等の影響も受けやすい
→ SLA は 99.9 % までしか保証されない
単一の仮想マシンの可用性

36. 仮想マシンをホストする物理サーバーにメンテナンスが行われても、
可用性セットを構成していれば、同時にダウンすることはない
可用性セット (Availability Set) を組んだ場合の可用性
ToR ToR ToR
メンテナンス
ToR

37. 物理サーバーを収容している ToR にメンテナンスが行われても、
可用性セットを構成していれば、同時にダウンすることはない
可用性セット (Availability Set) を組んだ場合の可用性
ToRToR ToR ToRメンテナンス

38. 東日本
Zone1
DC1
Cluster
A
Cluster
B
Nodes
Cluster
C
…
…
…
DC2
…
…
Zone2
DC3
…
…
Zone3
DC4
…
…
同一の可用性セットに入っている仮想マシンは、同一クラスター内で
障害ドメイン (電源やスイッチ) を考慮して分散配置されています
言い換えると、クラスターやデータセンター単位の障害時は
全台が同時にダウンする恐れがあります
可用性セットを組んでも全滅する場合があります

39. 仮想マシンを配置するゾーンを明示的に指定し、分散配置しておけば
クラスターやデータセンター単位の障害時も全滅を防ぐことが可能
ただし、可用性ゾーンが利用できるリージョンは限られているのと、
データセンターが分かれるため、遅延がわずかに増える点には注意
可用性ゾーン (Availability Zone) を組んだ場合の可用性
東日本
Zone1
DC1
Cluster
A
Cluster
B
Nodes
Cluster
C
…
…
…
DC2
…
…
Zone2
DC3
…
Zone3
DC4
…
…

40. マネージド ディスクの作成時もゾーンを選択する箇所があります
仮想マシンとディスクは同一ゾーンで揃えましょう
仮想マシンのディスクもゾーンを考慮しましょう
東日本
Zone1
DC1
Cluster
A
Cluster
B
Nodes
Cluster
C
…
…
…
DC2
…
…
Zone2
DC3
…
Zone3
DC4
…
…

41. PaaS と言えども、裏では仮想マシンのインスタンスが動いています
古い SKU は可用性ゾーンを使用していないため注意が必要です
例えば、VPN や ExpressRoute で
オンプレミスとつないでいる場合、
VNet ゲートウェイがダウンしたら
通信が全断する可能性があります
AZ 対応 SKU への移行もご検討を！
各種 PaaS の可用性にも気を配りましょう

42. 最後に

43. • Azure は生き物のように常に進化 (変化) しつづけることを念頭に
• 過去の事例や実績が数年後も最適であり続けるとは限りません
• 新機能や仕様変更に気を配り、導入前は実際に手を動かして検証を
• 絶対に落ちないシステムを目指すのではなく、一部がダウンしても
影響を最小限にできるような設計を目指しましょう
• ハードウェアは壊れますし、ソフトウェアにはバグがつきものです
• 「想定していなかった」ではなく、「こんなこともあろうかと」と
言えるようにクラウドといえど物理的なインフラにもご配慮を！
Azure を使いこなすためのマインドセット

44. © Copyright Microsoft Corporation. All rights reserved.
Thank You