Tech Summit 2018 CI06

1. インフラ野郎 Azure チーム v18.11
～Azure 半端ないって～
真壁 徹
日本マイクロソフト株式会社 クラウドソリューションアーキテクト
CI06

3. About me…

6. Server

7. Gen 2
Processor 2 x 6 Core 2.1 GHz
Memory 32 GiB
Hard Drive 6 x 500 GB
SSD None
NIC 1 Gb/s
Gen 3
Processor 2 x 8 Core 2.1 GHz
Memory 128 GiB
Hard Drive 1 x 4 TB
SSD 5 x 480 GB
NIC 10 Gb/s
Gen 4
Processor 2 x 12 Core 2.4 GHz
Memory 192 GiB
Hard Drive 4 x 2 TB
SSD 4 x 480 GB
NIC 40 Gb/s
Godzilla
Processor 2 x 16 Core 2.0 GHz
Memory 512 GiB
Hard Drive None
SSD 9 x 800 GB
NIC 40 Gb/s
Gen 5
Processor 2 x 20 Core 2.3 GHz
Memory 256 GiB
Hard Drive None
SSD
6 x 960 GB PCIe Flash
and 1 x 960 GB SATA
NIC 40 Gb/s + FPGA
Beast
Processor 4 x 18 Core 2.5 GHz
Memory 4096 GiB
Hard Drive None
SSD
4 x 2 TB NVMe, 1 x 960
GB SATA
NIC 40 Gb/s
Gen 6
Processor
2 x Skylake 24 Core
2.7GHz
Memory 768GiB DDR4
Hard Drive None
SSD
4 x 960 GB M.2 SSDs
and 1 x 960 GB SATA
NIC 40 Gb/s
FPGA Yes
Beast v2
Processor 8 x 28 Core 2.5 GHz
Memory 12 TiB
Hard Drive None
SSD
4 x 2 TB NVMe, 1 x 960
GB SATA
NIC 50 Gb/s
3x
Beast
Azure Servers | 汎用

8. Azure Servers | 用途特化型
HPC
Processor 2 x 12 Core 2.4 GHz
Memory 128 GiB
Hard Drive 5 x 1 TB
SSD None
NIC 10 Gb/s IP, 40 Gb/s IB
HB
Processor 2 x 32 Core 2.5 GHz
Memory 240 GiB
Hard Drive None
SSD 2 x 960 GB NVMe
NIC
50 Gb/s Ethernet, 100
Gb EDR IB
HC
Processor 2 x 24 Core 3.4 GHz
Memory 352 GiB
Hard Drive None
SSD 2 x 960 GB NVMe
NIC
50 Gb/s Ethernet, 100
Gb EDR IB
GPU Gen 5
Processor 2 x 8 Core 2.6 GHz
Memory 256 GiB
Hard Drive 1 x 2 TB
SSD 1 x 960 GB SATA
NIC 40 Gb/s
GPU 2 x 2 Compute GPU
Lv2
Processor 2 x 32 core 2.0GHz
Memory 1 TiB
Hard Drive None
SSD 12 x 2 TB NVMe
NIC 40 Gb/s
NDv2
Processor
2 x Skylake 24 Core 2.7
GHz
Memory 768 GiB
Hard Drive None
SSD 6 x 960 GiB NVMe
NIC 40 Gb/s
GPU 8 GPU with NVLink

9. Azure Serial Console
• ポータル/アクセスネットワーク/COM
ポート経由でVMへアクセス
(ユーザー仮想ネットワークではない)
• ハードウェア割り込みが可能に
• SysRq、NMI
• SSH、RDPできない時も安心
• 踏み台サーバー、SSH、RDP経由の
手作業をなくしていこう
• あわせてCloud Shellの活用や自動化も
Portal
Terminal Web Console Window
Host
VM2VM1
Host
Process
access
infrastructure

10. Demo: Serial Console

11. Storage

12. ハード設計のオープンソース化
マイクロソフトはOCPの”Project
Olympus”をリードし、成果物を
Azureに導入

13. Storage Servers
https://aka.ms/ocp/olympus/storage
バー
https://aka.ms/ocp/olympus
https://aka.ms/ocp/olympus/fx16
(*)Enterprise & Datacenter
Storage Form Factor

14. “OPEN CLOUD SERVER-PROJECT OLYMPUS- JBOD”
March 09, 2017, OCP Summit

15. “OPEN CLOUD SERVER-PROJECT OLYMPUS- JBOD”
March 09, 2017, OCP Summit

17. なぜ速い? Ultra SSDは ”NVMe” を採用

18. https://edsffspec.org https://www.opencompute.org/wiki/Server/ProjectOlympus

19. vRegisters
Register
Filter
DataQueuesSQ/COn
Submission
Filter
Completion
Filter
Virtual
AdminCQ
Virtual
AdminSQ
PhysicalAdmin
CQ
PhysicalAdmin
SQ
DataQueuesSQ/CO2
DataQueuesSQ/CO1
Poll for
Completion
CompletionInterrupt
Azure VM Lv2シリーズではNVMe”Direct”を採用

20. Blob Storageの性能向上
Azure Blobs (現在) High Throughput Blobs Premium Blobs
限定プレビュー開始

21. HTBB (High Throughput Block Blob)

22. 認証, メーターリング、スロットリングなど
Partition Layer
パーティション単位でトランザクション/整合性の担保
Stream Layer
データの実体を複製して格納
FE 2
Partition 3
(F-J)
Stream 2

23. FE 2
Partition 3
(F-J)
Stream 2

24. FE 2
Partition 3
(F-J)
Stream 2
大きなファイル
BL001
BL002
BL003
BLN00

25. FE 2
Partition 3
(F-J)
Stream 2
大きなファイル

26. Demo:
High Throughput Block Blob

27. ちょっと一息: Managed Identity
Azure VM
Azure AD
Azure
Blob Storage
Your Code
Azure Infrastructure

28. Networking

29. United States
United States
Canada
Mexico
Venezuela
Colombia
Peru
Bolivia
Brazil
Argentina
Atlanta Ocean
Algeria
Mali
Niger
Nigeria
Chad
Libya Egypt
Sudan
Ethiopia
Dr Congo
Angola
Zambia
Nambia
South
Africa
Greenland
Svalbard
Sweden
Norway
United
Kingdom
France
Poland
Ukraine
Turkey
Saudi
Arabia
Iran
Kazakistan
India
Russia
China
Myanmar
(Burma)
Indian Ocean
Indonesia
Australia
Pacific Ocean
Pacific Ocean
Data center
所有
敷設中
借用
Edge site
Azure データセンター間ネットワーク

30. New! Azure Front Door Service

31. Azure Front Door 構成技術要素
Firewall
Application
LoadBalancer
Proxy / Caching
DNS Load
Management
Anycast
routing
Redundant paths
Redundant paths
Active steeringActive monitoring and
steering
Fast fail
over
Fast fail
over
Map of the
Internet

32. Demo: Azure Front Door

33. Azure Infrastructure
Hardware Manager
Azure SDN アーキテクチャー
• Azureのネットワーク装置、機能は
ソフトウェアで設定を自動化
• Azureのネットワーク機能の多くは
ソフトウェアで実現
• オープンソース ソフトウェアスイッチ
(SONiC)を利用
• 専用装置だけでなくサーバー上に
ネットワーク機能を多く実装
Azure Resource Manager
Compute RPNetwork RP
Regional Network Manager
Network State
Manager
Software load
balancer
Directory
Service
Compute
Controller
One-fleet Host
Network
Manager Agent
Load balancer
agent
Node Agent
Virtual
Filtering
Platform
Application
Containers
Application
Containers
Application
Containers
CA CA CA

34. 大規模SDN運用の課題

35. Azure Network Emulator
Azure
SONiC
Virtual links
“CrystalNet: Faithfully Emulating Large Production Networks”
October , 2017, SOSP '17

36. テスト大事、すごく大事
変更を
プッシュ
Code
Run
Validate
Debug
Network
Config
Manager Network
Emulator
疑似NW
検証パイプライン
デプロイ
監視
検証エンジンFIB/RIB デプロイ
検証に失敗したコードは
やり直し
本番NW

38. Control Plane
& Operation

39. Azure Infrastructure
Azure アーキテクチャー
Hardware Manager
Resource
Provider
Azure Fabric Controller
Compute Networking
Azure Resource Manager
Storage
Azure Portal CLI 3rd party
Authentication
Telemetry&Insights
RBAC
Service Fabric AKS PaaS offeringWeb Apps

40. 信頼性を上げるために機械学習を活かせないか?

41. Azure事例: HDDの故障予測とライブマイグレーション
Azure Cluster
N1 N2
VM
Azure Cluster
N1 N2
VM
Azure Cluster
N1 N2
VM
Azure Cluster
N1 N2
VM
予測とライブマイグレーション学習
予測 故障予兆検知 ライブマイグレーション
“Improving Service Availability of Cloud Systems by Predicting Disk Error”
July , 2018, USNIX ATC 2018

42. Azureのサービス展開パイプライン
検証サイクル
(SLA無し) 商用展開パイプライン
Stage EUAP(*)
Pilot
(1st Slice)
Early
regions
多様なHWで
Pilot Region
Pair1
Region
Pair2
不具合のインパクト
(*)Early Updates Access Program

43. まとめ

44. まとめ

45. © 2018 Microsoft Corporation. All rights reserved.
本情報の内容（添付文書、リンク先などを含む）は、作成日時点でのものであり、予告なく変更される場合があります。