インフラ野郎 Azure チーム v18.11
~Azure 半端ないって~
真壁 徹
日本マイクロソフト株式会社 クラウドソリューションアーキテクト
CI06
About me…
Server
Gen 2
Processor 2 x 6 Core 2.1 GHz
Memory 32 GiB
Hard Drive 6 x 500 GB
SSD None
NIC 1 Gb/s
Gen 3
Processor 2 x 8 Core 2.1 GHz
Memory 128 GiB
Hard Drive 1 x 4 TB
SSD 5 x 480 GB
NIC 10 Gb/s
Gen 4
Processor 2 x 12 Core 2.4 GHz
Memory 192 GiB
Hard Drive 4 x 2 TB
SSD 4 x 480 GB
NIC 40 Gb/s
Godzilla
Processor 2 x 16 Core 2.0 GHz
Memory 512 GiB
Hard Drive None
SSD 9 x 800 GB
NIC 40 Gb/s
Gen 5
Processor 2 x 20 Core 2.3 GHz
Memory 256 GiB
Hard Drive None
SSD
6 x 960 GB PCIe Flash
and 1 x 960 GB SATA
NIC 40 Gb/s + FPGA
Beast
Processor 4 x 18 Core 2.5 GHz
Memory 4096 GiB
Hard Drive None
SSD
4 x 2 TB NVMe, 1 x 960
GB SATA
NIC 40 Gb/s
Gen 6
Processor
2 x Skylake 24 Core
2.7GHz
Memory 768GiB DDR4
Hard Drive None
SSD
4 x 960 GB M.2 SSDs
and 1 x 960 GB SATA
NIC 40 Gb/s
FPGA Yes
Beast v2
Processor 8 x 28 Core 2.5 GHz
Memory 12 TiB
Hard Drive None
SSD
4 x 2 TB NVMe, 1 x 960
GB SATA
NIC 50 Gb/s
3x
Beast
Azure Servers | 汎用
Azure Servers | 用途特化型
HPC
Processor 2 x 12 Core 2.4 GHz
Memory 128 GiB
Hard Drive 5 x 1 TB
SSD None
NIC 10 Gb/s IP, 40 Gb/s IB
HB
Processor 2 x 32 Core 2.5 GHz
Memory 240 GiB
Hard Drive None
SSD 2 x 960 GB NVMe
NIC
50 Gb/s Ethernet, 100
Gb EDR IB
HC
Processor 2 x 24 Core 3.4 GHz
Memory 352 GiB
Hard Drive None
SSD 2 x 960 GB NVMe
NIC
50 Gb/s Ethernet, 100
Gb EDR IB
GPU Gen 5
Processor 2 x 8 Core 2.6 GHz
Memory 256 GiB
Hard Drive 1 x 2 TB
SSD 1 x 960 GB SATA
NIC 40 Gb/s
GPU 2 x 2 Compute GPU
Lv2
Processor 2 x 32 core 2.0GHz
Memory 1 TiB
Hard Drive None
SSD 12 x 2 TB NVMe
NIC 40 Gb/s
NDv2
Processor
2 x Skylake 24 Core 2.7
GHz
Memory 768 GiB
Hard Drive None
SSD 6 x 960 GiB NVMe
NIC 40 Gb/s
GPU 8 GPU with NVLink
Azure Serial Console
• ポータル/アクセスネットワーク/COM
ポート経由でVMへアクセス
(ユーザー仮想ネットワークではない)
• ハードウェア割り込みが可能に
• SysRq、NMI
• SSH、RDPできない時も安心
• 踏み台サーバー、SSH、RDP経由の
手作業をなくしていこう
• あわせてCloud Shellの活用や自動化も
Portal
Terminal Web Console Window
Host
VM2VM1
Host
Process
access
infrastructure
Demo: Serial Console
Storage
ハード設計のオープンソース化
マイクロソフトはOCPの”Project
Olympus”をリードし、成果物を
Azureに導入
Storage Servers
https://aka.ms/ocp/olympus/storage
バー
https://aka.ms/ocp/olympus
https://aka.ms/ocp/olympus/fx16
(*)Enterprise & Datacenter
Storage Form Factor
“OPEN CLOUD SERVER-PROJECT OLYMPUS- JBOD”
March 09, 2017, OCP Summit
“OPEN CLOUD SERVER-PROJECT OLYMPUS- JBOD”
March 09, 2017, OCP Summit
なぜ速い? Ultra SSDは ”NVMe” を採用
https://edsffspec.org https://www.opencompute.org/wiki/Server/ProjectOlympus
vRegisters
Register
Filter
DataQueuesSQ/COn
Submission
Filter
Completion
Filter
Virtual
AdminCQ
Virtual
AdminSQ
PhysicalAdmin
CQ
PhysicalAdmin
SQ
DataQueuesSQ/CO2
DataQueuesSQ/CO1
Poll for
Completion
CompletionInterrupt
Azure VM Lv2シリーズではNVMe”Direct”を採用
Blob Storageの性能向上
Azure Blobs (現在) High Throughput Blobs Premium Blobs
限定プレビュー開始
HTBB (High Throughput Block Blob)
認証, メーターリング、スロットリングなど
Partition Layer
パーティション単位でトランザクション/整合性の担保
Stream Layer
データの実体を複製して格納
FE 2
Partition 3
(F-J)
Stream 2
FE 2
Partition 3
(F-J)
Stream 2
FE 2
Partition 3
(F-J)
Stream 2
大きなファイル
BL001
BL002
BL003
BLN00
FE 2
Partition 3
(F-J)
Stream 2
大きなファイル
Demo:
High Throughput Block Blob
ちょっと一息: Managed Identity
Azure VM
Azure AD
Azure
Blob Storage
Your Code
Azure Infrastructure
Networking
United States
United States
Canada
Mexico
Venezuela
Colombia
Peru
Bolivia
Brazil
Argentina
Atlanta Ocean
Algeria
Mali
Niger
Nigeria
Chad
Libya Egypt
Sudan
Ethiopia
Dr Congo
Angola
Zambia
Nambia
South
Africa
Greenland
Svalbard
Sweden
Norway
United
Kingdom
France
Poland
Ukraine
Turkey
Saudi
Arabia
Iran
Kazakistan
India
Russia
China
Myanmar
(Burma)
Indian Ocean
Indonesia
Australia
Pacific Ocean
Pacific Ocean
Data center
所有
敷設中
借用
Edge site
Azure データセンター間ネットワーク
New! Azure Front Door Service
Azure Front Door 構成技術要素
Firewall
Application
LoadBalancer
Proxy / Caching
DNS Load
Management
Anycast
routing
Redundant paths
Redundant paths
Active steeringActive monitoring and
steering
Fast fail
over
Fast fail
over
Map of the
Internet
Demo: Azure Front Door
Azure Infrastructure
Hardware Manager
Azure SDN アーキテクチャー
• Azureのネットワーク装置、機能は
ソフトウェアで設定を自動化
• Azureのネットワーク機能の多くは
ソフトウェアで実現
• オープンソース ソフトウェアスイッチ
(SONiC)を利用
• 専用装置だけでなくサーバー上に
ネットワーク機能を多く実装
Azure Resource Manager
Compute RPNetwork RP
Regional Network Manager
Network State
Manager
Software load
balancer
Directory
Service
Compute
Controller
One-fleet Host
Network
Manager Agent
Load balancer
agent
Node Agent
Virtual
Filtering
Platform
Application
Containers
Application
Containers
Application
Containers
CA CA CA
大規模SDN運用の課題
Azure Network Emulator
Azure
SONiC
Virtual links
“CrystalNet: Faithfully Emulating Large Production Networks”
October , 2017, SOSP '17
テスト大事、すごく大事
変更を
プッシュ
Code
Run
Validate
Debug
Network
Config
Manager Network
Emulator
疑似NW
検証パイプライン
デプロイ
監視
検証エンジンFIB/RIB デプロイ
検証に失敗したコードは
やり直し
本番NW
Control Plane
& Operation
Azure Infrastructure
Azure アーキテクチャー
Hardware Manager
Resource
Provider
Azure Fabric Controller
Compute Networking
Azure Resource Manager
Storage
Azure Portal CLI 3rd party
Authentication
Telemetry&Insights
RBAC
Service Fabric AKS PaaS offeringWeb Apps
信頼性を上げるために機械学習を活かせないか?
Azure事例: HDDの故障予測とライブマイグレーション
Azure Cluster
N1 N2
VM
Azure Cluster
N1 N2
VM
Azure Cluster
N1 N2
VM
Azure Cluster
N1 N2
VM
予測とライブマイグレーション学習
予測 故障予兆検知 ライブマイグレーション
“Improving Service Availability of Cloud Systems by Predicting Disk Error”
July , 2018, USNIX ATC 2018
Azureのサービス展開パイプライン
検証サイクル
(SLA無し) 商用展開パイプライン
Stage EUAP(*)
Pilot
(1st Slice)
Early
regions
多様なHWで
Pilot Region
Pair1
Region
Pair2
不具合のインパクト
(*)Early Updates Access Program
まとめ
まとめ
© 2018 Microsoft Corporation. All rights reserved.
本情報の内容(添付文書、リンク先などを含む)は、作成日時点でのものであり、予告なく変更される場合があります。

インフラ野郎 Azureチーム v18.11 at Tech Summit 2018