Azure Stack 受け入れ準備_20180630

Azure Stack 受け入れ準備
MICROSOFT MVP CLOUD AND DATACENTER MANAGEMENT
松本裕志
2018年6月30日

自己紹介
• 松本裕志 (Matsumoto Hiroshi)
• 某ハードウェアメーカ勤務
– Hyper-V などの設計構築や Azure Stack のインストールなど。
• System Center User Group Japan 参加者
• ブログ：https://mhiroblog.wordpress.com/
• Facebook：https://www.facebook.com/people/Hiroshi-Matsumoto/100012360255052

Agenda
• Azure Stack とは
• Azure Stack 導入の流れ
• Azure Stack のコンポーネント
• Deployment Worksheet
– 接続モデル
– DNS 要件
– 証明書要件
– ネットワーク要件
• Azure Stack のインストール
• まとめ

Azure と Azure Stack
Truly consistent hybrid cloud platform
Consistency

Azure and Azure Stack
Truly consistent hybrid cloud platform
Azure StackAzure
Developers
Operator
CONSISTENCY

Azure Stack Integrated System
Azure Stack が正常に稼働する検証済みのハー
ドウェアで提供されます。
提供中
• Cisco Systems
• Dell EMC
• HPE
• Lenovo
提供予定
• Avanade
• Worthmann AG
• Huawei
• Fujitsu

ハイブリッドクラウドプラットフォーム仮想化のリプレース
What it is What it is not
IaaS, PaaS, & cloud solutions
をセルフサービスで提供する統合システム
DIY インフラストラクチャ
Azure-consistency のため
定期アップデート
Static system you deploy & forget
Cross-platform Hybrid Cloud Windows オンリーのクラウド
The right way to think about Azure Stack

Azure IaaS available on-premises:
beyond traditional virtualization

Azure PaaS available on-premises: High productivity
development

Azure
Stack
Hosted and
On-premises
Azure ビジネスモデルの拡張です。
Azure Stack 上でサービスを利用した分だけ
課金されます
事前にライセンス料金は払いません。利用を開
始したタイミングで課金されます。
Azure と同じサブスクリプション形式で、請求
書も同じです。
EA と CSP channels の2種類の利用ができ
ます。
Pay-as-you-use model

Azure
Stack
Hosted and
On-premises
非接続の場合、コマースやメータリングには接続し
ません。
物理コアベースの料金体系となり、年額支払いで
す。
IaaS のすべての機能が使えますが、PaaS サービ
スは別途ライセンス料が必要です。
EA channel のみの契約で利用できます。
Capacity model

クラウドオペレーティングモデルとジョブロール
Azure Stack の
オペレーター

Azure Stack Operator の運用範囲
Operatorによる管理

Azure Stack アップデート
1709
(GA)
1710
(2017/10/20)
1711
(2017/12/01)
1712
(2018/1/06)
1802
(2018/3/02)
1803
(2018/3/29)
1804
(2018/5/13)
1805
(2018/6/05)
• アップデートは OEM とマイクロソフトの2種類があります。
• OEM アップデートは、ハードウェアのファームウェアやドライバーのアップデートと、HLH のWindows Update などが含まれます。
最新の2つ前までサポートサポート対象外
・マイクロソフトアップデート
・ Dell EMC アップデート
1709
(GA)
1710
(2017/11/14)
1712
(2018/1/30)
1803
(2018/5/25)
1804
(2018/6/05)
・ Keep your system under support
https://docs.microsoft.com/en-us/azure/azure-stack/azure-stack-servicing-policy?WT.mc_id=facebook#keep-your-system-
under-support

Exam 70-537
Microsoft Azure Stackを使用したハイブリッドクラウドの設定と運用
• Configuring and Operating a Hybrid Cloud with Microsoft Azure Stack
1. Azureスタック環境の展開と統合 (20-25%)
2. Azureスタック環境用のPaaSとIaaSの設定 (25-30%)
3. Azureスタックテナントにサービスを提供し、DevOpsを有効にする (25-30%)
4. Azureスタック環境の保守と監視 (20-25%)
• Azure Stack オペレーターのドキュメント
– サービスの提供 (IaaS、MarketPlace、PaaS、App Services、プランとオファーの設計/インストール)
– アップデートの適用
– キャパシティやサービス監視
– 障害対応
– などなど。

Azure Stack 導入の流れ
準備していただくもの
・ [ToR – お客様スイッチ] をつなぐケーブル
・お客様スイッチ
・証明書
・サブスクリプション (EA/CSP)
・ AAD or AD/ADFS

Azure Stack のコンポーネ
ント

H/Wコンポーネント
管理用スイッチ(1台)
Dell Networking S3048-ON (1GbE)
ToRスイッチ(2台)
Dell Networking S4048T-ON (10GbE)
管理サーバー(1台)
PowerEdge R640
Azure Stackノード
PowerEdge R740XD
専用ラック
Titan 40U storage rack
スケールユニット（ラック）
Azure Stackシステムの単位
1ラックごとにスケールユニットと呼ぶ
Dell EMC Cloud for Microsoft Azure Stack
VxRack AS

ハードウェア
• サーバーとスイッチ
• Azure Stack ノード
• Azure Stack ノードキャパシティ (1ノードあたり)
コンポーネント数量機種
HLH ホスト 1 Dell EMC PowerEdge R640
ToR スイッチ 2 Dell EMC PowerEdge S4048-ON
BMC スイッチ 1 Dell EMC PowerEdge S3048-ON
サイズ数量機種
Small 4 Dell EMC PowerEdge R740XD
Medium 8 Dell EMC PowerEdge R740XD
Large 12 Dell EMC PowerEdge R740XD
構成 CPU (2個) メモリキャッシュキャパシティ
Low Gold 5118 - 12 cores, 2.3 GHz 384 GB 6 x 960 GB SSD (約 5.7 TB) 10 x 4 TB HDD (40 TB)
Medium Gold 6130 - 16 cores, 2.1 GHz 512 GB 6 x 1.92 TB SSD (約 11.5 TB) 10 x 8 TB HDD (80 TB)
High Platinum 8160 24 cores, 2.1 GHz 788 GB 6 x 1.92 TB SSD (約 11.5 TB) 10 x 10 TB HDD (100 TB)
スケールユニット

物理ネットワーク
・操作やサービスをサポートするための回復性と可用性の高い設計になっています。

HLH (Hardware Lifecycle Host)
• HLH はスタンドアロンのHyper-V ホストです。Azure Stack ソフトウェアのインストールと Azure Stack ハードウェアの管理、
監視サービスを提供する仮想マシンを稼働させます。 (各ベンダーにより、提供されるソフトウェアは異なります。)
• Dell EMC のAzure Stack では、ハードウェア監視をする下記 2台の仮想マシンを稼働させます。
– OME-VM (Open Manage Essentials、SupportAssist Enterprise)
– OMNM-VM (Open Manage Network Manager)
– DVM (Azure Stack をインストールする仮想マシン。インストール後に削除)
• Open Manage Essentials はサーバーの管理/監視をするソフトウェアです。
– Discovery and inventory
– Firmware update
– Set up SNMP for monitoring and alerting
– Support Assistant
• Open Manage Network Manager はスイッチの管理/監視をするソフトウェアです。
– Switch discovery/inventory
– Switch firmware inventory and update
– Switch configuration backup
– Performance Monitoring
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
OK
FAIL
N2200-PAC-400W
OK
FAIL
N2200-PAC-400W
ID
MGMT 1
0
STAT
CONSOLE
N3K-C3048-FAN
FAN
STAT
CISCO NEXUS 3172-10GE
25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 481 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 49
50
51
52
53
54
25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 481 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 49
50
51
52
53
54

Azure Stack ノード
• Azure Stack ソフトウェアを提供する Hyper-V ホストクラスターです。
• ４～ 16 台の構成で利用できます。 (※ 16ノード構成は開発中：2018年06月30日)
• Hyper-V の HCI 構成です。
• S2D のディスク構成は 3 way ミラーで構成されます。
• Infrastructure VM と Tenant VM を稼働させます。
• Infrastructure VM は 27台で約 200 GB メモリを使用します。
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
OK
FAIL
N2200-PAC-400W
OK
FAIL
N2200-PAC-400W
ID
MGMT 1
0
STAT
CONSOLE
N3K-C3048-FAN
FAN
STAT
25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 481 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 49
50
51
52
53
54
25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 481 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 49
50
51
52
53
54
Cache Capacity Capacity

Azure Stack キャパシティプランニング
• マイクロソフト社からキャパシティプランニングツールが提供されています。
– Azure Stack Capacity Planner (Version 1805.01)
– 利用想定の仮想マシン台数から Azure Stack の推奨構成を確認できるツールです。(誰でも利用できます！)
• Azure Stack を提供する各OEM ベンダーもキャパシティツールを持っているはずです。
– 担当者へ確認することで、最適なハードウェア構成を提案してもらえます。

4 ノード上の仮想マシン 27台

Azure Stack インフラを構成する仮想マシン 27 台
No. 仮想マシン名メモリ役割
1 <Prefix>-ACS01、<Prefix>-ACS02、<Prefix>-ACS03 8192 ストレージサービス
2 <Prefix>-ADFS01、<Prefix>-ADFS02 4096 ADFS
3 <Prefix>-CA01 856 (動的？) Azure Stack 用の CA
4 <Prefix>-DC01、<Prefix>-DC02 4096 Azure Stack 内部ドメイン、DNS、DHCP
5 <Prefix>-ERCS01、<Prefix>-ERCS02、<Prefix>-ERCS03 4096 PEP アクセス、Emergency Recovery Console VM.
6 <Prefix>-GWY01、<Prefix>-GWY02 8192 テナントのS2S VPN アクセスなどのゲートウェイサービス
7 <Prefix>-NC01、<Prefix>-NC02、<Prefix>-NC03 4096 ネットワークサービス用のネットワークコントローラー
8 <prefix>-PXE01 840 (動的？) PXE Boot 用？ノード追加などをする際に利用するのかも。
9 <Prefix>-SLB01、<Prefix>-SLB02 8192 Azure Stack インフラとテナントの SLB Mux
10 <Prefix>-SQL01、<Prefix>-SQL02 8192 Azure Stack インフラ用の SQL データベース
11 <Prefix>-WAS01 12288 管理者ポータルと管理者用リソースマネージャーサービス
12 <Prefix>-WASP01、<Prefix>-WASP02 12288 テナントポータルとテナント用リソースマネージャーサービス
13 <Prefix>-XRP01、<Prefix>-XRP02、<Prefix>-XRP03 12288 インフラストラクチャ管理コントローラー
メモリ使用量合計約 200 GB PaaS は含まれていません。
仮想マシンのロール
https://docs.microsoft.com/ja-jp/azure/azure-stack/asdk/asdk-architecture#virtual-machine-roles

ASDK (Azure Stack Development Kit)
• ASDK はシングルノードで利用できる Azure Stack の PoC 環境です。
• 要件をクリアしたハードウェアを準備すれば、だれでも無料で Azure Stack 環境を利用することができます！
• Azure Stack のデプロイ計画に関する考慮事項
– https://docs.microsoft.com/ja-jp/azure/azure-stack/asdk/asdk-deploy-considerations#hardware
• 新しいビルドが公開されるたびに、再インストールするのが大変です。。
– https://docs.microsoft.com/ja-jp/azure/azure-stack/asdk/asdk-release-notes
コンポーネント最小構成推奨構成
ディスクドライブ: ホストOS 最低 200 GB 最低 200 GB
ディスクドライブ: S2D キャパシティ用 4 本 (最低 140 GB) 4 本 (最低 250 GB)
CPU デュアルソケット: 12 個の物理コアデュアルソケット: 16 個の物理コア
メモリ 96 GB 128 GB

Deployment Worksheet (パラメーターシート)
• Azure Stack のインストールに必要なパラメーターを決定する Excel シートです。
• 下記の情報を決定する必要があります。
Customer and Environment Info シート
1. ID ストア (AAD or ADFS)
2. 内部ドメイン名
3. 外部ドメイン名
4. Naming Prefix
5. 証明書のパスワード
6. DNS フォワーダ
7. NTP サーバ
8. タイムゾーン
Network Settings シート
1. 各ネットワークの IP サブネット
2. ネットワークのルーティング方式
› スタティック
› BGP (AS番号も必要です)
3. Syslog サーバー (オプション)

Azure Stack デプロイの接続モデル
オプション Azure 接続あり (Connected) Azure 接続なし (Disconnected)
Billing キャパシティと従量課金 (CSP, EA) キャパシティのみ。(EA)
Identity AAD、ADFS ADFS のみ
Marketplace syndication 〇 ×
Register to Azure 〇 ×

AAD Single Tenant
Use cases: Enterprises, Dedicated Hosting

AAD Multi Tenant
Use cases: CSP, Shared Hosting

AAD
• Azure Stack のインストールに必要なアカウントです。CSP か EA のサブスクリプションのみサポートされています。
• 下記全体管理者アカウントと Billing アカウントは、同じAAD アカウントでも可能です。
• Azure の登録の検証
https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-validate-registration
フィールド説明
Global admin account
(全体管理者)
AAD の全体管理者アカウントを使用して、Azure Stack のインストールを行います。
Billing account このアカウントで Azure Stack の料金が請求されます。Azure Stack の課金情報を、Azure コマース
と接続するために利用します。 (Connected / Disconnected のどちらのシナリオでも必要です。)

ADFS
• ADFS を利用することで、既存の AD ユーザで Azure Stack ポータルにログインする環境を提供できます。
https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-key-features#active-directory-federation-services
Azure Stack 統合システムの Azure から切断されたデプロイ計画の決定

ADFS 制約 (1)
• ADFS シナリオの場合、下記の制約があります。
機能影響
VM のデプロイ後を構成するための DSC 拡張機能を備えた VM デ
プロイ
損なわれる - DSC 拡張機能は、最新の WMF がないかどうかインターネットを参照します。
Docker コマンドを実行するための Docker 拡張機能を備えた VM
デプロイ
損なわれる – Docker は最新バージョンがないかどうかインターネットをチェックするため、このチェックは失敗します。
Azure Stack ポータルでのドキュメントリンク使用できない – インターネット URL を使用するリンク ([フィードバックのご提供]、[ヘルプ]、[クイックスタート] など)
は機能しません。
オンライン修復ガイドを参照する、アラートによる修復/軽減使用できない – インターネット URL を使用するアラート修復リンクはすべて機能しません。
マーケットプレースシンジケーション – Azure Marketplace から直
接ギャラリーパッケージを選択して追加する機能
損なわれる - Azure Stack を非接続モード (インターネット接続なし) でデプロイする場合、Azure Stack ポータ
ルを使用して Marketplace アイテムをダウンロードすることはできません。ただし、マーケットプレースシンジケーション
ツールを使用して、インターネットに接続されたマシンに Marketplace アイテムをダウンロードしてから、Azure
Stack 環境に転送することができます。
Azure Stack デプロイを管理するための Azure Active
Directory フェデレーションアカウントの使用
使用できない – この機能には Azure への接続が必要です。代わりに、ローカルの Active Directory インスタン
スによる AD FS を使用する必要があります。
アプリケーションサービス損なわれる - WebApps では、コンテンツの更新のためにインターネットへのアクセスが必要です。

ADFS 制約 (2)
• ADFS シナリオの場合、下記の制約があります。
機能影響
コマンドラインインターフェイス (CLI) 損なわれる – CLI は、サービスプリンシパルの認証およびプロビジョニングの点で機能が削減されます。
Visual Studio – クラウド検出損なわれる – Cloud Discovery は別のクラウドを検出するか、またはまったく機能しないかのどちらかです。
Visual Studio – AD FS 損なわれる – AD FS をサポートするのは Visual Studio Enterprise だけです。
テレメトリ使用できない – Azure Stack のテレメトリデータや、テレメトリデータに依存するすべてのサードパーティ製ギャラリーパッ
ケージ。
証明書使用できない – HTTPS のコンテキストでの証明書失効リスト (CRL) およびオンライン証明書状態プロトコル (OSCP)
サービスにはインターネット接続が必要です。
Key Vault 損なわれる – Key Vault の一般的なユースケースでは、アプリケーションに実行時にシークレットを読み取らせます。このた
め、アプリケーションではディレクトリ内にサービスプリンシパルが必要です。 Azure Active Directory では、通常のユー
ザー (非管理者) は、既定ではサービスプリンシパルの追加を許可されます。 AD (ADFS を使用) では許可されません。
これにより、どのアプリケーションを追加するにもディレクトリ管理者を経由する必要があるため、エンドツーエンドのエクスペリエ
ンスに問題が発生します。

Azure Stack の DNS 名前空間
• Azure Stack を導入する際、DNSに関して決定が必要な情報です。
フィールド説明例
リージョン Azure Stack のデプロイの地理的な場所。 Shinagawa
外部ドメイン名 Azure Stack のデプロイに使用したいゾーンの名前。 Interact2018.com
内部ドメイン名 Azure Stack のインフラストラクチャサービスに使用される内部ゾーン
の名前です。
azurestack.local
DNS フォワーダ Azure Stack の外部 (企業イントラネットまたはパブリックインター
ネット上) でホストされている DNS クエリ、DNS ゾーンおよびレコード
を転送するために使用される DNS サーバー。
8.8.8.8
Naming Prefix Azure Stack インフラストラクチャロールインスタンスマシン名に使
用する名前付けのプレフィックス。指定されていない場合、既定値は
azs です。(AzS-ERCS01 など)
Azs
• この情報で導入した場合、Azure Stack エンドポイントは下記のようになります。
– TenantPortal: https://portal.shinagawa.interact2018.com
– AdminPortal: https://adminportal.shinagawa.interact2018.com

名前解決
• 内部ドメイン (azurestack.local)：AzS-DC01
• 外部ドメイン (interact2018.com)：AzS-WASP01 (？)
interact2018.com
プライマリ Zone
Azurestack.local
AD統合 Zone
WASP01
外部DNSサーバ
お客様DNSサーバ
azs-
ns01.tokyo.interact2018.com
azs-
ns02.tokyo.interact2018.com
NS レコードと
Aレコードを登録
or
条件付きフォワーダ

AzureStackStampInfo.json
• インストールした OEM ベンダーから共有されますが、Powershell で取得することも可能です。
コマンド：Get-AzureStackStampInformation (PEP で実施してください)
{
"DeploymentID": "108a1234-fd9c-4af9-b097-f20b12345678",
"OemVersion": null,
"PackageHash": null,
"StampVersion": "1.1805.1.47",
"Prefix": "AzS",
"CompanyName": "Microsoft",
"ServerSku": "Core",
"Topology": "HyperConverged",
"Timezone": "Tokyo Standard Time",
"HardwareOEM": null,
"HardwareInfo": null,
"RegionName": "local",
"DomainNetBIOSName": "azurestack",
"DomainFQDN": "azurestack.local",
"Timeserver": "192.168.1.60",
"NumberOfNodes": 1,
"AADTenantID": "21876921-6c9a-4b90-b92c-ee712345678",
"AADTenantName": “abc.onmicrosoft.com",
"ExternalDNSFQDN01": "AzS-ns01.local.azurestack.external",
"ExternalDNSFQDN02": "AzS-ns02.local.azurestack.external",
"ExternalDNSIPAddress01": "192.168.102.10",
"ExternalDNSIPAddress02": "192.168.102.12",
"CloudID": "3cbb4219-1bea-4cf0-b24b-7dd3d7f6ddc9",
"EmergencyConsoleIPAddresses": [
"192.168.200.224"
],
"RootCACertificates": [
{
"Thumbprint": "E0F2F11546D1DFE882E12E05D9DE7B3E56012B4B",
"NotBefore": "¥/Date(1528303320000)¥/",
"NotAfter": "¥/Date(1686070320000)¥/",
"Certificate":
"MIIDlzCCAn+gAwIBAgIQXfq0E0gflp1AqIpvve1XIzANBgkqhkiG9w0BAQsFADBeMRUwEwYKCZImiZPyLGQBGRYFbG
Skw5WUmmi34khNN8Be7aXsZd0GsKELx8yttpf5UIoEbeBUsIks558WlSPZ/3G8SV+yXX4VxMNuJ0pVjL6grcVcUb/QL
}
],
"TenantExternalEndpoints": {
"TenantResourceManager": "https://management.local.azurestack.external/",
"TenantResourceManagerCertificateMetadata": "https://management.local.azurestack.external:30024/",
"TenantPortal": "https://portal.local.azurestack.external/"
},
"AdminExternalEndpoints": {
"AdminResourceManager": "https://adminmanagement.local.azurestack.external/",
"AdminResourceManagerCertificateMetadata": "https://adminmanagement.local.azurestack.external:30024/
"AdminPortal": "https://adminportal.local.azurestack.external/",
"AdminFrontdoor": "https://adminmanagement.local.azurestack.external/",
"AdminShellSite": "https://adminportal.local.azurestack.external/",
"AdminGallery": "https://adminportal.local.azurestack.external:30015/"
},
"IdentitySystem": "AzureAD",
"ExternalDomainFQDN": "local.azurestack.external"
}

各ドメインのレコード
local.azurestack.external
local.cloudapp.azurestack.external
dbadapter.local.azurestack.external
appservice.local.azurestack.external
azurestack.local
Internal External

必要な名前解決ができないとトラブルを引き起こす可能性があ
ります。

証明書の要件
1. 内部の証明機関または公的証明機関のどちらかから発行されている必要があります。
2. Azure Stack インフラストラクチャは、証明書において公開されている証明機関の証明書失効リスト (CRL) の場所にネットワーク
アクセスできる必要があります。この CRL は、http エンドポイントである必要があります。
3. 自己署名証明書は使用できません。
4. 証明書署名アルゴリズムを SHA1 にすることはできません
5. Azure Stack のインストールには公開キーと秘密キーの両方が必要なため、証明書の形式は PFX である必要があります。
6. 証明書 pfx ファイルの "Key Usage" フィールドには、"Digital Signature" と "KeyEncipherment" の値が含まれてい
る必要があります
7. 証明書の pfx ファイルの "Enhanced Key Usage" フィールドには、"Server Authentication
(1.3.6.1.5.5.7.3.1)" と "Client Authentication (1.3.6.1.5.5.7.3.2)" の値が含まれている必要があります。
8. 証明書の "Issued to:" フィールドは "Issued by:" フィールドと同じにしないでください。
9. すべての証明書 pfx ファイルのパスワードが同じである必要があります。
10. 証明書 pfx に対するパスワードは、複雑なパスワードである必要があります。
https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-pki-certs#certificate-requirements

証明書要求ファイル
[Version]
Signature="$Windows NT$"
[NewRequest]
Subject = "CN=portal.shinagawa.interact2018.com,OU=AzureStack,O=Interact,L=Shinagawa,ST=Shinagawa,C=JP"
Exportable = TRUE ; Private key is not exportable
KeyLength = 2048 ; Common key sizes: 512, 1024, 2048, 4096, 8192, 16384
KeySpec = 1 ; AT_KEYEXCHANGE
KeyUsage = 0xA0 ; Digital Signature, Key Encipherment
MachineKeySet = True ; The key belongs to the local computer account
ProviderName = "Microsoft RSA SChannel Cryptographic Provider"
ProviderType = 12
SMIME = FALSE
RequestType = PKCS10
HashAlgorithm = SHA256
; At least certreq.exe shipping with Windows Vista/Server 2008 is required to interpret the [Strings] and [Extensions] sections below
[Strings]
szOID_SUBJECT_ALT_NAME2 = "2.5.29.17"
szOID_ENHANCED_KEY_USAGE = "2.5.29.37"
szOID_PKIX_KP_SERVER_AUTH = "1.3.6.1.5.5.7.3.1"
szOID_PKIX_KP_CLIENT_AUTH = "1.3.6.1.5.5.7.3.2"
[Extensions]
%szOID_SUBJECT_ALT_NAME2% = "{text}dns=portal.shinagawa.interact2018.com&dns=adminportal.shinagawa.interact2018.com&
dns=management.shinagawa.interact2018.com&dns=adminmanagement.shinagawa.interact2018.com&
dns=*.blob.shinagawa.interact2018.com&dns=*.queue.shinagawa.interact2018.com&dns=*.table.shinagawa.interact2018.com&
dns=*.vault.shinagawa.interact2018.com&dns=*.adminvault.shinagawa.interact2018.com&
dns=*.dbadapter.shinagawa.interact2018.com&dns=*.appservice.shinagawa.interact2018.com&
dns=*.scm.appservice.shinagawa.interact2018.com&dns=api.appservice.shinagawa.interact2018.com&
dns=ftp.appservice.shinagawa.interact2018.com&dns=sso.appservice.shinagawa.interact2018.com&
dns=*.sso.appservice.shinagawa.interact2018.com"
%szOID_ENHANCED_KEY_USAGE% = "{text}%szOID_PKIX_KP_SERVER_AUTH%,%szOID_PKIX_KP_CLIENT_AUTH%"
[RequestAttributes]

証明書 (導入時に必要)
Scope Subdomain Namespace Required Certificate Subject and Subject Alternative
Names (SAN)
Portals ARM <REGION>.<EXTERNALFQDN> portal. <REGION>.<EXTERNALFQDN>
adminportal. <REGION>.<EXTERNALFQDN>
management. <REGION>.<EXTERNALFQDN> SSL
adminmanagement. <REGION>.<EXTERNALFQDN>
Storage blob.<REGION>.<EXTERNALFQDN> *.blob.<REGION>.<EXTERNALFQDN>
table.<REGION>.<EXTERNALFQDN> *.table.<REGION>.<EXTERNALFQDN>
queue.<REGION>.<EXTERNALFQDN> *.queue.<REGION>.<EXTERNALFQDN>
Key Vault vault.<REGION>.<EXTERNALFQDN> *.vault.<REGION>.<EXTERNALFQDN>
wildcard SSL certificate
adminvault.<REGION>.<EXTERNALFQDN> *.adminvault.<REGION>.<EXTERNALFQDN>
wildcard SSL certificate
• 導入時に必須の証明書です。
• 1枚のマルチドメインワイルドカード証明書も利用できますが、1枚ずつ準備することも可能です。(1803 以前でインストールする場合、
Storage 用のワイルドカードドメインは1枚にまとめる必要があります。)
https://docs.microsoft.com/en-us/azure/azure-stack/azure-stack-pki-certs#mandatory-certificates

証明書 (ADFS の場合に追加で必要)
Names (SAN)
ADFS adfs.<REGION>.<EXTERNALFQDN> adfs.<REGION>.<EXTERNALFQDN>
SSL Certificate
Graph graph.<REGION>.<EXTERNALFQDN> graph.<REGION>.<EXTERNALFQDN>
SSL Certificate
• ADFS を利用してインストールする場合に必要な証明書です。

証明書 (PaaS 用に追加で必要)
Scope Subdomain Namespace Required Certificate Subject and Subject
Alternative Names (SAN)
SQL
MySQL
dbadapter.<REGION>.<EXTERNALFQDN> *.dbadapter.<REGION>.<EXTERNALFQDN>
wildcard SSL Certificate
App Service appservice.<REGION>.<EXTERNALFQDN>
scm.appservice.<REGION>.<EXTERNALFQDN
>
*.appservice.<REGION>.<EXTERNALFQDN>
*.scm.appservice.<REGION>.<EXTERNALFQDN>
Multi Domain wildcard SSL Certificate
api.appservice.<REGION>.<EXTERNALFQDN>
SSL Certificate (separate certificate for endpoint)
ftp.appservice.<REGION>.<EXTERNALFQDN>
SSL Certificate2 (separate certificate for endpoint)
sso.appservice.<REGION>.<EXTERNALFQDN>
SSL Certificate (separate certificate for endpoint)
• PaaS をサービスをインストールする場合に必要な証明書です。(導入時に必須ではありません)
https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-pki-certs#optional-paas-certificates

証明書 (Dell EMC ソフトウェア用)
Names (SAN)
OME <OMESRVNAME>.<customerFQDN> <OMESRVNAME>.<REGION>.<customerFQDN>
SSL Certificate with SANs
OMNM <OMNMSRVNAME>.<customerFQDN> <OMNMSRVNAME>.<REGION>.<customerFQDN>
SSL Certificate with SANs
• OME と OMNM の Web ポータルに適用する証明書です。(自己証明書での利用も可能です。)

Azure Stack 証明書署名要求の生成 (1/2)
• 証明書要求の作成方法も、マイクロソフト社ドキュメントが公開されています。
• https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-get-pki-certs
• 導入時に必要なドメイン、PaaS サービスに必要なドメインを 1つの証明書で作成しても問題ありません。

Azure Stack 証明書署名要求の生成 (2/2)
• このツールで複数枚の証明書要求を作成する場合、Storage 用の証明書要求ファイルが別ファイルになります。
• 1804 以降の Azure Stack をインストールする際に使用してください。
複数枚の場合 1 枚の場合

Azure Stack 証明書の作成と検証
PFX 形式の証明書作成時の注意点
• Azure Stack をインストールする際は、公開鍵と秘密鍵が必要になるので、PFX 形式に変換をお願いします。
• 複数の PFX ファイルに分ける場合は、すべて同じパスワードの設定をお願いします。
作成した証明書の検証
• Azure Stack の要件を満たした証明書か検証できるツールが公開されています。
• https://www.powershellgallery.com/packages/Microsoft.AzureStack.ReadinessChecker/
• https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-azsreadiness-cmdlet#description
• Azure Stack インストール用証明書の検証方法です。DeploymentData.JSON がなくても検証できます。
• PaaS サービス用証明書の検証方法もあるので、Azure Stack 導入後に PaaS サービスをインストール際にご活用ください。

論理ネットワーク
ネットワーク説明サイズ
BMC ベースボード管理コントローラーや HLH ホストと監視/管理ソフトウェア用仮想マシンで利用する、管理ネットワーク
です。ルーティングが必要な IP アドレスだけ、ToR の ACL で通信許可されます。
/27 (Minimum)
Private 2つの /25 サブネットに分割されて利用します。どちらも内部通信用途のためルーティングされません。
・ストレージネットワーク (S2D 用)
・インターナルソフトウェアロードバランサー用の VIP
/24
Infrastructure Azure Stack Infrastructure 仮想マシン間で利用するネットワークです。ルーティング可能なIPアドレスを必要と
します(パブリックインフラストラクチャネットワーク)。プロキシや NAT 経由でインターネットへアクセスします。
/24
External
(パブリック VIP)
Azure Stack 内のネットワークコントローラーに割り当てられ、Azure Stack インフラとテナントに割り当てます。最
初の31 個のアドレスはインフラで予約されます。PaaS を利用すると、さらに 7 個のアドレスを使用します。
/22 ~26 (推奨は /24)
Switch Infra スイッチのルーティングや管理など、複数のサブネットに分割されます。
・ポイントツーポイント IPアドレス /30 (８つ：ToR、Border、BMC スイッチ間)
・ループバック IP アドレス /32 (3 つ：ToR、BMC)
・スイッチ管理 IP アドレス /29 (ToR、BMC)
/26

Border Connectivity
• Static Routing はサポートしていますが、BGP ルーティングが推奨構成です。
• Static Routing を利用する場合、Border スイッチで返りのVIP 向けなどのルーティングを設定する必要があります。
ECMPで4パス
を負荷分散

サブネットサマリ
• Azure Stack で利用するサブネットの一覧です。
• Border スイッチに下記赤枠の若番を設定していただきます。

お客様
ネットワーク
通信要件
• Azure や外部への通信要件
Internet
Azure Stack ユーザー
Azure Stack オペレーター

外部アクセスが必要なネットワーク
• Azure Stack の外部ネットワークに通信が必要なネットワークは下記となります。
• インターネット/外部ネットワークへアクセスさせる必要がある場合は、Firewall などで通信許可が必要になります。
ネットワーク種類サブネット/IPアドレス備考
BMC ネットワーク・ BMC External Accessible (5 IP)
・ HLH DVM (1 IP)
※ iDRAC (最大 13 IP)
※ HLH ホスト OS (1 IP)
HLH ホストOS や物理サーバーの iDRAC への通信許
可はオプションで実施することが可能です。
Infrastructure ・ Infrastructure network
(インフラストラクチャパブリック)
DNS、 NTP サーバーや AD などへのアクセス、
インターネットアクセス (NAT/Proxy 経由)
Switch Management ※ ToR Switch (2 IP)
※ BMC Switch (1 IP)
オプションで外部ネットワークへのアクセスを許可することが
可能です。
External Network ・全 IP アドレス (Public VIP) Network Controller が IP アドレスを管理。

ToR と BMC スイッチの ACL
• ToR、BMC には ACL が設定されている ACL は下記のように設定されています。
• 導入時にインターネットアクセスが必要なネットワークがあります。

お客様
ネットワーク
BMC 通信要件
1. DVM からすべて (Azure,インターネット, DNS, NTPなど)
2. お客様ネットワークから BMC (オプション)
3. BMC (一部) からインターネット
Internet
テナントNW

IP アドレスサマリ
• Azure Stack で利用する IP アドレスの一覧です。

お客様
ネットワーク
インフラストラクチャネットワーク信要件
1. Admin Public からすべて (Azure, インターネット, DNS, NTP、
お客様ネットワーク)
Internet
テナントNW

インフラストラクチャパブリックネットワーク
https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-network#public-infrastructure-network
• ToR スイッチのコンフィグ

お客様
ネットワーク
スイッチ管理ネットワーク通信要件
Internet
テナントNW
1. お客様ネットワークからスイッチ管理 (オプション)

お客様
ネットワーク
エクスターナルネットワーク通信要件
Internet
テナントNW
1. お客様ネットワークからエクスターナル (管理者ポータル)
2. テナントユーザーからエクスターナル (テナントポータル)

Proxy
• 透過プロキシのみサポートしています。ユーザー認証するプロキシはサポートされていません。

ファイアウォール
• ファイアウォールの設置シナリオです。
サービスプロバイダー向けエンタープライズ向け
https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-firewall

ポートとプロトコル (受信)
• Azure Stack のポート要件です。
エンドポイント DNS ホスト A レコードプロトコルポート
ADFS Adfs.<region>.<fqdn> HTTPS 443
ポータル (管理者) Adminportal.<region>.<fqdn> HTTPS 443、12495、12499、12646、12647、12648、12649、
12650、13001、13003、13010、13011、13012、
13020、13021、13026、30015
Azure Resource
Manager (管理者)
Adminmanagement.<region>.<fqdn> HTTPS 443
30024
ポータル (ユーザー) Portal.<region>.<fqdn> HTTPS 443、12495、12649、13001、13010、13011、13012、
13020、13021、30015、13003
Azure Resource
Manager (ユーザー)
Management.<region>.<fqdn> HTTPS 443
30024
Graph Graph.<region>.<fqdn> HTTPS 443
証明書の失効リスト Crl.<region>.<fqdn> HTTP 80
DNS *.<region>.<fqdn> TCP と UDP 53
Key Vault (ユーザー) *.vault.<region>.<fqdn> HTTPS 443
Key Vault (管理者) *.adminvault.<region>.<fqdn> HTTPS 443
ストレージキュー *.queue.<region>.<fqdn> HTTP
HTTPS
80
443

ポートとプロトコル (受信) つづき
エンドポイント DNS ホスト A レコードプロトコルポート
ストレージテーブル *.table.<region>.<fqdn> HTTP
HTTPS
80
443
ストレージ BLOB *.blob.<region>.<fqdn> HTTP
HTTPS
80
443
SQL リソースプロバイダー sqladapter.dbadapter.<region>.<fqdn> HTTPS 44300-44304
MySQL リソースプロバイダー mysqladapter.dbadapter.<region>.<fqdn> HTTPS 44300-44304
App Service *.appservice.<region>.<fqdn> TCP 80 (HTTP)
443 (HTTPS)
8172 (MSDeploy)
*.scm.appservice.<region>.<fqdn> TCP 443 (HTTPS)
api.appservice.<region>.<fqdn> TCP 443 (HTTPS)
44300 (Azure Resource Manager)
ftp.appservice.<region>.<fqdn> TCP、UDP 21、1021
10001-101000 (FTP)
990 (FTPS)
https://docs.microsoft.com/ja-jp/azure/azure-stack/azure-stack-integrate-endpoints#ports-and-protocols-inbound

ポートとプロトコル (送信)
目的 URL プロトコルポート
ID login.windows.net
login.microsoftonline.com
graph.windows.net
https://secure.aadcdn.microsoftonline-p.com
HTTP
HTTPS
80
443
Marketplace シンジケーション https://management.azure.com
https://*.blob.core.windows.net
https://*.azureedge.net
https://*.microsoftazurestack.com
HTTPS 443
パッチと更新プログラム https://*.azureedge.net HTTPS 443
登録 https://management.azure.com HTTPS 443
使用法 https://*.microsoftazurestack.com
https://*.trafficmanager.com
HTTPS 443
Windows Defender .wdcp.microsoft.com
.wdcpalt.microsoft.com
.updates.microsoft.com
.download.microsoft.com
https://msdl.microsoft.com/download/symbols
http://www.microsoft.com/pkiops/crl
http://www.microsoft.com/pkiops/certs
http://crl.microsoft.com/pki/crl/products
http://www.microsoft.com/pki/certs
https://secure.aadcdn.microsoftonline-p.com
HTTPS 80
443

Azure Stack のイン
ストール

Integration System インストール
1. Azure Stack のインストール
➢ 7 ~ 8 時間で Azure Stack のインストールが完了します。
2. Test-AzureStack の実行
➢ AzureStack の動作確認テストを実施します。
3. 最新パッチ適用
➢ 2 ~ 3 日必要となる可能性もあります。
4. Azure 登録
➢ Azure Marketplace からダウンロードできるようになります。
5. Azure Stack ポータルへのアクセス
➢ テナントポータルと管理者ポータルへアクセスできます。

Azue Stack 情報確認
• インストールした Azure Stack 環境の情報は AzureStackStampInformation.json に記載があります。
• インターナルドメイン名
• NTP サーバー
• AAD テナント名 / テナントID
• External DNS 名 (NS 名)
• External DNS IP アドレス
• Tenant External エンドポイント
• Admin External エンドポイント

まとめ
• ASDK とは違い、Integrated System はインストール要件が多い
• ID (AAD か、 ADFS か。)
• AAD の場合、EA か CSP のサブスクリプション
• 証明書
• 1枚のマルチドメインワイルドカード証明書か、 14枚の証明書を準備するか。
• ネットワーク
• BGP かスタティックか。
• BGP だと機器の準備が必要？
• スタティックだとルーティングの管理が大変
• ポートやプロトコルの通信要件
• Firewall やプロキシの設計などなど。
• インストール後
• DNS の設定
• PaaS サービスのインストール (MySQL、MSSQL、App Services)
• プランやオファーの設計設定などなど。

 Compass Interract2018ページにアンケートへのリンクとQRコードがあります
◦ https://interact.connpass.com/event/77420/
 アンケートリンク
◦ URL
 https://forms.office.com/Pages/ResponsePage.aspx?id=0emDRJ2XDkOMJVhhhABT1kY
0s84rWEFMh6lvLSQ5jRNUQkQ1NzRUV1BZVUY5T1JNUVNSWlhCMlhNMy4u
◦ QRコード
8
5

Azure Stack 受け入れ準備_20180630

More Related Content

What's hot

Similar to Azure Stack 受け入れ準備_20180630

Recently uploaded

Azure Stack 受け入れ準備_20180630