Slide for workshop sessions Azure Antenna Mar. 20 2018. このスライドは2018年3月20日のAzure Antennaで行われたワークショップで使われた資料です。

1. HPCだけじゃないDeep Learning でも使える
ハイパフォーマンスAzureインフラ
HPC & Deep Learning on Azure

2. アジェンダ

3. はじめに

4. Azure Portalで
Data Science Virtual Machineを構築する

5. Linux (Ubuntu) Data Science VM

6. 基本構成の設定
設定項目 今回の設定 説明
名前 DSVM01 仮想マシンの名前を設定します。
VMディスクの種類 HDD
仮想マシンに接続するディスクの種類
(SSD/HDD)を設定します。
ユーザ名 azureuser 仮想マシンのユーザ名(管理者)
認証の種類 パスワード
上記のユーザがログインする際の認証の種類
(SSH 公開キー/パスワード)を選択します。
サブスクリプション 使用するサブスクリプションを選択します。
リソースグループ DSVM_TEST
この仮想マシンが所属するリソースグループ
(新規で作ることも可能)を選択します。
場所 米国東部
仮想マシンをデプロイするリージョンを選択
します。

7. 仮想マシンのサイズの選択

8. オプション機能の構成
設定項目1 設定項目2 今回の設定 説明
高可用性 可用性セット なし アプリケーションに冗長性を持たせるために、複数の仮想マシンを可用性セット
にグループ化することをお勧めします。この構成により、計画済みまたは計画外
メンテナンス イベントの間に、1 つ以上の仮想マシンが使用可能になり、99.95%
の Azure SLA が満たされます。仮想マシンの可用性セットは、作成後に変更でき
ません。InfiniBandを利用するために可用性セットを設定する必要があります。
Storage 管理ディスクの使用 はい VHDに利用するStorageの種類を設定します。
ネットワーク Virtual Network 名前: DSVM_TEST-vnet
アドレス空間: 10.1.19.0/24
サブネット名: default
サブネット アドレス範囲 :
10.1.19.0/24
この仮想マシンが所属する仮想ネットワークを選択します。
パブリックIPアドレス 名前: DSVM01-ip
割り当て: 動的
インターネット経由でアクセスできるようにパブリップIPアドレスを設定します。
ネットワークセキュリ
ティーグループ(NSG)
名前: DSVM01-nsg
受信規則 : SSH (Port=22)
送信規則：なし
仮想マシンとの間でやり取りされるトラフィックを制御するファイアウォールの
規則のセットです。
拡張機能 拡張機能 今回はなし 仮想マシンに新しい機能を追加します。
自動シャットダ
ウン
自動シャットダウン機
能を有効にする
オフ 仮想マシンを自動的に毎日シャットダウンするように設定します。
監視 ブート診断 有効 ホスト上で実行している仮想マシンのシリアルコンソール出力とスクリーン
ショットをキャプチャして、起動時の問題診断に役立てます。
ゲストOS診断 無効 仮想マシンのメトリックを1分ごとに取得します。
診断ストレージアカウ
ント
名前：dsvmtestdiag380
パフォーマンス：Standard
リプリケーション：LRS
メトリックを保存するためのストレージアカウントを選択します。

9. 概要

10. 作成したDSVMへアクセスする
$ ssh azureuser@52.170.118.215
Warning: Permanently added '52.170.118.215' (ECDSA) to the list of known hosts.
azureuser@52.170.118.215's password:
Welcome to Ubuntu 16.04.3 LTS (GNU/Linux 4.13.0-1005-azure x86_64)
104 packages can be updated.
0 updates are security updates.
*** System restart required ***
The programs included with the Ubuntu system are free software;
the exact distribution terms for each program are described in the
individual files in /usr/share/doc/*/copyright.
Ubuntu comes with ABSOLUTELY NO WARRANTY, to the extent permitted by
applicable law.
**********************************************************************
* Welcome to the Linux Data Science Virtual Machine on Azure! *
* *
* For more information on available tools and features, *
* visit http://aka.ms/dsvm/discover. *
**********************************************************************
To run a command as administrator (user "root"), use "sudo <command>".
See "man sudo_root" for details.
azureuser@DSVM01:~$

11. X Windows Systemを使用して接続
https://wiki.x2go.org/doku.php/doc:installation:x2goclient

12. X Windows Systemを使用して接続

13. Linux DSVMにインストールされているツール
https://docs.microsoft.com/ja-jp/azure/machine-learning/data-science-virtual-machine/dsvm-ubuntu-intro

14. Jupyter notebookを用いたデモ

15. Jupyter notebookを用いたデモ

16. Azure PortalでHPC & Deep Learning 環境
を構築する

17. これから作るHPC & Deep Learning 環境の構成
InfiniBand

18. Azure Portalへアクセス
https://portal.azure.com

19. サブスクリプションの確認

20. 仮想マシンの作成

21. 仮想マシンの作成
設定項目 今回の設定 説明
名前 hpc001 仮想マシンの名前を設定します。
VMディスクの種類 SSD 仮想マシンに接続するディスクの種類 (SSD/HDD)を設定します。
ユーザ名 azureuser 仮想マシンのユーザ名(管理者)
認証の種類 パスワード 上記のユーザがログインする際の認証の種類(SSH 公開キー/パスワード)を選択します。
サブスクリプション 使用するサブスクリプションを選択します。
リソースグループ hpctest この仮想マシンが所属するリソースグループ(新規で作ることも可能)を選択します。
場所 米国東部 仮想マシンをデプロイするリージョンを選択します。

22. 仮想マシンの作成
設定項目1 設定項目2 今回の設定 説明
高可用性 可用性セット 名前: hpctest_avail
障害ドメイン : 2
更新ドメイン : 5
InfiniBandを利用するために可用性セットを設定する必要があります。障害・更新ドメインはデフォ
ルトのまま。
Storage 管理ディスクの使用 はい
ネットワーク Virtual Network 名前: hpctest-vnet
アドレス空間: 10.1.20.0/24
サブネット名: default
サブネット アドレス範囲 : 10.1.20.0/24
この仮想マシンが所属する仮想ネットワークを選択します。
パブリックIPアドレス 名前: hpc001-ip
割り当て: 動的
インターネット経由でアクセスできるようにパブリップIPアドレスを設定します。
ネットワークセキュリティー
グループ(NSG)
名前: hpc001-nsg
受信規則 : SSH (Port=22)
送信規則：なし
仮想マシンとの間でやり取りされるトラフィックを制御するファイアウォールの規則のセットです。
拡張機能 拡張機能 今回はなし 仮想マシンに新しい機能を追加します。
自動シャットダウン 自動シャットダウン機能を有
効にする
オフ 仮想マシンを自動的に毎日シャットダウンするように設定します。
監視 ブート診断 有効 ホスト上で実行している仮想マシンのシリアルコンソール出力とスクリーンショットをキャプチャ
して、起動時の問題診断に役立てます。
ゲストOS診断 無効 仮想マシンのメトリックを1分ごとに取得します。
診断ストレージアカウント 名前：hpctestdiag238
パフォーマンス：Standard
リプリケーション：LRS
メトリックを保存するためのストレージアカウントを選択します。
※今回はdefaultのまま(Linuxの仮想マシンではSSHのポートのみが開いています。)
※今回はdefaultのまま(2つ目以降のVMは同じVNetを選択します。)
※今回はdefaultのまま(2つ目以降のVMは設定は不要です。)
※今回はdefaultのまま

23. 仮想マシンの作成

24. 仮想マシンの作成
hpc001 hpc002
デプロイモデル Resource Manager Resource Manager
仮想マシンの名前 hpc001 hpc002
VM Diskの種類 SSD SSD
ユーザ名 azureuser azureuser
認証の種類 パスワード パスワード
リソースグループ hpctest hpctest(hpc001で作成済のものを選択)
場所 米国東部 米国東部
サイズ NC24rs_v2 NC24rs_v2
可用性セット hpctest_avail hpctest_avail (hpc001で作成済のものを選択)
管理ディスクの使用 はい はい
Virtual Network hpctest-vnet hpctest-vnet
パブリックIPアドレス hpc001-ip 不要
ネットワークセキュリティーグループ hpc001-nsg hpc002-nsg
診断ストレージアカウント hpctestdiag238 hpctestdiag238 (hpc001で作成済のものを選択)

25. 仮想マシンの作成

26. 共有ディスクの作成
設定項目 今回の設定 設定
名前 hpc001disk01 追加するデータディスクの名前を設定します。
リソースグループ hpctest 追加するデータディスクのリソースグループを選択します。
アカウントの種類 Premium (SSD) ストレージアカウントの種類(Premium/Standard, データリプリケーションの種類 LRS/ZRS/GRS/RA-GRS)を選択します。
ソースの種類 なし(空のディスク) 別のディスクのスナップショットからディスクを作成するか、ストレージアカウントのBLOBから作成するか、空のディ
スクを作成するかを選択します。
サイズ(GiB) 1023 ディスクのサイズを設定します。

27. 共有ディスクの作成

28. 共有ディスクの作成

29. 共有ディスクの設定

30. 共有ディスクの設定

31. パスワードなしでSSHする設定

32. InfiniBandの設定
sudo apt-get update
sudo apt-get install libdapl2 libmlx4-1
OS.EnableRDMA=y
OS.UpdateRdmaDriver=y
* hard memlock unlimited
* soft memlock unlimited
echo 0 | sudo tee /proc/sys/kernel/yama/ptrace_scope

33. NVIDIA DriverおよびCUDAのインストール
CUDA_REPO_PKG=cuda-repo-ubuntu1604_9.1.85-1_amd64.deb
wget -O /tmp/${CUDA_REPO_PKG}
http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/${CUDA_REPO_PKG}
dpkg -i /tmp/${CUDA_REPO_PKG}
apt-key adv --fetch-keys http://developer.download.nvidia.com/compute/cuda/repos/ubuntu1604/x86_64/7fa2af80.pub
rm -f /tmp/${CUDA_REPO_PKG}
apt-get update
apt-get install -y cuda-drivers
apt-get install -y cuda-8-0

34. nvidia-smiコマンド
nvidia-smi –pm 1
nvidia-smi

35. Intel MPI Benchmark

36. Intel MPI Benchmark #------------------------------------------------------------
# Intel (R) MPI Benchmarks 2017 update 2, MPI-1 part
#------------------------------------------------------------
# Date : Mon Mar 19 11:36:57 2018
# Machine : x86_64
# System : Linux
# Release : 4.13.0-1011-azure
# Version : #14-Ubuntu SMP Thu Feb 15 16:15:39 UTC 2018
# MPI Version : 3.1
# MPI Thread Environment:
# Calling sequence was:
# IMB-MPI1 pingpong
# Minimum message length in bytes: 0
# Maximum message length in bytes: 4194304
#
# MPI_Datatype : MPI_BYTE
# MPI_Datatype for reductions : MPI_FLOAT
# MPI_Op : MPI_SUM
#
#
# List of Benchmarks to run:
# PingPong
#---------------------------------------------------
# Benchmarking PingPong
# #processes = 2
#---------------------------------------------------
#bytes #repetitions t[usec] Mbytes/sec
0 1000 1.83 0.00
1 1000 1.85 0.54
2 1000 1.87 1.07
4 1000 1.87 2.14
8 1000 1.85 4.33
16 1000 1.87 8.55
32 1000 2.95 10.83
64 1000 3.07 20.85
128 1000 2.71 47.23
256 1000 2.84 90.00
512 1000 3.04 168.28
1024 1000 3.31 309.14
2048 1000 3.86 530.01
4096 1000 5.03 813.75
8192 1000 6.28 1305.49
16384 1000 8.17 2004.77
32768 1000 11.95 2741.40
65536 640 17.57 3729.09
131072 320 30.72 4266.63
262144 160 54.47 4812.46
524288 80 96.54 5430.53
1048576 40 181.33 5782.81
2097152 20 351.73 5962.44
4194304 10 695.96 6026.68
# All processes entering MPI_Finalize
#------------------------------------------------------------
# Intel (R) MPI Benchmarks 2017 update 2, MPI-1 part
#------------------------------------------------------------
# Date : Mon Mar 19 11:38:08 2018
# Machine : x86_64
# System : Linux
# Release : 4.13.0-1011-azure
# Version : #14-Ubuntu SMP Thu Feb 15 16:15:39 UTC
2018
# MPI Version : 3.1
# MPI Thread Environment:
# Calling sequence was:
# IMB-MPI1 pingpong
# Minimum message length in bytes: 0
# Maximum message length in bytes: 4194304
#
# MPI_Datatype : MPI_BYTE
# MPI_Datatype for reductions : MPI_FLOAT
# MPI_Op : MPI_SUM
#
#
# List of Benchmarks to run:
# PingPong
#---------------------------------------------------
# Benchmarking PingPong
# #processes = 2
#---------------------------------------------------
#bytes #repetitions t[usec] Mbytes/sec
0 1000 69.94 0.00
1 1000 74.05 0.01
2 1000 69.55 0.03
4 1000 68.32 0.06
8 1000 69.50 0.12
16 1000 78.11 0.20
32 1000 72.16 0.44
64 1000 69.27 0.92
128 1000 82.02 1.56
256 1000 70.59 3.63
512 1000 70.73 7.24
1024 1000 76.67 13.36
2048 1000 75.23 27.22
4096 1000 77.93 52.56
8192 1000 90.50 90.52
16384 1000 126.03 130.00
32768 1000 173.99 188.33
65536 640 284.46 230.39
131072 320 359.74 364.36
262144 160 892.34 293.77
524288 80 1653.34 317.11
1048576 40 2633.66 398.14
2097152 20 4512.97 464.69
4194304 10 8089.54 518.48
# All processes entering MPI_Finalize

37. 仮想マシンの起動及び停止

38. ChainerMN実行環境構築 & 実行 デモ

39. ChainerMN実行環境

40. ChainerMN実行デモ