- MECについての理解 - MEC + GPU コンピューティング - コンテナ/ハイパーバイザーについての整理 - 構成案

1. MEC (Mobile Edge Computing)
+ GPUコンピューティング
について
日本仮想化技術株式会社
VitrualTech.jp
2017/11/29
1

2. MECについての理解
2

3. MEC を取り巻く状況
外的要因
• 5G ネットワークの立ち上がり
• Edge Throughput が 100Mbps
• Latency が 1ms
• Peak Data Rate が 20Gbps
• Connected Carやスマートスピーカーな
どの新領域のアプリケーションの登場
内的要因
• 運用コスト削減への圧力
• Software Defined Infrastructure の本格検討
• NFVやSD-WANを商用インフラで検討
• 機械学習や深層学習の業務への活用検討

4. MECを理解する①
MEC のユースケースによって
必要な要素（テクノロジー、品質、
ビジネス要件）が異なる
MBB: Mobile Broadband
mMTC: massive Machine
Type Communications
Dense Inf Society
Connected vehicles
VR office/factory/tactileThroughput
Latency
Reliability
Availability
Energy
Efficiency
User/Device
density
Implications of 5G RAN and IoT on OpenStack based edge computing. より引用 [ OpenStack Summit にて AT&T, Ericsson 発表 ]
https://www.openstack.org/videos/sydney-2017/implications-of-5g-ran-and-iot-on-openstack-based-edge-computing

5. Disaggregated CoreDisaggregated RAN
MECを理解する②
AT&T の MEC Architecture
5G Application
Ecosystem
IoT
Connected
Car
MBB
RU DU UPF UPF
Macro Radio
& Small cell
Antennas
5G
Base
Stations
Edge
Cloud
Centralized
Cloud
CCF
Internet
CU-CP
CU-UP
NFV MANO (Management & Orchestration)
CU: Centralized Unit
CP: Control Plane
UP: User Plane
UPF: User Plane Function
CCF: Core Control Function
RU: Radio Unit
DU: Digital Unit
Implications of 5G RAN and IoT on OpenStack based edge computing. より引用

6. MECを理解する③
• Docker / Kubernetes でコントローラを構成する
• ゼロタッチ・プロビジョニングが鍵
• 数千ロケーションに展開することを想定
• エッジノードにて新しい技術を即座にサポート
（GPU, SmartNIC, FPGA, など）
• NFVやSDNなど他のプロジェクトとの連携を想定
AT&TのMECプロジェクトを推進する上での気づき

7. MEC＋GPUコンピューティング
7

8. MEC+GPUコンピューティング
• Docker / Kubernetes を使用したMEC環境の構築
• ゼロタッチ・プロビジョニングを見越した、MEC環境の構築・構成
変更
• サーバOSのインストールからコンテナアプリの設定まで
• 仮想ネットワークと仮想ストレージも視野に
• エッジノードでGPUの活用
POC(Proof of Concept)で実証したいこと

9. Container nodes
MEC+GPUアーキテクチャ
NFV MANO
Edge Controllers
Physical
Provisioning
Application
Provisioning
SDN / SDS
Monitoring /
Alerting
Orchestrator
GPU
Hi speed
networking
General
purpose
Low
energy
Hi speed
storage
GPU Server
GPU Server
Storage
Server
Storage
Server
Object
Storage
Servers
w/t SmartNIC Servers
Edge Cloud のスコープ
ServerServer Server

10. Edge Computing で必要な構成要素
前ページのMEC+GPUアーキテクチャの図示した構成要素以外
で必須・任意の構成要素を列記
必須要素
• Edge Cloud のオーケストレータ
• Kubernetes を想定
• Edge Cloud 内のリソースを操作するための End Point
• Kubernetes API を想定
任意要素
• Edge Cloud 内の構成情報・資産情報の管理
10

11. Container nodes
POC#1のスコープ想定
NFV MANO
Edge Controllers
Physical
Provisioning
Application
Provisioning
SDN / SDS
Monitoring /
Alerting
Orchestrator
GPU
Hi speed
networking
General
purpose
Low
energy
Hi speed
storage
GPU Server
GPU Server
Storage
Server
Storage
Server
Object
Storage
Servers
w/t SmartNIC Servers
Edge Cloud のスコープ
ServerServer Server

12. コンテナ/ハイパーバイザー
についての整理
12

13. GPUノードにおける整理
Hypervisor/Container でGPUを動かすために
• HypervisorではPCI パススルー で、Containerでは nvidia
docker で利用可能
• PCI パススルーはOpenStackコンピュートノードに設定が必要
• KVM ベースの GPU インスタンスに GPU を割り当てる
• nvidia dockerは特別なハードウェア設定なしに使用できる
• OpenStackから Kubernetes や Docker コンテナを操作するた
めの仕組みを導入する必要がある
13

14. GPUノードにおける整理
どちらを選択するのがよいのか？
PCI パススルー nvidia docker
強み
多目的（VDI/HPC/DL）
で利用可能
環境構築が簡単
弱み 特別な環境設定が必要
• HPCやDLの用途に限定
• リソース競合の懸念
• OpenStackとの連携に課題
14
用途に合わせて選択するのがよいと考えます。
OpenStack + nvidia docker については NTT コミュニケーションズ様
が調査を行い発表しているので参考するとよいです。
https://www.slideshare.net/VirtualTech-JP/gpu-container-as-a-serviceoss-openstack-20177

15. General purposeノードにおける整理
コンテナ技術が注目される理由
トレンドについての説明
• アプリケーション開発者の熱狂的な支持
• 「作って、壊せる」環境の手軽さ
• クラウド・ネイティブ・アプリケーションの増加
• DevOps や Immutable Infrastructure の推進
• 通信事業者でのコンテナ技術の採用の流れ
• NFV領域やサービスプラットフォームなどでの適用検討
現時点においてHypervisorとContainerのどちらを選択してもよ
いが、今後Containerを採用するユースケースが増加すると想定
Hypervisor上にContainerを乗せることはできるが、ベアメタル
サーバ上にContainerを乗せる方式が一般的になると予想 15

16. 参考情報）OpenStack Summit Boston 2017 での発表
AT&T’s Container Strategy and OpenStack‘s Role in it
16
Today:
• OpenStack on コンテナ
（OpenStackのコントローラノードを
コンテナ上で稼働）
2018-19:
• コンテナアプリケーションの増加と
ハイパーバイザー型アプリケーションの
減少
• NFVでのVNFアプリケーションのコンテ
ナ化（POCレベル）
2019+:
• VNFアプリケーションのコンテナ化が
一般的に

17. コンテナ/ハイパーバイザーについての整理
• GPUノードにおける整理
• 用途に合わせて選択する
• HypervisorでGPUを使用するために特別なH/W設定が必要なので、1
台のGPUサーバでHypervisor/Containerを混在することはできない
• General purposeノードにおける整理
• 現時点においてHypervisorとContainerのどちらを選択してもよいが、
今後Containerを採用するユースケースが増加すると想定
• Hypervisor上にContainerを乗せることはできるが、ベアメタルサーバ
上にContainerを乗せる方式が一般的になると予想
17

18. 構成案
18

19. Container nodes
POC#1の構成案（ハードウェア）
Edge Controllers
• Physical Provisioning
• Monitoring /Alerting
• Application Provisioning
• Orchestrator
• SDN
POC#1のControllersの多重化は行わない想定
• GPU
• General
purpose

20. Container nodes
POC#1の構成案（ソフトウェア）
Edge Controllers
• Physical Provisioning
• Monitoring /Alerting
• Application Provisioning
• Orchestrator
• SDN
POC#1のControllersの多重化は行わない想定
• GPU
• General
purpose
MAAS/Juju
Prometheus
/ Grafana
Kubernetes vMX
nvidia
docker
docker
Contrail
Contrail
vRouter

21. Appendix
21

22. NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE.
サイバートラスト(株) 会社概要
商号
サイバートラスト株式会社
Cybertrust Japan Co., Ltd.
設立 2000年6月1日
代表者 代表取締役社長 阿多 親市
資本金 400百万円
主要株主
株式会社エヌ・ティ・ティ・データ
株式会社大塚商会
株式会社オービックビジネスコンサルタント
株式会社サンブリッジ
ソフトバンク・テクノロジー株式会社
日本電気株式会社
株式会社日立製作所
事業所 新宿オフィス（本社）、赤坂オフィス、松江ラボ、旭川サテライトオフィス
事業内容
•IoT関連事業
•認証サービス事業、セキュリティソリューション事業
•Linux OS開発、OSSを活用したエンタープライズ向けソフトウェア開発、組込みLinux関連事業、サポートおよびコンサルティング事業
2017年10月 ミラクル・リナックス(株), サイバートラスト(株) 合併により、
大きく変動

23. NVIDIA CONFIDENTIAL. DO NOT DISTRIBUTE.
サイバートラスト(株) 事業領域
サイバートラストの認証事業とミラクル・リナックスの組込みLinux事業の組み合わせで、
IoT 時代のデファクトスタンダードへ
国内電子認証局の運用
Linux/OSS の専門性電子認証の専門性
専用機器・組込み開発
ITインフラを支えるLinux提供
グローバル標準
組込みLinux
IoT 電子認証
IoT 事業開発・グローバル協業
認証・セキュリティ事業 IoT事業 Linux/OSS事業

24. 日本仮想化技術(株) 概要
英語名：VirtualTech Japan Inc.
設立：2006年12月
資本金：3,000万円
本社：東京都渋谷区渋谷1-8-1
取締役：宮原 徹（代表取締役社長兼CEO）
伊藤 宏通（取締役CTO）
スタッフ：9名（うち、8名が仮想化技術専門エンジニアです）
URL：http://VirtualTech.jp/
仮想化技術に関する研究および開発
• 仮想化技術に関する各種調査
• 仮想化技術に関連したソフトウェアの開発
• 仮想化技術を導入したシステムの構築
• OpenStackの導入支援・新規機能開発
ベンダーニュートラルな独立系の仮想化技術のエキスパート集団

25. 25