Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

Edge Computing と k8s でなんか話すよ

1,433 views

Published on

アジェンダ
- たまおき的関心事項
- MEC + GPU コンピューティング

Published in: Technology
  • Be the first to comment

Edge Computing と k8s でなんか話すよ

  1. 1. Edge Computing と k8s でなんか話すよ 日本仮想化技術株式会社 VitrualTech.jp たまおき のぶゆき 2017/12/05 1
  2. 2. Who is • 日本仮想化秘術ではなく日本仮想化技術 • OpenStack/NFVでご飯を食べる人 • Googleで”OpenStack”を検索すると高い確率で 「OpenStack最新情報セミナー」の資料にHit 2
  3. 3. 今日のゴール 「Edge Computing と k8s 一緒に遊びたい人、 手を挙げてー!!」 3
  4. 4. 今日のお題 ① たまおき的関心事項 ② MEC + GPUコンピューティング 4
  5. 5. ① たまおき的関心事項 • OpenStack -> NFV -> その次 • Edge Computing + GPU になるといいな • HPE Moonshot System 2台をゲット • BBT西野さんDMM高嶋さんと推進している「OpenStack共 同検証ラボ」でサーバを増強してもらいました • 大規模Containerクラスタ&GPUの提案が増えてます • GKE 最高ー!! • コンテナおよびコンテナインフラの運用ノウハウ蓄積 • みんなが困ることはコミュニティの中で集約したいですね 5 • Edge Computing の定義が人によって違う、 Mobile Edge Computing だとなおさら • ネットワーク網なのか • コンピュートなのか • 場所を指しているのか • AI や Deep Learning の具体的な利活用が求められている
  6. 6. 参考)GPUインフラの選択 • 機密情報などのデータを扱いたい 。最新の GPU を使いたい。 • インフラを集中管理し、簡単に使えて、GPU リソースを有効活用 GPU on OpenStack が GPU インフラの候補に 6 パブリッククラウド プライベートクラウド 規模 ② 専用のHPCクラスタ ④ GPU搭載のワークステー ション ① パブリッククラウドの GPUインスタンス ③ GPU on OpenStack 自由度
  7. 7. ① たまおき的関心事項 • OpenStack -> NFV -> その次 • Edge Computing + GPU になるといいな • HPE Moonshot System 2台をゲット • BBT西野さんDMM高嶋さんと推進している「OpenStack共 同検証ラボ」でサーバを増強してもらいました • GKE 最高ー!! • コンテナおよびコンテナインフラの運用ノウハウ蓄積 • みんなが困ることはコミュニティの中で集約したいですね • 大規模Containerクラスタ&GPUの提案が増えてます 7 • わらしべ長者的に検証サーバが増えてます • HPE Moonshot System 2台(45台×2)のコンピュート で何をしようかニヤニヤしています
  8. 8. ① たまおき的関心事項 • OpenStack -> NFV -> その次 • Edge Computing + GPU になるといいな • HPE Moonshot System 2台をゲット • BBT西野さんDMM高嶋さんと推進している「OpenStack共 同検証ラボ」でサーバを増強してもらいました • GKE 最高ー!! • コンテナおよびコンテナインフラの運用ノウハウ蓄積 • みんなが困ることはコミュニティの中で集約したいですね • 大規模Containerクラスタ&GPUの提案が増えてます 8
  9. 9. 参考)OpenStack on GKE GKE上でOpenStackのコントローラノードを稼働 9 ホストOS + KVM Cloud SQL オーケストレーション コンピュート コンピュート コンピュート サーバ サーバ ホストOS + KVM ホストOS + コンテナエンジン RabbitMQ RabbitMQ RabbitMQ Keystone Keystone Keystone Nova Nova Nova LB LB Static IP (OpenStackだとFloating IP) GCP/GKEで稼働 自社DCで稼働 GCP: Google 社のインフラで KVM および関連サービスを提供する GKE: Google 社のインフラで Docker と Kubernetes および関連 サービスを提供する
  10. 10. ① たまおき的関心事項 • OpenStack -> NFV -> その次 • Edge Computing + GPU になるといいな • HPE Moonshot System 2台をゲット • BBT西野さんDMM高嶋さんと推進している「OpenStack共 同検証ラボ」でサーバを増強してもらいました • GKE 最高ー!! • コンテナおよびコンテナインフラの運用ノウハウ蓄積 • みんなが困ることはコミュニティの中で集約したいですね • 大規模Containerクラスタ&GPUの提案が増えてます 10
  11. 11. 参考)自宅 k8s-er の悩み • コンテナインフラのセットアップ方法 • 外部からのインターネットアクセス • コンテナインフラの監視 • コンテナおよびコンテナインフラのセキュリティ • コンテナインフラの仮想ネットワーク • コンテナインフラのストレージ • コンテナインフラのバージョンアップやパッチ適用 • コンテナインフラのバックアップ 11
  12. 12. ① たまおき的関心事項 • OpenStack -> NFV -> その次 • Edge Computing + GPU になるといいな • HPE Moonshot System 2台をゲット • BBT西野さんDMM高嶋さんと推進している「OpenStack共 同検証ラボ」でサーバを増強してもらいました • GKE 最高ー!! • コンテナおよびコンテナインフラの運用ノウハウ蓄積 • みんなが困ることはコミュニティの中で集約したいですね • 大規模Containerクラスタ&GPUの提案が増えてます 12
  13. 13. 今日のお題 ① たまおき的関心事項 ② MEC + GPUコンピューティング 13
  14. 14. MEC (Mobile Edge Computing) + GPUコンピューティング について 日本仮想化技術株式会社 VitrualTech.jp 2017/12/05 14
  15. 15. MECについての理解 15
  16. 16. MEC を取り巻く状況 外的要因 • 5G ネットワークの立ち上がり • Edge Throughput が 100Mbps • Latency が 1ms • Peak Data Rate が 20Gbps • Connected Carやスマートスピーカーな どの新領域のアプリケーションの登場 内的要因 • 運用コスト削減への圧力 • Software Defined Infrastructure の本格検討 • NFVやSD-WANを商用インフラで検討 • 機械学習や深層学習の業務への活用検討
  17. 17. MECを理解する① MEC のユースケースによって 必要な要素(テクノロジー、品質、 ビジネス要件)が異なる MBB: Mobile Broadband mMTC: massive Machine Type Communications Dense Inf Society Connected vehicles VR office/factory/tactileThroughput Latency Reliability Availability Energy Efficiency User/Device density Implications of 5G RAN and IoT on OpenStack based edge computing. より引用 [ OpenStack Summit にて AT&T, Ericsson 発表 ] https://www.openstack.org/videos/sydney-2017/implications-of-5g-ran-and-iot-on-openstack-based-edge-computing
  18. 18. Disaggregated CoreDisaggregated RAN MECを理解する② AT&T の MEC Architecture 5G Application Ecosystem IoT Connected Car MBB RU DU UPF UPF Macro Radio & Small cell Antennas 5G Base Stations Edge Cloud Centralized Cloud CCF Internet CU-CP CU-UP NFV MANO (Management & Orchestration) CU: Centralized Unit CP: Control Plane UP: User Plane UPF: User Plane Function CCF: Core Control Function RU: Radio Unit DU: Digital Unit Implications of 5G RAN and IoT on OpenStack based edge computing. より引用
  19. 19. MECを理解する③ • Docker / Kubernetes でコントローラを構成する • ゼロタッチ・プロビジョニングが鍵 • 数千ロケーションに展開することを想定 • エッジノードにて新しい技術を即座にサポート (GPU, SmartNIC, FPGA, など) • NFVやSDNなど他のプロジェクトとの連携を想定 AT&TのMECプロジェクトを推進する上での気づき
  20. 20. MEC+GPUコンピューティング 20
  21. 21. MEC+GPUコンピューティング • Docker / Kubernetes を使用したMEC環境の構築 • ゼロタッチ・プロビジョニングを見越した、MEC環境の構築・構成 変更 • サーバOSのインストールからコンテナアプリの設定まで • 仮想ネットワークと仮想ストレージも視野に • エッジノードでGPUの活用 POC(Proof of Concept)で実証したいこと
  22. 22. Container nodes MEC+GPUアーキテクチャ NFV MANO Edge Controllers Physical Provisioning Application Provisioning SDN / SDS Monitoring / Alerting Orchestrator GPU Hi speed networking General purpose Low energy Hi speed storage GPU Server GPU Server Storage Server Storage Server Object Storage Servers w/t SmartNIC Servers Edge Cloud のスコープ ServerServer Server
  23. 23. Edge Computing で必要な構成要素 前ページのMEC+GPUアーキテクチャの図示した構成要素以外 で必須・任意の構成要素を列記 必須要素 • Edge Cloud のオーケストレータ • Kubernetes を想定 • Edge Cloud 内のリソースを操作するための End Point • Kubernetes API を想定 任意要素 • Edge Cloud 内の構成情報・資産情報の管理 23
  24. 24. Container nodes POC#1のスコープ想定 NFV MANO Edge Controllers Physical Provisioning Application Provisioning SDN / SDS Monitoring / Alerting Orchestrator GPU Hi speed networking General purpose Low energy Hi speed storage GPU Server GPU Server Storage Server Storage Server Object Storage Servers w/t SmartNIC Servers Edge Cloud のスコープ ServerServer Server
  25. 25. コンテナ/ハイパーバイザー についての整理 25
  26. 26. GPUノードにおける整理 Hypervisor/Container でGPUを動かすために • HypervisorではPCI パススルー で、Containerでは nvidia docker で利用可能 • PCI パススルーはOpenStackコンピュートノードに設定が必要 • KVM ベースの GPU インスタンスに GPU を割り当てる • nvidia dockerは特別なハードウェア設定なしに使用できる • OpenStackから Kubernetes や Docker コンテナを操作するた めの仕組みを導入する必要がある 26
  27. 27. GPUノードにおける整理 どちらを選択するのがよいのか? PCI パススルー nvidia docker 強み 多目的(VDI/HPC/DL) で利用可能 環境構築が簡単 弱み 特別な環境設定が必要 • HPCやDLの用途に限定 • リソース競合の懸念 • OpenStackとの連携に課題 27 用途に合わせて選択するのがよいと考えます。 OpenStack + nvidia docker については NTT コミュニケーションズ様 が調査を行い発表しているので参考するとよいです。 https://www.slideshare.net/VirtualTech-JP/gpu-container-as-a-serviceoss-openstack-20177
  28. 28. General purposeノードにおける整理 コンテナ技術が注目される理由 トレンドについての説明 • アプリケーション開発者の熱狂的な支持 • 「作って、壊せる」環境の手軽さ • クラウド・ネイティブ・アプリケーションの増加 • DevOps や Immutable Infrastructure の推進 • 通信事業者でのコンテナ技術の採用の流れ • NFV領域やサービスプラットフォームなどでの適用検討 現時点においてHypervisorとContainerのどちらを選択してもよ いが、今後Containerを採用するユースケースが増加すると想定 Hypervisor上にContainerを乗せることはできるが、ベアメタル サーバ上にContainerを乗せる方式が一般的になると予想 28
  29. 29. 参考情報)OpenStack Summit Boston 2017 での発表 AT&T’s Container Strategy and OpenStack‘s Role in it 29 Today: • OpenStack on コンテナ (OpenStackのコントローラノードを コンテナ上で稼働) 2018-19: • コンテナアプリケーションの増加と ハイパーバイザー型アプリケーションの 減少 • NFVでのVNFアプリケーションのコンテ ナ化(POCレベル) 2019+: • VNFアプリケーションのコンテナ化が 一般的に
  30. 30. コンテナ/ハイパーバイザーについての整理 • GPUノードにおける整理 • 用途に合わせて選択する • HypervisorでGPUを使用するために特別なH/W設定が必要なので、1 台のGPUサーバでHypervisor/Containerを混在することはできない • General purposeノードにおける整理 • 現時点においてHypervisorとContainerのどちらを選択してもよいが、 今後Containerを採用するユースケースが増加すると想定 • Hypervisor上にContainerを乗せることはできるが、ベアメタルサーバ 上にContainerを乗せる方式が一般的になると予想 30
  31. 31. 構成案 31
  32. 32. Container nodes POC#1の構成案(ハードウェア) Edge Controllers • Physical Provisioning • Monitoring /Alerting • Application Provisioning • Orchestrator • SDN POC#1のControllersの多重化は行わない想定 • GPU • General purpose
  33. 33. Container nodes POC#1の構成案(ソフトウェア) Edge Controllers • Physical Provisioning • Monitoring /Alerting • Application Provisioning • Orchestrator • SDN POC#1のControllersの多重化は行わない想定 • GPU • General purpose MAAS/Juju Prometheus / Grafana Kubernetes vMX nvidia docker docker Contrail Contrail vRouter
  34. 34. Appendix 34
  35. 35. Vehicle(s) Vehicle ServicesCarrier(s) Connected Car solution overview 35 Sensor & Vison & GPS Steering ECU TCU ECU: Electric Control Unit TCU: Telematic Control Unit Brake ECU Suspension ECU Driveline ECU Controller Smart Highway Infra Other VehiclesNF Comm- unication / Radio Internet Services Connected Vehicles Services 4G / 5G Connected Vehicles Services • Mobility Management • Vehicle Management • Safety • Entertainment • Driver Assistance Autonomous Vehicles Services 4G / 5G Autonomous Vehicles Services • Safety Record

×