Jetson Xavier NX クラウドネイティブをエッジに
•
0 likes•1,045 views
AIエッジデバイスのクラウドネイティブ技術が今後の道筋です。 NVIDIA Jetsonがどのようにしてクラウドネイティブの変革をAIエッジデバイにもたらしているかをご紹介します。 複数のコンテナー化されたアプリケーションとAIモデルを同時に実行するJetsonの能力を紹介する詳細なデモを取り上げます。 このウェビナーでは、以下の内容を取り上げます。 1. コンテナーを構築して Jetson でデプロイする方法 2. マイクロサービスアーキテクチャ、コンテナー化、オーケストレーションにより、クラウドアプリケーションがモノリシックなソフトウェアワークフローの制約から逃れることができるようになった方法についての洞察 3. エッジにクラウドネイティブ統合を含めるJetsonファミリーが提供する最新の機能の詳細 NVIDIA Jetsonのクラウドネイティブ技術については下記をご参照ください。
Recommended
More Related Content
What's hot
What's hot (20)
Similar to Jetson Xavier NX クラウドネイティブをエッジに
Similar to Jetson Xavier NX クラウドネイティブをエッジに (20)
More from NVIDIA Japan
More from NVIDIA Japan (20)
Recently uploaded
Recently uploaded (9)
Jetson Xavier NX クラウドネイティブをエッジに
- 1. July 2020 Chris To, Field Applications Engineer JETSON XAVIER NX クラウドネイティブをエッジに
- 2. 2 Jetson Xavier NX 開発キットのご紹介 クラウドネイティブとは Jetsonでのクラウドネイティブ対応 Jetsonのクラウドネイティブ デモ Jetsonでコンテナーを作ろう アジェンダ
- 3. 3 ‣ 最大 21 DL TOPS AI 性能 ‣ 10W | 15W ‣ 384 CUDA コア | 48 Tensor コア | 2 DLA エンジン ‣ マイクロ SD カードでのストレージ (カードは別売りです） ‣ 冷却ファンつき JETSON XAVIER NX 開発者キット
- 4. 4 JETSON ファミリー エッジでの AI から自律動作システムまで 詳細の製品仕様はホームページにて https://developer.nvidia.com/embedded-computing * TX2i: 10-20W 7.5 – 15W* 50mm x 87mm JETSON TX2 series 1.3 TFLOPS (FP16) 5 - 10W 45mm x 70mm JETSON NANO 0.5 TFLOPS (FP16) 10 – 30W 100mm x 87mm JETSON AGX XAVIER Series 11 TFLOPS (FP16) 32 TOPS (INT8) 10 - 15W 45mm x 70mm JETSON Xavier NX 6 TFLOPS (FP16) 21 TOPS (INT8) メインストリーム 自律動作システムエントリー 同じソフトウェア
- 6. 6 クラウドネイティブ以前のクラウド Physical Servers Operating System Database Web Server OtherTech Silos Application Code Libraries ホストとアプリケーションの間に厳しい結合 数々の課題: • アプリケーションの更新は複雑な作業 例えば ‣ 依存性の確保 ‣ 開発環境とデプロイ環境の違い • 開発サイクルが遅い • スケーリングにはアプリケーション全体の複製が必要 • アプリケーションはポータブルではありません
- 8. 8 クラウドネイティブ変換 マイクロサービス Physical Servers Operating System OtherTech Silos • 他のマイクロサービスに影響を与えることなく、個々のマイクロサービ スの展開と更新を可能 • 迅速かつ柔軟な展開モデル • 開発サイクルの高速化 • 個々のマイクロサービスを独立してスケールする Libraries Database Web Server Application Code
- 9. 9 • ホストと他のアプリケーションとの明確な分離 • アジャイル開発と継続的なインテグレーションとデプロイメント (CI/CD)を可能にします • 容易な展開と更新を可能にします • 移植性を高める • プロセスを分離し、セキュリティを向上させます クラウドネイティブ変換 Libraries Libraries Libraries Libraries コンテナー Database Web Server OtherTech Silos Application Code Physical Servers Operating System Container Runtime
- 10. 10 Worker Machine Worker Machine Worker Machine • コンテナーのプロビジョニングと展開 • 冗長性と可用性の管理 • コンテナーのスケールアップやスケールダウンを管理 • コンテナ間でのリソースの割り当て • コンテナとホストの健全性の監視 • ホスト間のコンテナの移動を管理 クラウドネイティブ変換 オーケストレーション
- 13. 13 より簡単で速いデプロイメント - 煩雑で時間のかかるビルドやインストールは不要。 アジャイルで容易な開発 - アップデートは特定のモジュールのみ対象、 すべてのシステムをアップデートすることは不要。 スケーラビリティ - オーケストレーションを使用して大規模なコンテナーを管理 する。 ポータブル - 様々な環境にデプロイでき、テストから量産までの 変更を最小に。 コンテナー と マイクロサービス JETSON クラウドネイティブ対応 JetPack
- 14. 14 さらに広がる JETSON コンテナー L4T ベースイメージ L4T-Base Image nvcr.io/nvidia/l4t-base • Jetson上のコンテナーのベースレイヤー • ライブラリとデバイスノードは、ホストからマウントされます。 • Dockerfileはオープンソースで、ベースイメージのカスタマイズが可能です。 • 以下の機能を対応: • CUDA and TensorRT • Deep Learning Accelerator (DLA) • Video Decode (NVDEV) • Video Encode (NVENC) • Video Image Compositor (VIC) • Frame buffer • Display (eglsink, 3dsink, overlaysink) https://github.com/NVIDIA/nvidia-docker/wiki/NVIDIA-Container-Runtime-on-Jetson L4T_Base CUDA (マウント済み) TensorRT (マウント済み)
- 15. 15 TensorFlow Container PyTorch Container Machine Learning Container Python 3.6 環境で TensorFlow が インストール済のコンテナー。 Pytorch 3.6 環境で PyTorch と torchvision が インストール済。 異なる PyTorch バージョンをサポート。 TensorFlow, PyTorch, JupyterLab などのよく使われる 機械学習や、scikit-learn, scipy, Panda などの データ サイエンス フレームワークを Python 3.6 環境で インストール済のコンテナー。 L4T_Base CUDA (マウント済) TensorRT (マウント済) フレームワーク アプリケーション https://ngc.nvidia.com/catalog/all?orderBy=modifiedDESC&pageNumber=0&query=l4t&quickFilter=&filters= さらに広がる JETSON コンテナー フレームワーク コンテナー
- 16. 16 さらに広がる JETSON コンテナー DeepStream コンテナー NGC上のDeepStream コンテナー: Base Container: 独自のDeepStreamアプリケーション用の dockerイメージを作成するためのベースイメージ Samples Container: ベースイメージの拡張、サンプルアプリ ケーションの追加。設定ファイル、モデル、サンプル映像ストリー ムが含まれます。 IoT Container: 複数ストリームのDeepStreamアプリケーショ ンを容易に実現できるイメージ。Kafka、Azure IoT、MQTTな どの様々なメッセージングバックエンドとの統合。 https://ngc.nvidia.com/catalog/containers/nvidia:deepstream-l4t
- 17. 17 専用の学習済みネットワーク クラス数 : 3 データセット : 75万 画像 精度 : 84% クラス数 : 4 データセット : 15万 画像 精度 : 84% クラス数 : 12 データセット : 5.6万 画像 精度 : 88% クラス数 : 20 データセット : 6万 画像 精度 : 92% クラス数 : 4 データセット : 16万 画像 精度: 84% クラス数 : 1 データセット : 60万 画像 精度: 95% PeopleNet TrafficCamNet VehicleTypeNet DashCamNet FaceDetect-IR VehicleMakeNet 高精度 | 再トレーニング可能 | すぐに展開可能 https://ngc.nvidia.com/catalog/models?orderBy=modifiedDESC&query=iva%20iot%20edge&quickFilter=models&filters=
- 18. 18 クラウドネイティブ デモ
- 19. 19 JETSONのクラウドネイティブ デモ サービスロボット事例を中心に構築 サービスロボットとは？ ‣ サービスロボットは自律型ロボットであり、通常は小売店、ホスピタリティ、ヘルスケア、倉庫など の環境で人と対話します。 典型的なタスク ‣ 人物を識別する ‣ 顧客が話している時に検出 ‣ 顧客とのやりとりをしながら、顧客がどこを指しているのかを理解する ‣ 顧客が何を求めているのかを理解する ‣ 役に立つ答えを提供する 必要なAI ‣ 人物検知 ‣ 視線検知 ‣ 姿勢推定 ‣ 音声認識 & 自然言語処理
- 20. 20 JETSONのクラウドネイティブ デモ 人物検知 自然言語処理 姿勢推定 視線検知 マルチ モーダル AI | マルチ フレームワーク | マルチ コンテナー 自然言語処理での言語モデルむけ BERT モデル 音声認識のための Quartznet モデル Resnet-18 モデル Resnet-18 モデル NVIDIA 顔ランドマークモデル NVIDIA 視線推定モデル 顔認識のための MTCNN モデル
- 23. 23 TRT-POSE デモ
- 24. 24 TRT-POSE用コンテナーの構築 2つのオプション L4T-Base image PyTorch Tqdm, Torch2trt,… TRT-Pose TorchVision Numpy Launch Script L4T-Baseをベースイメージとして使用 PyTorchのdockerイメージをベースイメージとして使用 PyTorch docker image Tqdm, Torch2trt,… TRT-Pose Launch Script TRT-Pose 例: TensorRTで高速された人体ポーズ検出 https://github.com/NVIDIA-AI-IOT/trt_pose