生成AIConferenceでの登壇資料です

1. 生成AI時代を支えるプラットフォーム - NVIDIA
エンタープライズ事業本部 事業本部長
井﨑 武士

2.  1993 年創業
 創業者及び CEO ジェンスン フアン
 従業員 29,600 人
 2024会計年度売上高 609億ドル
 時価総額 3.3兆ドル
Accelerated Computing Platform Company

3. NVIDIA の事業領域
グラフィックス AI
ゲーミング デザイン レンダリング AI 学習 ロボティクス
HPC
スーパー
コンピューター AI 推論

4. NVIDIA のプラットフォーム戦略
データセンタースケール
コンピューティング
フルスタック
単一アーキテクチャ
エンド・ツー・エンド
4 つのコアコンピタンス
Networking
Compute
Acceleration
Development
クラウド
データセンター エッジ
GPU
DPU CPU
性能
++
開発者 ++
CUDA
Everywhere
インストール
ベース
++
NVIDIA アプリケーション フレームワーク
NVIDIA
HPC
NVIDIA
AI
NVIDIA
Omniverse
DPU
CPU
GPU
NVIDIA アクセラレーテッドコンピューティング インフラ
NVIDIA プラットフォーム ソフトウェア ライブラリ
開発者数: 400万人 / 利用企業: 4万社 / アプリケーション数: 3500超/ スタートアップ: 23,000社

5. 生成AIの新時代
かつてないレベルの生産性を実現
コンテンツ制作
カスタマー・エクスペリエンス
パーソナライゼーション
ドメイン別要約
顧客セルフサービスのエージェント体験
ソフトウェア工学
コーディング・アシスタント
製品研究開発
デザインの強化
シミュレーションとテスト
“… 生成AIは、産業全体で2兆6000億ドルから4兆4000億ドルの価値を生み出す可能性がある”
— McKinsey Digital, “The Economic Potential of Generative AI: The Next Productivity Frontier” 2023

6. 生成AIをどのように使えばいいのか？
• Gen AI as a Service – p-tuning.inference
• Fine-tuning/customization –
• Custom/building models from scratch -
生成AIのカスタム化
利用者数
最小限のカスタム化
生成AIサービスを利用する - ChatGPT, Google Bard, Amazon Bedrockなどの既存サービス
サービス利用に応じたコンサンプションモデル
早期の市場投入が可能
中間のカスタム化
事前学習モデルのファインチューニング
インフラやリソースに数億の投資が必要
数週間から数ヵ月の開発期間
広範囲なカスタム化
独自の基盤モデル構築もしくは広範囲なファイン
チューニング
インフラやリソースに数十億の投資が必要
半年以上の開発期間

7. エンタープライズ向けの生成 AI アプリケーションの構築
生成 AI モデルを構築、カスタマイズ、展開するためのエンドツーエンドのクラウドネイティブ フレームワーク
データ
キュレーション 事前学習
モデルの
カスタマイズ 推論 ガードレール
データ
収集 情報検索
…
展開
トレーニングとカスタマイズ
データの準備

8. NVIDIA NeMo
AI ファウンドリーを実行してカスタム LLM アプリケーションを作成するためのソフトウェアと API
最先端の事前学習済みモデル
カスタマイズ、最適化、
展開のためのフレームワーク
どこでも実行できる
マイクロサービスと API
次世代の検索およびチャットボット
のための 検索拡張生成 (RAG)
データ
キュレーション
分散学習
モデルのカスタマイズ 情報検索
高速化された推論 ガードレール
API
NVIDIA Nemotron
モデル
Falcon Llama MPT
データ
キュレーション
事前学習
カスタマイズ
情報検索
推論
ガードレール
LLM & NVIDIA
テキスト埋め込み
ベクトル検索 –
GPU による高速化

9. エンタープライズ向け 生成 AI アプリケーションの構築
NVIDIA NeMo を使用して生成 AI モデルを構築、カスタマイズ、展開
展開
トレーニングとカスタマイズ
データの準備
NeMo Curator NeMo Customizer
…
NVIDIA NIM
NeMo Evaluator NeMo Retriever NeMo Guardrails
API Gateway
NVIDIA DGX Cloud

10. 生成AIに対する企業の動向
活用
組織は予算を確保し、本番で生成AIを
サポートするための加速インフラを
構築する取り組みを強化
検証
Llama 2、Mistral、NVIDIAなどを含むAPI
サービスとオープンモデルで、企業アプリ
ケーション開発者が生成AIアプリケーショ
ンのPOCを開始
認知
ChatGPTは2022年後半に発表され、わず
か2ヶ月で1億人以上のユーザーを獲得。あ
らゆるレベルのユーザーがAIを体験し、そ
のメリットを肌で感じることができた
2022 2023 2024

11. 生成 AI の展開 オプション
企業による生成 AI アプリケーションの検証
データとプロンプトは
外部と共有
マネージド型生成 AI サービス オープンソース型の展開
継続的なメンテナンスと
アップデート
各種インフラストラクチャー
に合わせたチューニングが
必要
マネージド環境に制限された
インフラストラクチャー
限定的な制御を
生成 AI 戦略全体に行う
データ センターとクラウド
のどこでも実行可能
API やファインチューニング
されたモデル用のカスタム
コード
使いやすい
開発用 API
AI を使い始めるための
近道
企業が管理する環境 企業が管理する環境
セルフ ホスト環境で
データを安全に管理
API

12. NVIDIA NIM:最大5倍の実行速度を発揮する最適化されたAIモデル
コミュニティモデル - パートナーモデル - NVIDIAモデル
NVIDIA INFERENCE MICROSERVICE
コンピュータ・ビ
ジョン
バイオロジー
ビジョン・
ランゲージ
RAG
スピーチ シミュレーション
地域言語
デジタルヒューマ
ン
言語
学習済みAIモデル
パッケージ化され最適化されている
CUDAインストールベース

13. NVIDIA Blueprint
build.nvidia.comで入手可能
リファレンス
アプリケーション
サンプルデータ リファレンスコード アーキテクチャー カスタマイゼーション
ツール
オーケストレーション
ツール
創薬向け生成バーチャル
スクリーニング
エンタープライズRAGのための
マルチモーダルPDFデータ抽出
コンテナセキュリティの
脆弱性分析
カスタマーサービス向けAI
バーチャルアシスタント
顧客サービスのための
デジタルヒューマン
ビデオ検索と要約のための
ビジュアルAIエージェント

14. 3D Animation Pipeline
Web Front End
顧客サービスのためのデジタルヒューマン
デジタル・ヒューマン・エコノミー市場は2035年までに125億ドル規模と推定される
恩恵
• ユーザー向けアプリケーショ
ンのエンゲージメントと満足
度の向上
• 正確な肌、髪、アニメーショ
ン、発話を持つ、本物そっく
りの3Dデジタル人間を作成
します。
• 企業のアプリケーションや
データとの自然な会話を可能
にする
Audio Pipeline
Audio/Video
Streaming
Video
Audio
Feedback Data
Omniverse
Renderer
Animation Graph Audio2Face Riva ASR ElevenLabs TTS
RAG
Application
ACE Agent
Animation
Data
Audio In
Audio Out
User Feedback
On Response
Digital Human
AV Out
Text Prompt
Text Response
Audio In
Text
Response
Text Audio
User

16. LLM
NIMs
ビデオ検索と要約 のためのNVIDIA AI Blueprint
VLM
NIMs
CV
NIMs
API
RAG
NIMs
Summarization
Q&A
Alerts
Video Search and Summarization
ビジュアル・エージェント
ベクター DB
グラフ DB
画像/映像アーカイブ
ストリーミング・
ビデオ
エージェントに仕事を与える どの
ような洞察が欲しいのか、それをど
のように共有するのかを説明

18. NVIDIA Blackwell プラットフォーム
Grace Blackwell
MGX Node
NVLink Switch Quantum Switch Spectrum-X Switch
Chips Purpose-Built for AI Supercomputing
GPU | CPU | DPU | NIC | NVLink Switch | IB Switch | Enet Switch
CUDA • DOCA • NCCL
Cluster-Scale Software
System Software
Chip Software
CUDA-X Libraries
NIM
CUDA-Accelerated
Agentic AI Libraries
Omniverse
CUDA-Accelerated
Physical AI Libraries
Accelerated
Software Stack
GB200 NVL72 SuperPOD