【日商USA】インフラ担当者向け AIインフラとEdge AI 最新トレンド

本日のアジェンダ
10/04/2024 All Copyrights reserved by Nissho Electronics USA Corp 1
01 AI インフラと Edge AI 最新トレンド
02 参加イベント注目セッション
03 注目のスタートアップ紹介
04 Q&A
05 おしらせ

AI インフラと Edge AI
最新トレンド

AI モデルサイズの爆発的な増加

深刻化が予想されるエネルギー問題が発生
Source ：
https://www.goldmansachs.com/insights/articles/AI-poised-to-drive-160-increase-
in-power-demand
（ 2024 年 5 月 14 日）
o データセンターの電力需要は 2030 年までに 160% 増加する
と予測されている
o ChatGPT のクエリ処理は Google 検索の処理と比較して
10 倍の電力を必要とする
o 世界のデータセンターの電力消費割合は、現在の 1 ～ 2% か
ら 10 年後には 3 ～ 4% に増加する見込み
o データセンターの二酸化炭素排出量は 2022 年から 2030 年
の間に 2 倍以上に増加する可能性があり、エネルギー消費削
減が大きな課題となっている
AI はデータセンターの電力需要を 160% 増加させる見込み

Edge AI vs Cloud AI 論争①
Source ： https://www.softmaxai.com/edge-ai-vs-cloud-ai/
o 今後 5 年間で企業データの 75% 以上がデータセンターや
クラウドの外部で作成され、処理されるようになる
o エッジ AI の利点はプライバシーの保護や迅速なレスポンスに
ある。一方、クラウド AI は、学習などの大規模な計算に向い
ている
o AI チップの進化により、 AI の推論処理をエッジでもできる
ようになってきている
o 5G や Network For AI などの高速な通信技術と併用するこ
とでクラウド AI の欠点である遅延にも対処ができるように
なってきている
Edge AI 、クラウド AI ともに欠点をおぎなう技術開発がすすむ

Edge AI vs Cloud AI 論争②
o 単純な二元論ではなく、ハイブリッド利用も視野に入れる
o エッジでのパフォーマンス、セキュリティ、開発の難易度、
規制などの要素を考慮する必要がある
o ハイブリッドの場合、ワークロードの分割は、ミッションク
リティカルな側面とプライバシーの観点から決定される。短
期予測はエッジ、長期パターン学習はクラウドが効果的
o コスト面では、長期的にはローカルデバイスでの処理の方が
コスト効率が良い可能性がある
o AI の収益化方法は業界によって異なり、様々なユースケース
を学びながら検討する必要がある
o 自動運転車の例では、 AI への投資回収率が高いとされる
Edge AI 、クラウド AI を選択するポイントとは？

参加イベント
注目セッション

イベント名
AI Hardware & Edge AI Summit
開催日時
2024 年 9 月 10 日～ 12 日
場所
Signia by Hilton San Jose
参加者数
2,500 名

航空機の操縦支援に関する AI 活用
• 高度なセンサーと AI の活用 :
航空機には、パイロットの視覚をサポートするカメラ
やさまざまなセンサーが搭載。地上での対応や不測の
事態への対処を可能とする
• 複雑な空港環境への適応 :
AI システムは、シカゴ空港などの複雑な空港環境にお
いても、パイロットに対して明確な着陸ガイダンスを
提供し、高度な状況認識能力を支援
• 3D マッピング技術による視界確保 :
地形データや衛星データを組み合わせた 3D マッピング
技術を利用し、夜間や悪天候時でも安全に着陸できる
よう、カメラ映像とマップを統合したアシスタント機
能を提供 Arne Stoschek
Acubed (Airbus)

自動運転技術の複雑さと、関連する
AI 戦略の重要性
• Cruise の再開と技術的特徴 :
車両には多数のセンサーが搭載され、 1 日あたり 5TB
のデータを生成し、エッジ処理を実行。エッジ AI 技術
が安全運転と経路選択を支えている
• エッジ AI 実装の課題と独自モデルの開発 :
エネルギー消費、コスト、処理能力の制約を考慮した
エッジ AI 実装が必要。 Cruise は大規模な基礎モデルを
構築し、エッジ AI 用にカスタマイズした小型モデルを
作成
• AI の説明可能性と規制当局との対話 :
AI モデルの説明可能性と解釈可能性について規制当局
と対話・検証を実施。自動運転技術の安全性と信頼性
を確保する上で重要な取り組み Mo Elshenawy
Cruise

Google の AI 基盤技術と持続可能性へ
の取り組み
• AI 技術の進化 :
アルファプロテオプロジェクトにより、約 2 億個
のタンパク質構造を解明する AI 基盤を提供。こ
れは抗生物質耐性、疾病予防、ワクチン開発、新
分子創出など幅広い分野に応用可能
• AI モデルの進化と技術革新 :
ソフトウェアとハードウェアの共同設計を重視。
光回路スイッチングなどの新技術導入により、パ
フォーマンスと効率性を向上させ、コスト 30%
削減、エネルギー効率 40% 向上を実現している。
• 持続可能性への取り組み :
2030 年までに全業務とバリューチェーンでの排
出量ゼロを目指すなど、持続可能性への取り組み
を強化
Amin Vahdat
Google

メタの AI 基盤における信頼性向上への
取り組み
• ハードウェア障害への対応 :
Nvidia H100 GPU 16,000 個のクラスターを使用。
ハードウェア関連の障害が全体の 71% を占めていた。
依然として主要な課題となっています
• システムの品質向上と障害検出 :
「プレフライトセンター」という事前チェックシステ
ムを導入し、トレーニングの質を向上させている。
また、検出が困難な「サイレントデータ破損」の検出
にも取り組む。
• 効率的な運用と将来ビジョン :
将来的には、サーバーやジョブの履歴、長期的トレン
ドを把握できる機械学習モデルの構築を目指す。
Dan Rabinovitsj
Meta

注目のスタートアップ紹介

注目のスタートアップ
AI 推論用ハードウェア超膨大な計算を可能と
する AI 基盤
ンメモリコンピューティ
ングの先端企業
光を活用したデータ接続光を活用したデータ接続
ファブリック
ラックスケールのコンポーザブ
ルインフラストラクチャ
対数を用いた独自の生成 AI
推論ロジック
AI 開発に最適なオブジェクト
ストレージ
AI 開発のためのオールインワン
プラットフォーム

POSITRON （ AI 推論用ハードウェア）
社名
設立 2023 年
本社 Reno, NV
従業員 17 名
資金調達累計 $1.0M
評価額非公開 / Seed
投資家 1517 Fund
チーム
Thomas Sohmers （ CEO, Co-Founder ）
• プログラマブルプロセッサを開発
する REX Computing を立上げ
• AI 推論チップを開発する Groq の
技術戦略責任者を務める
事業概要
• AI 推論用に特別に設計されたチップを搭載した 4U のハード
ウェアを今年 8 月に出荷開始
• Hugging Face の「 Transformers 」ライブラリを直接搭載可
能。 OpenAI との互換性を持つ
• 既存の GPU と比較して 4 倍のワット / パフォーマン
ス、 H100 と比較して 2.5 倍のコストパフォーマンスを提供
• 最大 32 台をクラスタリング可能
• 価格に敏感な中規模の AI および機械学習に重点を置く企業や
CSP 、研究機関が中心となる見込み
Source : https://www.positron.ai/

Cerebras （超膨大な計算を可能とする AI 基盤）
社名
設立 2016 年
本社 Sunnyvale, CA
従業員 420 名
評価額非公開 / Secondary Market
投資家
Sequoia Capital, Abu Dhabi Growth Fund,
Alpha Wave Global 他
チーム
Andrew Feldman （ CEO, Co-Founder ）
• Force10 Networks の製品管理、
マーケティング、事業開発担当の
責任者を務める。
• 高帯域幅のマイクロサーバーを
提供する SeaMicro を立上げ。
AMD が買収。
事業概要
• 超高速な処理を実現できるウエハー大のチップを用いた
AI 基盤および HPC 基盤を提供
• 900,000 個のコアと 44 GB のオンチップメモリを備える
• 創薬や航空宇宙およびエネルギー研究、防衛関係など膨大な
処理を必要とする用途に利用されている
• 機密度の高いシステム構築のニーズから振興の Sovereign AI
市場に最前線に立つことが期待される
• DELL との提携を発表。エンタープライズにおける AI 実装の
機会を模索
Source : https://cerebras.ai/

D-Matrix （インメモリコンピューティングの先端企業）
社名
設立 2019 年
本社 Santa Clara, CA
従業員 191 名
評価額非公開 / Series B
投資家
Temasek, Playground Global, M12, Microsoft
他
チーム
Sid Sheth （ CEO, Co-Founder ）
• 電気・コンピュータ工学の修士号
をパデュー大学で取得
• Inphi Corporation や Broadcom で
シニアリーダーを務める。
事業概要
• 生成 AI の推論に最適化されたインメモリの AI チップとチッ
プを効率的に接続するインターコネクトを開発
• 写真は、来年初頭に発売予定の CORSAIR 製品で内部に 8 つ
の AI チップを搭載。最大 1000 億パラメータを処理可能
• 電力効率を 20 倍にし、遅延を 1/20 に抑えることができる。
• 拡張性にも優れており、写真のカードを追加増設していくこ
とで AI 基盤のハイパースケール化を行う。
• データセンターや、大規模 AI モデルを展開する企業の利用を
想定
Source : https://www.d-matrix.ai/
複数のチップを高速で接続
デジタルインメモリコン
ピューティング（ AI チップ）

Ayar Labs （光を活用したデータ接続）
社名
設立 2015 年
本社 San Jose, CA
従業員非公開
評価額非公開 / Series C
投資家
Tsing Hua Entrepreneur Network, Boardman
Bay Capital Management 他
チーム
Mark Wade （ CEO, Co-Founder ）
• コロラド大学で博士号を取得
• 光を使って通信するプロセッサー
の光学設計チームを率いた
• MIT とカリフォルニア大学
バークレー校での研究をもとに
同社を設立
事業概要
• 光を用いたチップ同士および外部との高度な接続技術を提供。
光の生成技術では、一度に複数の波長を生成するマルチ波長
出力を業界で初めて実現。マルチポートをサポートすること
で、高速でありながら、効率的なシステム設計ができる
• 数 km の距離の接続も実現
• 従来の外部接続の方式と比較し、 5 から 10 倍の帯域幅、 4
～ 8 倍の電力効率を実現
• NVIDIA 、 Intel 、 Lockheed Martin 、 GlobalFoundries な
どと提携をしている
Source : https://ayarlabs.com/

Celestial AI （光を活用したデータ接続ファブリック）
社名
設立 2020 年
本社 Santa Clara, CA
従業員 110 名
評価額 $1.197B / Series C
投資家
US Innovative Technology Fund, IAG Capital
Partners, KdT Ventures 他
チーム
David Lazovsky （ CEO, Co-Founder ）
• 半導体業界で 20 年以上の経験
• Applied Materials 社や
Intermolecular 社などで
• リーダーシップを発揮。
事業概要
• AI インフラの強化を目的とした「 Photonic Fabric 」の開発。
「 Photonic Fabric 」の技術は、チップ内およびメモリ、コ
ンピューティング基盤間のデータ移動に光を活用することが
できる。結果的に、 AI や高性能コンピューティングシステム
での利用において帯域幅を 25 倍向上させ、遅延や消費電力を
10 分の 1 に削減させることを目指している。
• 主にハイパースケールデータセンターや AI に積極的に取り組
む大手企業の利用が中心。 Broadcom や Samsung などの半
導体部門と積極的な協力もしている。
Source : https://www.celestial.ai/

GigaIO （ラックスケールのコンポーザブルインフラストラクチャ）
社名
設立 2017 年
本社 Carlsbad, CA
従業員 43 名
投資家
Impact Venture Capital, Four Palms
Ventures, Lagomaj Capital 他
チーム
Alan Benjamin （ CEO, President ）
• HP でキャリアを開始
• 通信部品を提供する Pulse
Electronics の COO を務め、
その後、 Excelsus Technologies
の CEO に就任。
事業概要
• コンピューティング、ストレージ、メモリ、ネットワーク
リソースをオーケストレーションするソフトウェアを提供
• PCIe ベースのメモリ・ファブリック「 FabreX 」は、 AI や
HPC に最適な超高速なデータ処理を実現
• 写真のキャリーバッグ型の Gryf という製品は、スポーツのス
タジアムからの持ち運び動画配信システムを構築できる
• 簡単に解体、再構築ができるため、その他のユースケースに
も簡単に再利用が可能。
• Visa, NTT, Morgan Stanley などが利用
Source : https://gigaio.com/

Recogni （対数を用いた独自の生成 AI 推論ロジック）
社名
設立 2017 年
本社 San Jose, CA
従業員 103 名
評価額 $481.9M / Series C
投資家 Celesta Capital, GreatPoint Ventures 他
チーム
Marc Bolitho （ CEO ）
• ミシガン大学で電気工学を専攻。
• 28 年にわたり自動車用エレクトロ
ニクスの分野で活躍。
• ZF グループの上級副社長として、
ADAS （先進運転支援システム）
事業部を統括。
事業概要
• 特許取得済の計算方式であるパレート法を AI 推論システムに
おける計算に適用。パレート法は主に対数を用いた計算手法。
複雑な計算をシンプル化することで、結果的にチップを小型
化、エネルギー消費量を削減する。しかもかなり正確。例え
ば、下の画像生成の結果を比較しても 99.9 ％の近しさをもっ
たアウトプットを出せる。 GPU と比較し安価であり、十分な
コンピューティングパワーをもつ AI 推論チップを提供
• 自動運転車業界から展開を開始。現在は、データセンター業
界や航空業界にも展開を始めている
Source : https://www.recogni.com/

MinIO （ AI 開発に最適なオブジェクトストレージ）
社名
設立 2014 年
本社 Redwood City, CA
従業員 118 名
評価額 $1.0B / Series B
投資家
General Catalyst, Index Ventures, Intel
Capital, SoftBank 他
チーム
Anand Babu Periasamy （ CEO, Co-
Founder ）
• デューク大学で電気工学の学士号
を取得
• HP でキャリアをスタート後、
HPC 業界の企業で CEO を歴任
事業概要
• AWS の S3 ストレージやエッジのストレージをサポート
• 特にデータの同期技術については性能が高く、本製品の強み
になっている
• 同期技術の他、データ保護やバックアップ機能なども提供
• 従来型のストレージからの移行のユースケースの他にも、コ
スト削減を目的とした Repatriation にも有効な機能を提供
• VMware 、 Intel 、 Snowflake などの大手テクノロジー企業
と戦略的パートナーシップを締結
• Home Depot 、 Box 、エアバス、デンソーなどに導入
Source : https://min.io/

Lightning AI （ AI 開発のためのオールインワンプラットフォーム）
社名
設立 2019 年
本社 New York, NY
従業員 77 名
投資家 Index Ventures, Bain Capital Ventures 他
チーム
William Falcon （ CEO, Founder ）
• ニューヨーク大学でコンピュータ
サイエンスの修士号を取得。
• Meta で AI リサーチャーを務める
• PyTorch Lightning の開発で広く
知られる
事業概要
• AI 開発プロセスにおけるプロトタイプ作成、コーディング、
トレーニング、チューニング、実装、プロファイリングをこ
の基盤上で行える。同社が保有する 1,000 個のクラウド GPU
を利用可能であり、秒単位で使用した分だけ支払える
• 専門的なチュートリアルの提供のほか、共同作業やワークフ
ロー作成などの機能を実装しており、高い開発エクスペリエ
ンスから、 10 万人以上がこの基盤を利用している。
• テクノロジー企業、スタートアップが利用。特に、中規模、
小規模な AI 開発を効率的に行いたい企業に最適。
Source : https://lightning.ai/

サマリ
1.AI モデルの大型化に伴い、 AI 基盤の大規模化が進行
・エネルギー消費量の削減とコンピューティングリソースの効率的活用が課題
・ Cloud AI と Edge AI 両方において、チップレベルでの技術革新が進行中
2.Edge AI vs Cloud AI 論争
・両者ともに欠点を解消する動きが加速
・クラウド側：大規模計算能力の向上、信頼性の向上が図られている
・エッジ側： AI チップのパフォーマンス向上と小規模 AI モデルの精度向上が進んでいる
3. ハイブリッドアプローチも選択肢
・プライバシー保護や即時レスポンスが重要な場合はエッジで短期情報を処理
・大規模計算や長期データ分析はクラウドで行うなど、状況に応じた使い分けの導入ケースにも注目

End of document

【日商USA】インフラ担当者向け AIインフラとEdge AI 最新トレンド

More Related Content

Similar to 【日商USA】インフラ担当者向け AIインフラとEdge AI 最新トレンド

More from Sojitz Tech-Innovation USA

【日商USA】インフラ担当者向け AIインフラとEdge AI 最新トレンド