Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Mipsology
Mipsology
FPGAベースAI推論アクセラレータ
2021 年7月
Mipsology社 APAC ビジネスデベロップメント
藤谷つぐみ
1
Mipsology Mipsology社のご紹介
全てのAI推論アプリケーションをプラグ&プレイでサポートする
業界初のイノベータ
Mipsology © 2015 - 2021
2
2015年設立
ミッション:すべてのMLアプリケーションに
...
Mipsology AI推論のデプロイ
3
NNの学習
アルゴリズム開発
学習されたNNを
デプロイ
製品ライフで使
用し続ける
ステップ 2
CPU/GPU
実際のアプリケーション
NNを実行
Zebra®
NNの学習に使用さ
れるデータセッ...
Mipsology Zebra シームレス・スタック
ZebraはCPU / GPUで
実行された学習済
CNNとWeightを活用する
4
GPU/CPU Zebra
GPU環境とZebra環境は
完全なシームレス
“プラグ&プレイ”プロセス...
Mipsology ZebraはAI推論の最高のパートナーであるXilinx社FPGAでベンチマー
クで最高の実績を出しました
データセンタ、エッジ、組み込み向けのそれぞれのAIアプリケーションで最高のパフォーマンスを実現
5
正規化されたパフ...
Mipsology Zebra 演算ユニット
Zebra演算エンジンが推論エンジンとしてFPGA内にマッピングされ、ユーザは無意識にZebraを実行
可能
6
Mipsology © 2015 - 2021
Mipsology Zebraは複数の NN を同時に並列実行
Alveo U250
7
High-Throughput mode
YoloV2: 585 fps (batch=12)
YoloV3: 252 fps (batch=12)
RC...
Mipsology Zebraのユースケース
8
医療 - DNA 分析
Zebra はDNA分析の為の非常に
複雑で深いNN推論をDCで実行
✓ GPUと同等の精度
✓ 最先端の技術
✓ ベストパフォーマン
ス
放送機器: 超解像度
Zebr...
Mipsology
スーパーマーケット
無人レジ
• アプリケーション: カメラによる自動精算
制御
• GPUからの置き換え
• 置き換えのモチベージョン:
• パフォーマンス: 3倍向上 (32 カメラ)
• HW: Xilinx Alve...
Mipsology
超解像のユースケース
10
GPUの2倍のパフォーマンス
5年間で最大4分の1のCOGS、8分の1のTCO
GPUマルチシステムから
FPGAシングルシステムへ
2x
RTX2080Ti
V100
Zebra + Alveo...
Mipsology
Mipsology
https://mipsology.com/
お問い合わせ先: japan@mipsology.com
You’ve finished this document.
Download and read it offline.
Upcoming SlideShare
What to Upload to SlideShare
Next
Upcoming SlideShare
What to Upload to SlideShare
Next
Download to read offline and view in fullscreen.

Share

Acri mipsology presentation docs_20210720

Download to read offline

2021-07-20 The 5th ACRi Webinar - Lightning Talk Convention
Lightning Talk (4) Mipsology

Related Books

Free with a 30 day trial from Scribd

See all

Related Audiobooks

Free with a 30 day trial from Scribd

See all
  • Be the first to like this

Acri mipsology presentation docs_20210720

  1. 1. Mipsology Mipsology FPGAベースAI推論アクセラレータ 2021 年7月 Mipsology社 APAC ビジネスデベロップメント 藤谷つぐみ 1
  2. 2. Mipsology Mipsology社のご紹介 全てのAI推論アプリケーションをプラグ&プレイでサポートする 業界初のイノベータ Mipsology © 2015 - 2021 2 2015年設立 ミッション:すべてのMLアプリケーションに 業界最高のコンピューティングエンジンを提供 開発拠点:フランス及び米国 Zebra is Best! プラグ&プレイ ML 推論アクセラレータ 世界的なFPGAベースのスーパーコンピュータの開発 技術チームからスピンアウト Zebra® 高パフォーマンス 長期製品寿命 と長期サポート FPGA経験 の必要なし データセンター エッジ 組み込み シンプルかつ使い易い 全てのNNを実行可能
  3. 3. Mipsology AI推論のデプロイ 3 NNの学習 アルゴリズム開発 学習されたNNを デプロイ 製品ライフで使 用し続ける ステップ 2 CPU/GPU 実際のアプリケーション NNを実行 Zebra® NNの学習に使用さ れるデータセット ステップ 1 ステップ 3 Mipsology © 2015 - 2021
  4. 4. Mipsology Zebra シームレス・スタック ZebraはCPU / GPUで 実行された学習済 CNNとWeightを活用する 4 GPU/CPU Zebra GPU環境とZebra環境は 完全なシームレス “プラグ&プレイ”プロセス ✓ アプリケーションソフトウェアの変更の必要は全く ありません ✓ フレームワークも変更せず使用可能です ✓ 同じLinux環境で同じコマンドを使用できます ✓ Zebraは独自の自動量子化を行います ✓ 低遅延、長寿命、低所有コストで最高のパフォーマ ンスをすぐに実現できます Mipsology © 2015 - 2021
  5. 5. Mipsology ZebraはAI推論の最高のパートナーであるXilinx社FPGAでベンチマー クで最高の実績を出しました データセンタ、エッジ、組み込み向けのそれぞれのAIアプリケーションで最高のパフォーマンスを実現 5 正規化されたパフォーマンス (FPS / TOPS ResNet50) 0 50 100 150 200 250 300 Zebra on Versal VP1802 Zebra on Alveo U250 Zebra on Alveo U200 Zebra on Alveo U50LV Zebra on ZU7EV nVidia Jetson AGX nVidia T4 nVidia V100 nVidia A100 Google TPUv3 AWS Inferencia Groq Intel NNP-I Intel Habana Alibaba HanGuang ASICs: 2x-10x lower GPUs : 3-4x lower even most recent ✓ 専用のカスタマーサポート ✓ 最高のパフォーマンス –FPGAの知識は必要ありません ✓ プラグ&プレイ ✓ 全てのニューラルネットワークで動作 ✓ 全てのCNNアプリケーションで動作 ✓ エッジ、組み込み、データセンタ、ま たはクラウド ML Perf の結果 「Mipsology社のZebraはXILINX社FPGAで最高 のML推論効率でGPU,ASICに勝る」 Mipsology © 2015 - 2021
  6. 6. Mipsology Zebra 演算ユニット Zebra演算エンジンが推論エンジンとしてFPGA内にマッピングされ、ユーザは無意識にZebraを実行 可能 6 Mipsology © 2015 - 2021
  7. 7. Mipsology Zebraは複数の NN を同時に並列実行 Alveo U250 7 High-Throughput mode YoloV2: 585 fps (batch=12) YoloV3: 252 fps (batch=12) RCNN: 49 fps (batch=12) RN50: 5120 fps (batch=60) Low-Latency mode YoloV2: 1.99 ms YoloV3: 5.72 ms RCNN: 30 ms RN50: 1.07 ms Multi-Stream mode Per channel (12x) YoloV2: 45 fps YoloV3: 20 fps RCNN: 4 fps RN50: 273 fps Mipsology © 2015 - 2021
  8. 8. Mipsology Zebraのユースケース 8 医療 - DNA 分析 Zebra はDNA分析の為の非常に 複雑で深いNN推論をDCで実行 ✓ GPUと同等の精度 ✓ 最先端の技術 ✓ ベストパフォーマン ス 放送機器: 超解像度 Zebraは4KビデオのAI演算を可能にします ✓ 3x GPUより高速 ✓ TCOは 1/5 ✓ シンプル ✓ 導入の速さ データセンタ – 画像処理 Zebra は劇的に電力を削減し高価な冷却装 置費用を削減します ✓ 98% 電力コスト削減 ✓ 一般的なNNをサポート ✓ シームレスにGPUを置き換え 工業ロボット- 制御 Zebra はフルスピードのカメラをリアルタ イムで演算 – GPUでは不可能 ✓ GPUより3倍のパフォーマンス ✓ 追加学習の必要なし ✓ 信頼性 24時間 365日 ストレージ Zebra はPCIe以外のスロットでも 稼働 ✓ U.2 フォームファクタ ✓ アップデート可能 ✓ ビデオデコードと統合 リテイル - 無人レジ Zebra は24時間365日稼働可能 GPU は1日に何度もフェイル ✓ 1カードで32 カメラをサポート ✓ GPUのアプリを直接置き換え 工業検知 Zebra は信頼性の高い工業用の画像認識製 品で検出、分類を高スループットで実行 ✓ 50個以上のカメラ ✓ GPUより5倍高速 ✓ 工業製品にフィット する スマートシティ –交通制御 Zebraは過酷な環境でも確実に動作しますが、 GPUでは困難です ✓ エッジでの24時間365日稼働 ✓ セットトップボックス ✓ アップデート可能 医療: 画像検出 複数の NN Zebra は1枚のカードで複数NNが必要なア プリケーションを実行可能 ✓ 1枚で複数NN実行 ✓ 4倍以上の リクエストを 処理 ✓ コストをセーブ ✓ ✓ ✓  ✓ ✓ ✓ ✓  1 4 7 2 5 8 3 6 9 Mipsology © 2015 - 2021
  9. 9. Mipsology スーパーマーケット 無人レジ • アプリケーション: カメラによる自動精算 制御 • GPUからの置き換え • 置き換えのモチベージョン: • パフォーマンス: 3倍向上 (32 カメラ) • HW: Xilinx AlveoU50LV • 価格: より低価格に • NN: 複数の物体検知 / 分類 結果: • 32 台のカメラを1台のU50で24時間x365日動作 する為のテスト実行 • HW: Xilinx Alveo U50LV • Price: より低価格に • NN: 変更の必要なし。データセットはそのまま利 用 • その他のアプリケーション:店の棚にある欠品の検 出、バルクアイテムの品質チェックなども行う 9 . . . オブジェクト イメージ 詳細画像分類 オブジェクト 検出 32 カメラ ストリーム Mipsology © 2015 - 2021
  10. 10. Mipsology 超解像のユースケース 10 GPUの2倍のパフォーマンス 5年間で最大4分の1のCOGS、8分の1のTCO GPUマルチシステムから FPGAシングルシステムへ 2x RTX2080Ti V100 Zebra + AlveoU250 1.4 fps 2 fps 4 fps アプリケーション インターネット上のビデオ放送の4kコンテ ンツの解像度の向上 既存ソリューション GPU 高価、パフォーマンスが低い 採用基準 パフォーマンス:1台のコンピュータで 32fps 低コスト NN:独自の超解像 元のNNを一切変更し ないで高速化を実現 GPU Mipsology © 2015 - 2021
  11. 11. Mipsology Mipsology https://mipsology.com/ お問い合わせ先: japan@mipsology.com

2021-07-20 The 5th ACRi Webinar - Lightning Talk Convention Lightning Talk (4) Mipsology

Views

Total views

213

On Slideshare

0

From embeds

0

Number of embeds

170

Actions

Downloads

2

Shares

0

Comments

0

Likes

0

×