Submit Search
Upload
20201008 AWS独自設計推論チップInferentiaとInf1インスタンス
•
0 likes
•
93 views
H
Hiroshi Tokoyo
Follow
20201008 AWS独自設計推論チップInferentiaとInf1インスタンス
Read less
Read more
Technology
Report
Share
Report
Share
1 of 30
Download now
Download to read offline
Recommended
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
NTT DATA Technology & Innovation
AWS Batch Fargate対応は何をもたらすか
AWS Batch Fargate対応は何をもたらすか
Shun Fukazawa
Amazon SageMaker で始める機械学習
Amazon SageMaker で始める機械学習
Amazon Web Services Japan
NTTデータ流Infrastructure as Code~ 大規模プロジェクトを通して考え抜いた基盤自動化の新たな姿~(NTTデータ テクノロジーカンフ...
NTTデータ流Infrastructure as Code~ 大規模プロジェクトを通して考え抜いた基盤自動化の新たな姿~(NTTデータ テクノロジーカンフ...
NTT DATA Technology & Innovation
Amazon SageMakerでカスタムコンテナを使った学習
Amazon SageMakerでカスタムコンテナを使った学習
西岡 賢一郎
Amazon Athena 初心者向けハンズオン
Amazon Athena 初心者向けハンズオン
Amazon Web Services Japan
DynamoDBの初心者に伝えたい初めて触るときの勘所
DynamoDBの初心者に伝えたい初めて触るときの勘所
Ryo Sasaki
先駆者に学ぶ MLOpsの実際
先駆者に学ぶ MLOpsの実際
Tetsutaro Watanabe
Recommended
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
入門 Kubeflow ~Kubernetesで機械学習をはじめるために~ (NTT Tech Conference #4 講演資料)
NTT DATA Technology & Innovation
AWS Batch Fargate対応は何をもたらすか
AWS Batch Fargate対応は何をもたらすか
Shun Fukazawa
Amazon SageMaker で始める機械学習
Amazon SageMaker で始める機械学習
Amazon Web Services Japan
NTTデータ流Infrastructure as Code~ 大規模プロジェクトを通して考え抜いた基盤自動化の新たな姿~(NTTデータ テクノロジーカンフ...
NTTデータ流Infrastructure as Code~ 大規模プロジェクトを通して考え抜いた基盤自動化の新たな姿~(NTTデータ テクノロジーカンフ...
NTT DATA Technology & Innovation
Amazon SageMakerでカスタムコンテナを使った学習
Amazon SageMakerでカスタムコンテナを使った学習
西岡 賢一郎
Amazon Athena 初心者向けハンズオン
Amazon Athena 初心者向けハンズオン
Amazon Web Services Japan
DynamoDBの初心者に伝えたい初めて触るときの勘所
DynamoDBの初心者に伝えたい初めて触るときの勘所
Ryo Sasaki
先駆者に学ぶ MLOpsの実際
先駆者に学ぶ MLOpsの実際
Tetsutaro Watanabe
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
Preferred Networks
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
Amazon Web Services Japan
Dockerからcontainerdへの移行
Dockerからcontainerdへの移行
Kohei Tokunaga
インフラエンジニアの綺麗で優しい手順書の書き方
インフラエンジニアの綺麗で優しい手順書の書き方
Shohei Koyama
AWSではじめるMLOps
AWSではじめるMLOps
MariOhbuchi
Amazon Game Tech Night #20 ゲームバックエンド開発関連セッションのre:cap
Amazon Game Tech Night #20 ゲームバックエンド開発関連セッションのre:cap
Amazon Web Services Japan
ログ解析基盤におけるストリーム処理パイプラインについて
ログ解析基盤におけるストリーム処理パイプラインについて
cyberagent
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
NTT DATA Technology & Innovation
AWSで作る分析基盤
AWSで作る分析基盤
Yu Otsubo
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
Tetsutaro Watanabe
DockerとPodmanの比較
DockerとPodmanの比較
Akihiro Suda
Docker Compose 徹底解説
Docker Compose 徹底解説
Masahito Zembutsu
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
Yahoo!デベロッパーネットワーク
僕がつくった 70個のうちの48個のWebサービス達
僕がつくった 70個のうちの48個のWebサービス達
Yusuke Wada
本当は恐ろしい分散システムの話
本当は恐ろしい分散システムの話
Kumazaki Hiroki
トランザクションの設計と進化
トランザクションの設計と進化
Kumazaki Hiroki
Apache Arrow - データ処理ツールの次世代プラットフォーム
Apache Arrow - データ処理ツールの次世代プラットフォーム
Kouhei Sutou
Git超入門_座学編.pdf
Git超入門_座学編.pdf
憲昭 村田
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Amazon Web Services Japan
アジャイル開発のためのDatadog
アジャイル開発のためのDatadog
Nobuyasu Seki
20200729 f1 instance_intro
20200729 f1 instance_intro
Hiroshi Tokoyo
[CTO Night & Day 2019] グローバルのサービス展開に向けたマルチリージョンアーキテクチャ- #ctonight
[CTO Night & Day 2019] グローバルのサービス展開に向けたマルチリージョンアーキテクチャ- #ctonight
Amazon Web Services Japan
More Related Content
What's hot
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
Preferred Networks
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
Amazon Web Services Japan
Dockerからcontainerdへの移行
Dockerからcontainerdへの移行
Kohei Tokunaga
インフラエンジニアの綺麗で優しい手順書の書き方
インフラエンジニアの綺麗で優しい手順書の書き方
Shohei Koyama
AWSではじめるMLOps
AWSではじめるMLOps
MariOhbuchi
Amazon Game Tech Night #20 ゲームバックエンド開発関連セッションのre:cap
Amazon Game Tech Night #20 ゲームバックエンド開発関連セッションのre:cap
Amazon Web Services Japan
ログ解析基盤におけるストリーム処理パイプラインについて
ログ解析基盤におけるストリーム処理パイプラインについて
cyberagent
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
NTT DATA Technology & Innovation
AWSで作る分析基盤
AWSで作る分析基盤
Yu Otsubo
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
Tetsutaro Watanabe
DockerとPodmanの比較
DockerとPodmanの比較
Akihiro Suda
Docker Compose 徹底解説
Docker Compose 徹底解説
Masahito Zembutsu
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
Yahoo!デベロッパーネットワーク
僕がつくった 70個のうちの48個のWebサービス達
僕がつくった 70個のうちの48個のWebサービス達
Yusuke Wada
本当は恐ろしい分散システムの話
本当は恐ろしい分散システムの話
Kumazaki Hiroki
トランザクションの設計と進化
トランザクションの設計と進化
Kumazaki Hiroki
Apache Arrow - データ処理ツールの次世代プラットフォーム
Apache Arrow - データ処理ツールの次世代プラットフォーム
Kouhei Sutou
Git超入門_座学編.pdf
Git超入門_座学編.pdf
憲昭 村田
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Amazon Web Services Japan
アジャイル開発のためのDatadog
アジャイル開発のためのDatadog
Nobuyasu Seki
What's hot
(20)
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
[Aurora事例祭り]Amazon Aurora を使いこなすためのベストプラクティス
Dockerからcontainerdへの移行
Dockerからcontainerdへの移行
インフラエンジニアの綺麗で優しい手順書の書き方
インフラエンジニアの綺麗で優しい手順書の書き方
AWSではじめるMLOps
AWSではじめるMLOps
Amazon Game Tech Night #20 ゲームバックエンド開発関連セッションのre:cap
Amazon Game Tech Night #20 ゲームバックエンド開発関連セッションのre:cap
ログ解析基盤におけるストリーム処理パイプラインについて
ログ解析基盤におけるストリーム処理パイプラインについて
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
え、まって。その並列分散処理、Kafkaのしくみでもできるの? Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
AWSで作る分析基盤
AWSで作る分析基盤
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
JapanTaxiにおけるML Ops 〜機械学習の開発運用プロセス〜
DockerとPodmanの比較
DockerとPodmanの比較
Docker Compose 徹底解説
Docker Compose 徹底解説
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
At least onceってぶっちゃけ問題の先送りだったよね #kafkajp
僕がつくった 70個のうちの48個のWebサービス達
僕がつくった 70個のうちの48個のWebサービス達
本当は恐ろしい分散システムの話
本当は恐ろしい分散システムの話
トランザクションの設計と進化
トランザクションの設計と進化
Apache Arrow - データ処理ツールの次世代プラットフォーム
Apache Arrow - データ処理ツールの次世代プラットフォーム
Git超入門_座学編.pdf
Git超入門_座学編.pdf
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
Kinesis + Elasticsearchでつくるさいきょうのログ分析基盤
アジャイル開発のためのDatadog
アジャイル開発のためのDatadog
Similar to 20201008 AWS独自設計推論チップInferentiaとInf1インスタンス
20200729 f1 instance_intro
20200729 f1 instance_intro
Hiroshi Tokoyo
[CTO Night & Day 2019] グローバルのサービス展開に向けたマルチリージョンアーキテクチャ- #ctonight
[CTO Night & Day 2019] グローバルのサービス展開に向けたマルチリージョンアーキテクチャ- #ctonight
Amazon Web Services Japan
2021 days opening
2021 days opening
Kameda Harunobu
[AWSマイスターシリーズ] AWS OpsWorks
[AWSマイスターシリーズ] AWS OpsWorks
Amazon Web Services Japan
20180717 AWS Black Belt Online Seminar AWS大阪ローカルリージョンの活用とAWSで実現するDisaster Rec...
20180717 AWS Black Belt Online Seminar AWS大阪ローカルリージョンの活用とAWSで実現するDisaster Rec...
Amazon Web Services Japan
はじめてのアマゾンウェブサービス @ JAWS DAYS 2014
はじめてのアマゾンウェブサービス @ JAWS DAYS 2014
Yasuhiro Horiuchi
[AWSマイスターシリーズ] AWS Elastic Beanstalk -Python編-
[AWSマイスターシリーズ] AWS Elastic Beanstalk -Python編-
Amazon Web Services Japan
20230418_JAWS-AIML-EC2-Trn1-Inf2.pdf
20230418_JAWS-AIML-EC2-Trn1-Inf2.pdf
TakeshiFukae
SAP on AWS最新情報とデジタルトランスフォーメーションに関する取組み
SAP on AWS最新情報とデジタルトランスフォーメーションに関する取組み
BeeX.inc
[最新版(12/5 最新版) が別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar A...
[最新版(12/5 最新版) が別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar A...
Amazon Web Services Japan
【12/5 最新版】AWS Black Belt Online Seminar AWS re:Invent 2018 アップデート情報
【12/5 最新版】AWS Black Belt Online Seminar AWS re:Invent 2018 アップデート情報
Amazon Web Services Japan
[最新版は別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar AWS re:Inven...
[最新版は別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar AWS re:Inven...
Amazon Web Services Japan
EC2 Deep Dive at CTO Night&Day 2016
EC2 Deep Dive at CTO Night&Day 2016
Yasuhiro Matsuo
Aws seminar-tokyo dan-jp-final-publish
Aws seminar-tokyo dan-jp-final-publish
awsadovantageseminar
Aws dan jp-final-publish
Aws dan jp-final-publish
awsadvantageseminar
AWSアップデート (2012-08-27 JAWS-UG 札幌 第7回 勉強会)
AWSアップデート (2012-08-27 JAWS-UG 札幌 第7回 勉強会)
Ryuichi Tokugami
KDDIにおけるAWS×アジャイル開発
KDDIにおけるAWS×アジャイル開発
Kazuya Suda
【 ヒカ☆ラボ 】LIFULL Home's androidアプリの開発の裏側について
【 ヒカ☆ラボ 】LIFULL Home's androidアプリの開発の裏側について
LIFULL Co., Ltd.
20201214 AWS Black Belt Online Seminar 2020 年 AWS re:Invent 速報 Part2
20201214 AWS Black Belt Online Seminar 2020 年 AWS re:Invent 速報 Part2
Amazon Web Services Japan
AWSによるサーバーレスアーキテクチャ
AWSによるサーバーレスアーキテクチャ
真吾 吉田
Similar to 20201008 AWS独自設計推論チップInferentiaとInf1インスタンス
(20)
20200729 f1 instance_intro
20200729 f1 instance_intro
[CTO Night & Day 2019] グローバルのサービス展開に向けたマルチリージョンアーキテクチャ- #ctonight
[CTO Night & Day 2019] グローバルのサービス展開に向けたマルチリージョンアーキテクチャ- #ctonight
2021 days opening
2021 days opening
[AWSマイスターシリーズ] AWS OpsWorks
[AWSマイスターシリーズ] AWS OpsWorks
20180717 AWS Black Belt Online Seminar AWS大阪ローカルリージョンの活用とAWSで実現するDisaster Rec...
20180717 AWS Black Belt Online Seminar AWS大阪ローカルリージョンの活用とAWSで実現するDisaster Rec...
はじめてのアマゾンウェブサービス @ JAWS DAYS 2014
はじめてのアマゾンウェブサービス @ JAWS DAYS 2014
[AWSマイスターシリーズ] AWS Elastic Beanstalk -Python編-
[AWSマイスターシリーズ] AWS Elastic Beanstalk -Python編-
20230418_JAWS-AIML-EC2-Trn1-Inf2.pdf
20230418_JAWS-AIML-EC2-Trn1-Inf2.pdf
SAP on AWS最新情報とデジタルトランスフォーメーションに関する取組み
SAP on AWS最新情報とデジタルトランスフォーメーションに関する取組み
[最新版(12/5 最新版) が別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar A...
[最新版(12/5 最新版) が別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar A...
【12/5 最新版】AWS Black Belt Online Seminar AWS re:Invent 2018 アップデート情報
【12/5 最新版】AWS Black Belt Online Seminar AWS re:Invent 2018 アップデート情報
[最新版は別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar AWS re:Inven...
[最新版は別にございます! Descriptionをご確認ください] AWS Black Belt Online Seminar AWS re:Inven...
EC2 Deep Dive at CTO Night&Day 2016
EC2 Deep Dive at CTO Night&Day 2016
Aws seminar-tokyo dan-jp-final-publish
Aws seminar-tokyo dan-jp-final-publish
Aws dan jp-final-publish
Aws dan jp-final-publish
AWSアップデート (2012-08-27 JAWS-UG 札幌 第7回 勉強会)
AWSアップデート (2012-08-27 JAWS-UG 札幌 第7回 勉強会)
KDDIにおけるAWS×アジャイル開発
KDDIにおけるAWS×アジャイル開発
【 ヒカ☆ラボ 】LIFULL Home's androidアプリの開発の裏側について
【 ヒカ☆ラボ 】LIFULL Home's androidアプリの開発の裏側について
20201214 AWS Black Belt Online Seminar 2020 年 AWS re:Invent 速報 Part2
20201214 AWS Black Belt Online Seminar 2020 年 AWS re:Invent 速報 Part2
AWSによるサーバーレスアーキテクチャ
AWSによるサーバーレスアーキテクチャ
Recently uploaded
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
sugiuralab
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
Recently uploaded
(14)
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
20201008 AWS独自設計推論チップInferentiaとInf1インスタンス
1.
© 2020, Amazon
Web Services, Inc. or its Affiliates. アマゾンウェブサービスジャパン株式会社 Annapurna Labs 常世 ⼤史 AWS独⾃設計推論チップInferentiaと Inf1インスタンス 〜 Compute x AI/ML 「EC2でマシンラーニング︕」〜
2.
© 2020, Amazon
Web Services, Inc. or its Affiliates. ⾃⼰紹介 名前︓常世 ⼤史 (とこよ ひろし) 所属︓アマゾン ウェブ サービス ジャパン 株式会社 アンナプルナラボ* 職務︓アンナプルナラボの技術拡販⽀援全般 • AWS Inf1, F1, ARMインスタンスの拡販、技術⽀援 • 国内外チップ外販ビジネスの技術⽀援 経歴︓外資半導体企業 FAE (Field Application Engineer)を経て、 2013年7⽉アンナプルナラボに参加。2015年2⽉の買収に 伴いAWSの⼀員となる。 好きなAWSサービス︓EC2 Inf1, F1, ARMインスタンス *アマゾン内半導体開発部⾨。 Inferentia推論専⽤チップやGraviton 64bit ARMプロセッサを開発
3.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Annapurna Labs – an Amazon Company since 2015 Graviton2 ARMプロセッサ m6g Inferentia ML推論チップ FPGA F1インスタンスNitroカード 10/22 (⽊) Compute x AWS Graviton2 「Armプロセッサによるコスト最適化」開催︕
4.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Agenda • AWS独⾃設計推論チップInferentiaとInf1インスタンス • AWS Neuron SDK • Inf1インスタンス利⽤事例 • まとめ
5.
© 2020, Amazon
Web Services, Inc. or its Affiliates. AWS独⾃設計推論チップInferentiaと Inf1インスタンス
6.
© 2020, Amazon
Web Services, Inc. or its Affiliates. 機械学習における運⽤コスト 機械学習のプロダクション運⽤では推論コストが⼤部分を占める AWS独⾃設計ASICによる推論コストの最適化 学習 (<10%) 推論 (>90%) ASIC GPU CPU コストパフォーマンス アプリケーション
7.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Amazon EC2 Inf1インスタンス紹介 機械学習の推論を⾼性能かつ低価格で実⾏するためのインスタンス • AWSが独⾃設計した機械学習推論チップAWS Inferentiaを搭載 • クラウド上で深層学習モデルを実⾏する上で最も低価格を実現 GPUインスタンスと⽐較し、推論処理当たり最⼤45%低価格 • ソフトウェアは主要な機械学習フレームワーク (TensorFlow, PyTorch, MXNet)とシームレスに統合、最⼩限のコード変更のみ ですぐに利⽤開始可能 AWS Inferentia AWSが独自設計した 高性能機械学習推論チップ EC2 Inf1インスタンス クラウド上で高速かつ低価格な 推論を実現 https://aws.amazon.com/ec2/instance-types/inf1/
8.
© 2020, Amazon
Web Services, Inc. or its Affiliates. 機械学習 推論⽤プロセッサ︓AWS Inferentia • AWSによる独⾃設計推論プロセッサ • 4 Neuronコア / チップ • チップ当たり最⼤128 TOPS (2,000 TOPS @24xlarge) • 2ステージ メモリハイアラーキー • ⼤容量オンチップ キャッシュとDRAMメモリ • FP16, BF16, INT8 データタイプをサポート • FP32で構築された学習モデルをBF16で実⾏可能 • ⾼速チップ間通信 https://aws.amazon.com/machine-learning/inferentia/ Inferentia Neuron コア cache Neuron コア cache メモリ Neuron コア cache Neuron コア cache メモリ メモリメモリ
9.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Neuronコア パイプライン - ⼤規模モデルを低遅延で推論 • ⼤規模モデルを低遅延で推論 Neuronコア間、チップ間をパイプラインモードで接続することにより、⼤規模モデルを各 オンチップキャッシュメモリ上に展開し、⾼スループット、低レイテンシを実現 Neuronコア パイプライン
10.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Inf1インスタンスの選択肢 • 4つのインスタンスサイズから選択可能 • 6xlarge、24xlargeでは複数のInferentiaチップを⾼速チップ間通信で接続 • インスタンス毎に1~16個のInferentia推論チップを搭載 • 最⼤100Gbpsのネットワークインタフェース • Amazon SageMaker, Amazon ECS, Amazon EKSからも利⽤可能 インスタンスサイズ Inferentia チップ数 vCPU メモリ (GiB) ストレージ EBS帯域 (Gbps) NW帯域 (Gbps) inf1.xlarge 1 4 8 EBS Only 最⼤ 3.5 最⼤ 25 inf1.2xlarge 1 8 16 EBS Only 最⼤ 3.5 最⼤ 25 inf1.6xlarge 4 24 48 EBS Only 3.5 25 inf1.24xlarge 16 96 192 EBS Only 19 100
11.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Amazon EC2 Inf1 インスタンスタイプ • 2020年10⽉現在11のリージョンにて利⽤可能 • ⽶国東部 (バージニア北部、オハイオ)、⽶国⻄部 (オレゴン)、欧州 (フランクフルト、 アイルランド、パリ)、アジアパシフィック (東京、シドニー、ムンバイ、シンガポール)、 南⽶ (サンパウロ) • Inf1インスタンスでは他のEC2同様、複数の⽀払いオプションを⽤意 • オンデマンド、リザーブドインスタンス、スポットインスタンス • Savings Planに対応 インスタンスサイズ オンデマンド スタンダード RI (1YR, 40%割引) スタンダード RI (3YR, 60%割引) inf1.xlarge $ 0.368/Hr $ 0.221/Hr $ 0.147/Hr inf1.2xlarge $ 0.584/Hr $ 0.351/Hr $ 0.234/Hr inf1.6xlarge $ 1.905/Hr $ 1.143/Hr $ 0.762/Hr inf1.24xlarge $ 7.619/Hr $ 4.572/Hr $ 3.048/Hr *2020年10⽉時点の⽶国東部 (バージニア北部)の価格
12.
© 2020, Amazon
Web Services, Inc. or its Affiliates. ML推論⽤途 - Inf1インスタンス 物体検出 ⾃然⾔語処理 パーソナライズ ⾳声認識 検索 不正検出
13.
© 2020, Amazon
Web Services, Inc. or its Affiliates. クラウド上のML推論でベストプライスパフォーマンスを提供 • EC2 Inf1インスタンスはG4インスタンスと⽐較し、約30%⾼いスループット、 推論処理当たり最⼤45%低価格を実現 ※BERTベースのモデルをTensorFlowで実⾏した結果 インスタンス タイプ スループット (Seq/Sec) OD価格 ($/Hr) 1M 推論当た りのコスト スループット Inf1 vs. G4 推論当たりのコスト Inf1 vs. G4 inf1.xlarge ~360 $0.368 $0.284 38% 向上 49% 削減 g4dn.xlarge ~260 $0.526 $0.562 インスタンス タイプ スループット (img/Sec) OD価格 ($/Hr) 1M 推論当た りのコスト スループット Inf1 vs. G4 推論当たりのコスト Inf1 vs. G4 inf1.xlarge 2,226 $0.368 $0.045 24% 向上 45% 削減 g4dn.xlarge 1,792 $0.526 $0.082 ⾃然⾔語処理 ※ResNet-50 モデルをTensorFlowで実⾏した結果画像分類
14.
© 2020, Amazon
Web Services, Inc. or its Affiliates. AWS Neuron SDK
15.
© 2020, Amazon
Web Services, Inc. or its Affiliates. AWS Neuron Inferentia上での⾼性能推論を実現するためのSDK github.com/aws/aws-neuron-sdk AWS Neuron サポートフォーラム forums.aws.amazon.com/forum.jspa?forumID=355 Neuron コンパイラ Neuron ランタイム プロファイリングツール 主要なフレームワークを全てサポート 各フレームワーク、Neuron SDKは DLAMI (AWS Deep Learning AMI)にプリインストール
16.
© 2020, Amazon
Web Services, Inc. or its Affiliates. AWS Neuron コンパイル Neuronコンパイラ(NCC) NEFFを出⼒ Neuronバイナリ (NEFF) デプロイ Neuronランタイム (NRT) プロファイル Neuronツール C:¥>code --version 1.1.1
17.
© 2020, Amazon
Web Services, Inc. or its Affiliates. 複数のモデルを 同時処理 Neuronコア グループ AWS Neuronコンパイラ 超低遅延と⾼いス ループットの両⽴ Neuronコア パイプライン FP32で学習済みの モデルを取り込み BF16へ⾃動変換 FP32オート キャスティング ⾃動的にニューラル ネットワークの演算 を最適化 スマート パーティショニング
18.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Neuron SDK リリース状況と今後のロードマップ September 22, 2020 リリース • YOLO v3, v4, VGG16 正式対応 • SSD300, BERT性能向上 • Neuronモニタ機能搭載 August 8, 2020 リリース • BERT性能向上 • Kubernetes スケジューラ拡張 • OpenPose (posenet) 正式対応 • PyTorch auto-partitioner 機能搭載 June 11, 2020 リリース • EKS のInf1対応に合わせた機能追加 • OpenPose PoseNet 限定対応 May 11, 2020 リリース • BERTlargeスループット等で⼤幅な性能向上 March 26, 2020 リリース • SSD300 正式対応 Github上で開発中の追加機能に関するロードマップを公開 https://github.com/aws/aws-neuron-sdk/projects/2
19.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Neuron GA以降の性能改善 TensorFlowを使⽤しエンドツーエンドでBERT-Large及びResNet50を実⾏した結果 0 500 1000 1500 2000 2500 3/12/2019 24/02/2020 24/04/2020 Images/Sec ResNet50 0 50 100 150 200 250 300 350 400 3/12/2019 24/02/2020 24/04/2020 Seq/Sec BERTLarge 60% 2X 2019/12 2020/02 2020/04 2019/12 2020/02 2020/04
20.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Blog: Deploying TensorFlow OpenPose on Inf1 https://aws.amazon.com/jp/blogs/machine-learning/deploying-tensorflow-openpose-on-aws-inferentia- based-inf1-instances-for-significant-price-performance-improvements/ • TensorFlow版OpenPoseをInf1上にデプロイし、G4dn上での実装とのコスト パフォーマンス⽐較を実施 • G4dnよりも良好な性能を保ちつつも画像1,000枚当たり72%低いコストを実現
21.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Blog: YOLOv4 model on AWS Inferentia https://aws.amazon.com/jp/blogs/machine-learning/improving-performance-for-deep-learning-based- object-detection-with-an-aws-neuron-compiled-yolov4-model-on-aws-inferentia/ • TensorFlow版YOLOv4をInf1上にデプロイし、G4dn上での実装とのコストパ フォーマンス⽐較を実施 • G4dnと⽐較し1.85倍のスループット、画像1M枚当たり37%低いコストを実現 • 60%低いレイテンシ、レイテンシの変動は最⼩限
22.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Inf1インスタンス利⽤事例
23.
© 2020, Amazon
Web Services, Inc. or its Affiliates. Amazon EC2 Inf1 インスタンス を使⽤した Amazon サービス 〜Alexa ⾳声合成〜 Alexaは⾃然な⾳声を⽣成する⾮常に複雑な⾳声合成 (Text to Speech)モデルを導⼊し、1億台を超える Alexaデバイスをグローバルに展開中 何千万⼈ものお客様へのサービスをさらに改善する ため、応答時間と機械学習インフラストラクチャの コストを継続的に改善していくことが重要
24.
© 2020, Amazon
Web Services, Inc. or its Affiliates. ニューラル⾳声合成(Text-to-Speech)のチャレンジ 対話システムに求められる低遅延 出⼒⾳声のストリーミングに求められる⾼スループット コンテキスト⽣成はSequence-to-Sequenceの⾃⼰回帰モデル 推論処理ではメモリ帯域が性能限界 ⾳声⽣成モデルの⾼い時間密度には⼀秒間の⾳声処理で90GFLOPsの演算量 が求められる 推論処理では演算性能が性能限界 EC2 GPUインスタンスを利⽤することで性能要求を満たすことは可能であ るが、結果的に⾼い運⽤コストとなっていた
25.
© 2020, Amazon
Web Services, Inc. or its Affiliates. EC2 Inf1へのマイグレーション - アーキテクチャ Inferentia1 Inferentia2 TTS Process Vocoder 2 Vocoder 4 Vocoder 1 Vocoder 3 コンテキスト ⽣成 NeuronCore グループで実⾏ Neuron Core cache Neuron Core パイプラインで実⾏ Neuron Core cache Neuron Core cache Neuron Core cache Neuron Core cache Neuron Core cache Neuron Core cache Neuron Core cache メモリ帯域が性能限界 演算性能が性能限界
26.
© 2020, Amazon
Web Services, Inc. or its Affiliates. 性能向上とコスト削減とを両⽴ 100% 100% 75% 126% 37% 81% 0% 20% 40% 60% 80% 100% 120% 140% ⾳声⽣成コスト レイテンシ P3 G4 Inf1 Inf1インスタンスを使⽤することで、推論レイテンシを改善しながら、GPU インスタンスよりも運⽤コストを約65%削減 低コスト
27.
© 2020, Amazon
Web Services, Inc. or its Affiliates. お客様の声 “Inf1インスタンスは⾼いパフォーマンスを提供し、推論モデルパイプラインの効率と効果 を向上させます。 移⾏に要する⼿間もなく、以前のGPUベースのパイプラインと⽐較し て、スループットが4倍向上し、パイプライン全体のコストが30%削減されています。" Yaroslav Shakula, Chief Business Development Officer, INGA Technologies “Amazon SageMakerを使⽤して、新しいAWS InferentiaベースのInf1インスタンスをリ アルタイムのクラウド検出と画像品質スコアリングに採⽤することは迅速かつ簡単でした。 インスタンスタイプをInferentiaベースのInf1に変更し、パフォーマンスを40%改善、全体 のコストを23%削減しました。 ” Adler Santos, Engineering Manager, SkyWatch “AI アプリケーションを⼤規模にデプロイするために必要なパフォーマンスとコスト構造が Inferentia によって得られると確信しているため、代替オプションを介して Inf1 インス タンスを積極的に評価しています。“ Hiroyuki Umeda, Director & General Manager, Sales & Marketing Group, Digital Media Professionals “PyTorchベースのテキスト要約AIアプリケーションをテストしました。 このアプリケー ションは、⼤量のテキストを処理し、過去30年間の記事でトレーニングされたヘッドライン と要約⽂を⽣成します。 Inferentiaを使⽤して、CPUベースのインスタンスよりもコストを 1桁削減しました。 この劇的なコスト削減により、以前は経済的に実現可能ではないと信じ ていた複雑なモデルを⼤規模に展開できるようになります。” Hideaki Tamori, PhD, Senior Administrator, Media Lab, The Asahi Shimbun Company https://aws.amazon.com/ec2/instance-types/inf1/#Customer_Testimonials
28.
© 2020, Amazon
Web Services, Inc. or its Affiliates. まとめ
29.
© 2020, Amazon
Web Services, Inc. or its Affiliates. まとめ • AWS独⾃開発の推論プロセッサAWS Inferentiaにより、推論ワーク ロードを⾼スループットかつ低遅延、低価格で実⾏ • AWS Inferentiaを搭載したInf1インスタンスはG4インスタンスと⽐ 較し、推論処理当たり最⼤45%低価格を実現。クラウド上でのML推 論でベストプライスパフォーマンスを提供 • Inferentia上での⾼性能推論を実現するためのAWS Neuron SDKを 提供。定期アップデートにより性能改善、機能追加を継続実施
30.
© 2020, Amazon
Web Services, Inc. or its Affiliates. 参考情報 https://aws.amazon.com/jp/machine-learning/inferentia/ https://aws.amazon.com/ec2/instance-types/inf1/ https://github.com/aws/aws-neuron-sdk https://ec2-inf1.workshop.aws/ja/ https://forums.aws.amazon.com/forum.jspa?forumID=355
Download now