Teslaにおけるコンピュータビジョン技術の調査 (2)

Mobility Technologies Co., Ltd.
Teslaにおけるコンピュータビジョン技術の調査 (2)
- Tesla AI Day 2022 -
2022/11/24
Mobility Technologies 宮澤一之

Confidential
2
自己紹介
宮澤一之
株式会社Mobility Technologies
AI技術開発部 AI研究開発第二グループ
グループリーダー
経歴
April 2019 - March 2020
AI研究開発エンジニア@DeNA
April 2010 - March 2019
研究員@三菱電機
March 2010
博士@東北大学
@kzykmyzw

■ TeslaにおけるAI技術開発について発表するイベント
■ Teslaの技術発表イベントは毎年名前を変えていたがAI Dayは2年連続
■ 2022 Tesla AI Day
■ 2021 Tesla AI Day
■ 2020 Tesla Battery Day
■ 2019 Tesla Autonomy Day
■ AI人材の採用が主な目的であり、非常に専門的な発表がされることが特徴
Tesla AI Dayとは？
3

Tesla AI Dayとは？
4

コンピュータビジョン技術に関するまとめ（〜2021）
5
https://www.slideshare.net/KazuyukiMiyazawa/tesla-250957016

One more thing... in 2021
6
https://www.youtube.com/watch?v=j0z4FweCy4M&t=7594s
ヒューマノイドロボットの開発が発表され、ロボットのコスプレをした人が踊る演出に聴衆が困惑

Optimus in 2022
7
https://www.youtube.com/watch?v=ODSJsviD_SU&t=1052s
半年で試作機を完成させ、二足歩行をデモ
Teslaに搭載されているのと同
じFSDコンピュータ

Optimus in 2022
8
■ イベントでは約1時間を費やしOptimusのハードウェアやソフトウェアを解説
■ これまでにTeslaの車両向けに開発してきた技術の多くをほぼそのまま流用
■ コンピュータビジョン技術ではあまり新しい点がないため本資料では割愛

■ 2021年は2000だったFSDのカスタマー数が2022年は16万へ
■ 1年で約75000個のNNを学習し、281個をデプロイ
■ プルリク数は18000を超える
ここ1年の Full Self Driving (Beta) 開発
9
7~8分に1個のペースでモデルを作っている

FSDの構成要素
10
Training Data
Auto Labeling
Simulation
Data Engine
Neural Networks
Occupancy
Lanes & Objects
Planning
Training Infra
AI Compiler & Inference
✅ ✅
✅
✅ 本資料の範囲

FSDの構成要素
11
Training Data
Auto Labeling
Simulation
Data Engine
Neural Networks
Occupancy
Lanes & Objects
Planning
Training Infra
✅ ✅
✅

■ 空間をグリッドに分割し、グリッドごとに障害物による占有確率を保持
■ 占有確率をセンサの観測値とノイズ量を踏まえてベイズ理論により更新
Occupancy Grid Map
12
センサ
障害物の存在確率高
障害物の存在確率低

Tesla車両におけるOccupancy Grid Map
13
■ 8つのカメラで車両周囲の3次元Occupancy Grid Mapを生成
■ 各グリッドは占有確率だけでなく車両や歩行者といったセマンティクスも持つ
■ FSDコンピュータで10ミリ秒ごとに生成し、時間方向のフローも計算

ネットワーク構成
14
Multicam Query
Embedding
Rectify RegNets BiFPNs
Attention
Key
Value
Key
Value
Key
Value
Spatial Query
Spatial Features
Temporal Context
Spatial
Frame
Alignment
Deconvolutions
t - 1
t - 2
t - 3
…
…
MLP
MLP
Continuous
Occupancy
Probability
Continuous
Semantics
Occupancy
Occupancy
Flow
Sub-Voxel Shape
Information
3D Semantics
Spatiotemporal
Features
12bit/pix

15
Multicam Query
Embedding
Attention
Key
Value
Key
Value
Key
Value
Spatial Query
Spatial Features
Temporal Context
Spatial
Frame
Alignment
Deconvolutions
t - 1
t - 2
t - 3
…
…
MLP
MLP
Continuous
Occupancy
Probability
Continuous
Semantics
Occupancy
Occupancy
Flow
Sub-Voxel Shape
Information
3D Semantics
Spatiotemporal
Features
各カメラ画像から特徴を抽出
12bit/pix

16
Multicam Query
Embedding
Attention
Key
Value
Key
Value
Key
Value
Spatial Query
Spatial Features
Temporal Context
Spatial
Frame
Alignment
Deconvolutions
t - 1
t - 2
t - 3
…
…
MLP
MLP
Continuous
Occupancy
Probability
Continuous
Semantics
Occupancy
Occupancy
Flow
Sub-Voxel Shape
Information
3D Semantics
Spatiotemporal
Features
マルチカメラの情報をフュージョン
12bit/pix

17
Multicam Query
Embedding
Attention
Key
Value
Key
Value
Key
Value
Spatial Query
Spatial Features
Temporal Context
Spatial
Frame
Alignment
Deconvolutions
t - 1
t - 2
t - 3
…
…
MLP
MLP
Continuous
Occupancy
Probability
Continuous
Semantics
Occupancy
Occupancy
Flow
Sub-Voxel Shape
Information
3D Semantics
Spatiotemporal
Features
車両の軌跡を使って過去フレームの情報を
現在フレームにフュージョン
12bit/pix

18
Multicam Query
Embedding
Attention
Key
Value
Key
Value
Key
Value
Spatial Query
Spatial Features
Temporal Context
Spatial
Frame
Alignment
Deconvolutions
t - 1
t - 2
t - 3
…
…
MLP
MLP
Continuous
Occupancy
Probability
Continuous
Semantics
Occupancy
Occupancy
Flow
Sub-Voxel Shape
Information
3D Semantics
Spatiotemporal
Features
特徴量から出力データを生成
MLPに任意座標を
入力し、占有率とセ
マンティクスを得る
12bit/pix

路面形状の推定
19
■ Occupancy Grid Map生成時に路面の3次元形状も推定
■ 下り坂などにおいて減速できるよう制御時に利用

NeRFとの融合
20
ネットワークから出力されたボリュームデータをNeRFへの入力とする

FSDの構成要素
21
Training Data
Auto Labeling
Simulation
Data Engine
Neural Networks
Occupancy
Lanes & Objects
Planning
Training Infra
✅ ✅
✅

レーン検出における課題
22
■ 初期においてはインスタントセグメンテーションによりレーンを検出していた
■ 複雑な道路形状に対してはうまく検出できないという課題があった
■ 複雑なシーンにおいても一連のレーンを検出し接続関係を知る必要がある

23
各カメラからの特徴抽出、マルチカメラの
フュージョン、時間方向のフュージョンは
Occupancy Grid Map生成と共通
Lane Guidance
Module
Navigation Map
Autoregressive
Decoder
Lane Instances
Adjacency Matrix

地図に含まれる情報を追加でエ
ンコードする
● 道路レベルの構造
● ナビルート
● レーン数・構造
● バスレーンか否か
● etc
24
Lane Guidance
Module
Navigation Map
Autoregressive
Decoder
Lane Instances
Adjacency Matrix

レーン構造の理解を画像キャプ
ショニングの問題と捉え、言語モ
デルを使って解く
25
Lane Guidance
Module
Navigation Map
Autoregressive
Decoder
Lane Instances
Adjacency Matrix

予測対象 -レーングラフ-
26

言語モデルによるレーングラフ推定
27
Vector Space Encoding
Self Attention
Cross Attention
Self Attention
Point Predictor
Cross Attention
Self Attention
Topology Type Predictor
Spline Coefficient Predictor
Cross Attention
Self Attention
Fork Point Predictor
Merge Point Predictor
“Language of Lanes”

28
Self Attention
Cross Attention
Self Attention
Point Predictor
Cross Attention
Self Attention
Cross Attention
Self Attention
index: 31
グリッド分割された空間のインデック
スとしてノード位置を推定（実際には
coarse-to-fineに行う）

29
Self Attention
Cross Attention
Self Attention
Point Predictor
Cross Attention
Self Attention
Cross Attention
Self Attention
index: 31
“Start”
ノードの接続タイプを推定（この場合
は ”Start” で開始位置を表す）

30
Self Attention
Cross Attention
Self Attention
Point Predictor
Cross Attention
Self Attention
Cross Attention
Self Attention
index: 31
“Start”
ノードの属性を推定（開始位置のため
属性はなし）
<null>
<null>
<null>

31
Self Attention
Cross Attention
Self Attention
Point Predictor
Cross Attention
Self Attention
Cross Attention
Self Attention
index: 31
“Start”
<null>
<null>
<null>
Embed
Embed
Embed
Embed
それぞれの出力をエンコードしたものを結合
したテンソルをレーングラフを表す言語の
Wordとする

32
Self Attention
Cross Attention
Self Attention
Point Predictor
Cross Attention
Self Attention
Cross Attention
Self Attention
index: 22
同様の処理を繰り返し、次のノード位
置を推定

33
Self Attention
Cross Attention
Self Attention
Point Predictor
Cross Attention
Self Attention
Cross Attention
Self Attention
index: 22
“Continue” 直前のレーンからの「継続」

34
Self Attention
Cross Attention
Self Attention
Point Predictor
Cross Attention
Self Attention
Cross Attention
Self Attention
index: 22
“Continue”
<null>
<null>
Mx1, Mx2, …
レーン形状を表すスプライン曲線の
係数を推定

35
Self Attention
Cross Attention
Self Attention
Point Predictor
Cross Attention
Self Attention
Cross Attention
Self Attention
index: 22
“Continue”
<null>
<null>
Mx1, Mx2, …
Embed
Embed
Embed
Embed

36
Self Attention
Cross Attention
Self Attention
Point Predictor
Cross Attention
Self Attention
Cross Attention
Self Attention
index: 16
“Continue”
<null>
<null>
Mx1, Mx2, …
Embed
Embed
Embed
Embed
推定対象エリアの終端に達するまで同様の
処理を繰り返す

37
Self Attention
Cross Attention
Self Attention
Point Predictor
Cross Attention
Self Attention
Cross Attention
Self Attention
index: 29
“Fork” 他のノードからの「分岐」

38
Self Attention
Cross Attention
Self Attention
Point Predictor
Cross Attention
Self Attention
Cross Attention
Self Attention
index: 29
“Fork”
index: 0
<null>
Mx1, Mx2, …
分岐元となるノードのインデックスを推
定

39
Self Attention
Cross Attention
Self Attention
Point Predictor
Cross Attention
Self Attention
Cross Attention
Self Attention
index: 29
“Fork”
index: 0
<null>
Mx1, Mx2, …
Embed
Embed
Embed
Embed

40
Self Attention
Cross Attention
Self Attention
Point Predictor
Cross Attention
Self Attention
Cross Attention
Self Attention
“End of sentence”
…
…
…
…
…
…
…
全ての推定が終了

レーングラフ推定
41

FSDの構成要素
42
Training Data
Auto Labeling
Simulation
Data Engine
Neural Networks
Occupancy
Lanes & Objects
Planning
Training Infra
✅ ✅
✅

いかにしてレーングラフの教師ラベルを作成するか
43
■ 手動・自動ラベリングの工夫により、年を追うごとにスループットが100倍に
■ 現在は複数の走行データで走行空間を再構成することで自動ラベリングを実施
■ 手動で500万時間を要した走行データ1万件のラベリングがクラスタで12時間

複数の走行データによる走行空間の再構成
44
■ 各走行データにおいて、カメラとIMUを使ったVisual-Inertial Odometryにより車両の
高精度な軌跡と路面の3次元形状を推定
■ 同エリアの推定結果を大量に統合することで広範なエリアをもれなく再構成
■ 最後に人間が結果を確認・修正
車両

新たな走行データに対する自動ラベリング
45
■ 再構成が完了したエリアでは新たな走行データに対して自動的にレーングラフをラベ
リング
■ 1つの走行データに対する処理時間は約30分（手動ラベリングだと数時間）
■ 手動ラベリングが難しい悪条件のデータでも正確なラベリングが可能
車両
自動生成されたラベル

FSDの構成要素
46
Training Data
Auto Labeling
Simulation
Data Engine
Neural Networks
Occupancy
Lanes & Objects
Planning
Training Infra
✅ ✅
✅

シミュレータによるデータ生成
47
■ レーングラフのラベルデータからシミュレーションによりデータを自動生成
■ サンフランシスコ全域の道路のデータを一人で2週間で生成可能
■ レーングラフを編集することでさらにバリエーションを増やせる

単一のレーングラフからの多様なシーンの生成
48

FSDの構成要素
49
Training Data
Auto Labeling
Simulation
Data Engine
Neural Networks
Occupancy
Lanes & Objects
Planning
Training Infra
✅ ✅
✅

認識困難なシーンのマイニング
50
■ 例えば曲がり角の駐車車両は右左折のために待機中の車両との区別が難しい
■ 当該シーンを収集済みデータからマイニングして126件を検証データ、13900件を学
習データに追加
■ エンジニアリングコストをかけることなくデータの追加が可能
駐車車両を曲がり角で
待機中の車両と誤認識

データエンジン
51

FSDの構成要素
52
Training Data
Auto Labeling
Simulation
Data Engine
Neural Networks
Occupancy
Lanes & Objects
Planning
Training Infra
✅ ✅
✅

Dojo Cabinet
53
■ 機械学習に特化した自社開発のD1 Chipを使ったクラスタDojoを開発中
■ D1 Chipを25個並べたTraining Tileを6個並べたSystem Trayを2個並べたDojo
Cabinetを試作
■ 試験で2Mワットの電流を流し、変電所をダウンさせて市から怒られる
Training Tile
System Tray

性能
54
■ BatchNormで必要となるプロセッサ間通信における遅延はGPUの1/30
■ NVIDIA A100比で自動ラベリングは3.2倍、Occupancyは4.4倍高速化（予定）
■ 1つのTraining Tileで6GPU BOX分の性能に匹敵し、コストは1GPU BOX以下

ExaPOD
55
■ Dojo Cabinetを並べたExaPODで1.1 EFLOPSの計算性能を実現
■ ExaPODは2023年Q1稼働予定で、さらに将来的にExaPODを7つに増やす

■ 昨年のAI Dayからの差分としてOptimusが目立っていたものの、FSDの性能改善に向
けてソフト・ハード両面で大きく進歩している
■ 垂直統合型企業の強みを最大限に生かし、最適化やスケーラビリティを徹底的に突
き詰めている（そしてスケールのレベルが尋常じゃない）
■ レーン検出をセグメンテーションから言語モデルに切り替えるなど、既存の枠組みを
大きく変えるチャレンジもしている（実際にはゼロから作り直すようなことはせず、既
存のバックボーンモデルの流用など少ないエンジニアリングコストで切り替えることが
できているはず）
■ Dojoが完成したら機械学習に特化したクラウドサービスやりそう（質疑応答でもElon
Muskが匂わせ）
まとめ
56

文章·画像等の内容の無断転載及び複製等の行為はご遠慮ください。
57

Teslaにおけるコンピュータビジョン技術の調査 (2)

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Teslaにおけるコンピュータビジョン技術の調査 (2)

Similar to Teslaにおけるコンピュータビジョン技術の調査 (2) (20)

More from Kazuyuki Miyazawa

More from Kazuyuki Miyazawa (10)

Teslaにおけるコンピュータビジョン技術の調査 (2)