More Related Content Similar to Tier Ⅳ Tech Meetup #2 - 自動運転を作るのはCloudシステムの集合体?? 活用技術を大解剖 - (20) Tier Ⅳ Tech Meetup #2 - 自動運転を作るのはCloudシステムの集合体?? 活用技術を大解剖 -1. 株式会社 ティアフォー 技術本部
関谷 英爾 飯田 祐希
自動運転を作るのはCloudシステムの集合体??
活用技術を大解剖
August 19, 2020
Tier Ⅳ Tech Meetup #2
3. Twitter: @eratostennis
自己紹介
技術本部 Director of Engineering
業務内容
- Cloudシステム開発全般のマネジメント
経験
- Operations Research
- データ分析(ルール抽出)
- データ基盤(Hadoopエコシステム)
- 機械学習強化学習(強化学習、レコメンドシステム)
- IoTシステム開発
『 Tier IV 』にJOINした理由
● 産学連携での研究開発のチャレンジ
● 様々な技術スタック・バックグラウンドを持つメンバーとの融合
● 自動運転市場の大きさとベンチャーの機動力
『 Tier IV 』でチャレンジしたいこと
● 高い技術力で自動運転の社会実装を
● サービス・技術に真摯なチームビルディング・環境構築
関谷 英爾 Eiji Sekiya
4. Twitter: @u_ki49
自己紹介
技術本部 Product Owner of FMS & Drive
業務内容
- FMS & DriveのProduct Owner
- ラストマイルモビリティMilee Serviceの開発リード
経験
- 運行管理システム(Fleet Management System)の開発
- 遠隔監視・操縦システムの開発
- 自動運転地図基盤の開発
- 分散処理(GPGPU / Hadoop)
『 Tier IV 』にJOINした理由
● 自動運転技術を用いて社会問題を本気で解決しようとしている
● Autowareを軸に様々な分野・業界を超えて新しいビジネスができる
● 多種多様な技術(hardware, web, algorithm, ...)に触れることができる
『 Tier IV 』でチャレンジしたいこと
● 自動運転の価値をユーザまで届けたい (社会問題の解決)
● OSSであるAutowareを使って誰でも自動運転技術を使った新たなサービスを開発できるようにしたい
飯田 祐希 Yuki Iida
8. ティアフォー概要
加藤真平 SHINPEI KATO
FOUNDER | CTO
THE AUTOWARE FOUNDATION | FOUNDER & CHAIRMAN
東京大学 大学院情報理工学系研究科 准教授、名古
屋大学未来社会創造機構客員准教授、株式会社ティ
アフォー 創業者兼CTO、The Autoware Foundation 代
表理事。博士 (工学)。
2004年慶応義塾大学理工学部情報工学科卒業、
2008年同大学院理工学研究科 開放環境科学専攻 後
期博士課程修了。カーネギーメロン大学、カリフォルニ
ア大学の研究員、名古屋大学大学院 情報科学研究科
准教授を経て、現職。
専門はオぺレーティングシステム、組込みリアルタイム
システム、並列分散システム。
会社名 :株式会社ティアフォー (Tier IV, Inc.)
設立 :2015年12月
累計調達額:約175億円
開発拠点 :東京オフィス(東京都品川区北品川)
名古屋大学
役職員数 :グループ全体 220名以上 ※パートタイマー含む
(内 ティアフォー単体 160名以上)
事業概要 :自動運転システムの開発及びプラットフォーム事業
『 Tier IV 』に込めた思い...
自動車業界はその登場以来 OEM(自動車メーカー)を頂点とし、
ティア1、ティア2..と呼ばれる下請け、孫請けの部品メーカーがそれ
を支える業界構造で発展してきました。
自動運転の時代には、自動運転を「民主化」し、誰もがその発展に
貢献しながらメリットを享受してほしい ...
その思いが IV( Intelligent Vehicle )に込められています。
9. ティアフォーとは?
Who is Tier IV?
ティアフォーは自動運転ディープテックである。
ディープテックとは「社会にインパクトを与える技術」
であり、具体的には以下の4つの要素の掛け合わせ
を意味する。
1. 最先端の科学技術、または研究開発を基
礎とした技術がある。
2. 実現までに高いスキルと非常に多額の投
資額と長い時間がかかる。
3. 多くの場合、具体的な製品・サービスが見
えていない。
4. 成功した場合のインパクトが非常に大き
く、破壊的ソリューションとなり得る可能性
を秘めている。
自動運転の価値を生み出し、最先端技術の研究開
発を進め、勝ち続けるオープンエコシステムを構築す
る。
創造と破壊:だれもやったことのないやりかたで、だ
れもやったことのないことをやる。既存の価値を壊
すのは繊細に。新しい価値を創るのは大胆に。
Disrupt Values. Create Values.
The DeepTech
自動運転の民主化:自動運転に資するあらゆるテク
ノロジーを開放し、様々な組織、個人がその発展に
貢献できる持続的なエコシステムを構築する。
Intelligent Vehicles For Everyone.
Mission
存在意義
Vision
目指す姿
11. ティアフォー現在の体制
㈱ティアフォー
ティアフォーX 技術本部 事業本部 管理本部 経営企画室
最先端技術の
研究開発
Autoware開発
サービス開発
技術コンサル
リサーチ 等
事業戦略策定
マーケティング&セールス
事業開発
プロジェクト管理
業務提携 等
財務・会計・税務
総務・人事
営業事務
IT 等
株主総会・取締役
会・経営会議運営
本部横断事項 等
Autoware
Foundation
Autowareの開発および普及
世界各地の約 50社が主導
してプロジェクトを推進
戦略的協業
パートナー
開発支援
海外顧客開拓
戦略的
グループ会社
(地図)
(AI)
(システム) (VR)
(AI/DL) (認識)
(実証実験)
ティアフォー役職員数:160名以上 ※パートタイマー含む
(エンジニア比率:約80%)
※正社員・契約社員所属人数
12. © 2019 Tier IV Inc. All rights
reserved.
滋賀県草津市
(大学キャンパス)
セントレア
(空港)
愛知県一宮市
(5G)
愛知県豊橋市
(テーマパーク)
東京都お台場 (臨海・観光)
神奈川県横須賀市 (リサーチパーク)
東京都江東区
(商業施設)
仙台空港
(空港)
大阪府
(鉄道車両基地)
東京都新宿区 (遠隔監視・保険)
長野県飯田市
(VR連動)
東京都三宅島 (離島・観光)
愛・地球博
記念公園
(公園)
日本郵便
(物流)
エコパ
(スタジアム)
山口県宇部市
(道の駅)
大津市
(道の駅)
豊田市
(道の駅)
大阪府堺市
(無線充電)
2018年下期以降に
ティアフォーが支援した実証実験
これまでに国内で実施した実
証実験
累計実施回数 : 70回
走行場所 : 18都道府県50市区町村
事故件数 : ゼロ
(2019年末時点)
ティアフォーの実績
国内のさまざまな地域で多様なシナリオの実証実験を展開
13. © 2019 Tier IV Inc. All rights
reserved.
シリコンバレー
ピオリア
天津
バンコク
ティアフォーの海外活動(抜粋)
ハノイ
テルアビブ
アメリカ
香港 台湾
中国自動車技術研究センター(CATARC)が
主催する世界的な自動運転カンファレンスで
基調講演を実施。自動運転コンペティションで
も完走を収める
米国運輸省に属する連邦道路庁が推進す
る交通システム「CARMA」において、
Autowareが自動運転プラットフォームとして
採用決定。現在、実際の車両を用いた走行
実験を実施中
ASEANのイベントの一環として、バンコ
クの工業団地でのゴルフカートデモを支
援。大臣など政府高官の試乗も実施
海外でのプレゼンスを拡大中 北米・アジアを中心に実証実験を支援
ティアフォーの実績
20. Tier IV Vision
Intelligent Vehicles For Everyone.
自動運転に資するあらゆるテクノロジーを解放し、
様々な組織、個人がその発展に貢献できる持続的な
エコシステムを構築する
Web.Auto Vision
Intelligent Vehicle Solutions For Everyone.
IoT・Cloud技術を用いて、様々な組織・個人が簡単
に自動運転テクノロジーにすぐにアクセスでき、その
技術で抱えている課題を解決する基盤を提供する .
Vision
2. Web.Auto
21. Tools
2. Web.Auto
1. Autoware開発の加速
2. コミュニティでの開発サポート
3. 品質の高い開発を実現
実車試験をせずに複雑に絡みあう自動運転機
能の様々な動作確認ができます。
シナリオの共有をすることで、ワールドワイド規
模のコミュニティで同じ条件のテストが可能にな
ります。
一回起きた問題をリグレッション項目としてシナ
リオやログを登録することで問題の再発が防げ
ます。
Enable efficient high quality
development
効率的で高品質な開発を可能に
22. FMS & Drive
2. Web.Auto
1. 自動運転のMaaSビジネスを加速させる
2. 自動運転システム(Autoware)を常に最新に
3. 安心・安全なオペレーションを実現
Autoware FMSのConsoleにより最低限の運行
管理が可能。さらにAPIを利用しすることでMaaS
ビジネスを始めることが可能です。
Autoware FMS管理下にある車両は、セキュリ
ティが担保され、常に最新のAutowareを利用す
ることができます。
FMS Console, Driveなど自動運転車の運行を安
全に実施する上で必要な機能が備わっていま
す。
To make moving around more valuable
with self-driving vehicles
自動運転車で人とモノの移動をより便利で豊かにする。
23. Web.Auto体制
2. Web.Auto
約30人の体制
- Backend 12名
- Frontend 6名
- Designer 1名
- IoT, Edge 2名
- Simulator 5名
- Management 3名
Webサービス開発会社に近い雰囲気.
幅広い年代のエンジニアがおり、バックグラウンドは自動
車メーカー出身者は少なく、Web関連会社からの転職が
多い
体制
チーム横断して定期的に勉強会を開催
チーム毎でも、課題解決型・論文調査などチームに合わせ
た勉強会を適宜実施
勉強会
普段は、基本的にチーム別にリリースを実施.
四半期に1度全員が集まって、図にあるようなプロセスを回す仕組みを一
通り回して全員で理解度を深めている.
結合会
引用: Tier IV Safety Report 2020
25. Backlog Refinement
- 20 min per story
- 1 hour
Sprint Planning
- 1 hour
Sprint
1 week
Sprint Review
- 30 min/week
Sprint
Retrospective
- YWT
- 1 hour/week
Daily Scrum
- Every morning
- 2min per person
- 10 min
Regression Test
Release
2 weeks
開発プロセス
2. Web.Auto
※ チーム毎に多少違いがあります
26. Tools FMS & Drive
人数が少ない中で採用技術が増えすぎないように、これまで利用したことのないクラウドサービスや言語を選ぶ際に技術選
定会を実施
開発生産性・技術信頼性・コスト・セキュリティなどいくつかの項目で選定する技術を評価
Fargate Lambda Batch
Aurora DynamoDB Neptune
X-Ray IoT SageMaker
Glue
Athena
Kinesis
Firehose
技術スタック
2. Web.Auto
27. FMS Console
Calls Go
FMS API
Stats
Vehicles
Scheduler
Maps
Autoware Adapters
FMS Agent
User Service layer
Core Service layer
Edge layer
Data
Tier IV
Other
Monitor
Drive App
Scenarios
CI Pipeline
Firmwares
Scenario
Editor
他社システム
Vector Map
Builder
OTA Agent Monitor Agent
Autoware.T4B Adapters
CI Dashboard
Planning Sim Log Sim E2E Sim
Test Report
Tools FMS & Drive
Control
Control Agent
Tier IV
Account
Web.Auto Building Block
2. Web.Auto
29. Dynamic Object
Traffic Light
Detection Classifier
Mission
Scenario Selector
Control
Localization
Sensing Map Data Vehicle Interface
Sensors
Lane
Driving
Parking Etc.
Scenario
PlanningPerception
Detection Tracking Prediction
Vehicle
35. 自動運転の開発サイクルの高速化
検証結果の見える化
コスト効率アップの取り組み
Field Test &
Data Collection
Firmware
Scenarios
FieldData
Scenario
Editor Issues
OTA Update
Probe Data
BAG
Simulations
CI/CD基盤の重要性
3. Tools
WebのAPIサーバーとは違い、様々な検証を行う必要があ
り、全てを実施するのに多大な時間が必要となる
並列にシミュレーションを実施することでスループット改善
が必要
シミュレーションした結果が、単純なテストと異なり定量的
判断だけでは難しい場合がある
実施内容をすぐに走行シーンを映像と共に振り返り可能に
し、深い洞察を得られるようにする必要がある
膨大なテストケースを捌く必要があり、コスト効率をよくす
る必要がある
37. OTA Package
Map
パラメータスイープ
Batch Job を登録
スポットインスタンス上
で実行
Code
シナリオ単位
で分散 テスト分散
Docker Image Batch
S3
S3DynamoDB
DynamoDBECR
ECR
CodeBuild Lambda
GitHub
Docker Image
Base Docker Image Test Scenarios
Test Report
CI/CD基盤のアーキテクチャ
3. Tools
38. Batch Computing Environment / ECS Cluster
EC2 Instances
Batch Job / ECS Task
EBS / Docker Layer Storage
ECS Container Agent systemd-tmpfiles
tmpfs
Docker Container
Docker Image
Base Docker
Image
PCD Map Vector Map
Batch Job / ECS Task
Docker Container
ライフサイクル管理
保存 / 取得
ライフサイクル管理
保存 / 取得
ベースイメージはクリーンアップしないなどのECS
Container Agentのチューニング.
敢えて、ベースイメージを中間レイヤーではなく、明示
的なイメージとして管理.
Docker Layer Cache
ホストマシンのボリュームに置くことで、Job間で再利
用.
ディスクフルを避けるためにtmpfsを利用.
Map Cache
工夫している点 ①
3. Tools
39. 工夫している点 ②
3. Tools
スポットインスタンスを利用することで、利用しない場合と比較しコス
トを1/4に. 強制終了時はリトライ.
Spot Instance
OTAを軽くするために、前回OTAパッケージとの差分管理.
OTAアップデート時の通信量削減.
Delta Package Management
開発が過渡期で複数のFirmware(ROS, ROS2など)の管理が必要.
Firmware依存部分をプラガブルにし、開発・管理効率改善.
Firmware依存処理のプラグイン化
Delta Package Management (colcon-bundle)
引用: AWS RoboMakerでROSアプリケーションのビルドとバンドルをおこなう
41. 実車検証とSimulator検証の比較効率化.
機械学習の学習自動化・評価可視化.
コード品質の計測・可視化.
Simulator以外の取り組み
シナリオ記述の工数削減のためのシナリオ自動生成、検証効
率を上げるためのコーナーケースの抽出など、論文調査と合
わせて応用方法の議論・プロトタイプ.
評価方法の最先端調査・実装
チャレンジ
3. Tools
論文調査① シナリオパラメータスイープ効率化
R. Majumdar, A. Mathur, M. Pirron, L. Stegner, and D. Zufferey,
“Paracosm: A language and tool for testing autonomous driving systems,”
2019.
R. Queiroz, T. Berger, and K. Czarnecki, “GeoScenario: An open DSL for
autonomous driving scenario representation,” in Proc. 2019 IEEE
Intelligent Vehicles Symposium, 2019, pp. 287–294.
論文調査② シナリオのオントロジー構築方法
43. 1. 自動運転のMaaSビジネスを加速させる
2. 自動運転システム(Autoware)を常に最新に
3. 安心・安全なオペレーションを実現
Autoware FMSのConsoleにより最低限の運行
管理が可能。さらにAPIを利用しすることでMaaS
ビジネスを始めることが可能です。
Autoware FMS管理下にある車両は、セキュリ
ティが担保され、常に最新のAutowareを利用す
ることができます。
FMS Console, Driveなど自動運転車の運行を安
全に実施する上で必要な機能が備わっていま
す。
4. FMS & Drive
FMS & Drive (再掲)
To make moving around more valuable
with self-driving vehicles
自動運転車で人とモノの移動をより便利で豊かにする。
44. FMS & Drive による自動運転ビジネスの加速を実現
引用: Tier IV Safety Report 2020
4. FMS & Drive
45. 引用: Tier IV Safety Report 2020
FMS & Drive による自動運転ビジネスの加速を実現
4. FMS & Drive
51. FMS Console
Calls Go
FMS API
Stats
Vehicles
Scheduler
Maps
Autoware Adapters
FMS Agent
Data
Monitor
Drive App
Scenarios
CI Pipeline
Firmwares
Scenario
Editor
他社システム
Vector Map
Builder
OTA Agent Monitor Agent
Autoware.T4B Adapters
CI
Dashboard
Planning Sim Log Sim E2E Sim
Test Report
Tools FMS & Drive
Control
Control Agent
Tier IV
Account
Building Blocks
マイクロサービスアーキテクチャを採用
FMS & Driveは
こちら
4. FMS & Drive
53. FMS Architecture
VPC
ECS (Django)
Scheduler
ECS (Nodejs)
FMS API
ECS (Django)
VectorMapRegistry
ECS (Django)
PCDMapRegisty
ECS (Django)
RouteSearchEngine
ECS (Django)
Vehicles
Maps
Autowre Adapter
Greengrass (Python)
Web.Auto Agent
Lambda
(Python)
state_code_handler
Lambda
(Python)
save_step
Lambda
(Python)
update_cuurent_
pose
Lambda
(Python)
update_current_
vehicle_point
Lambda
(Python)
get_waypoints_by_step
_id
Lambda
(Python)
start_vehicle
Lambda
(Python)
get_vehicle_info
scheduler-step-end-no
tificator
http(s)
SNS/SQS
IoT
AWS上で構築
4. FMS & Drive
55. Autowareの走行を管理する方法
Pick Up!4. FMS & Drive
Autowareの状態遷移
Initializing
Vehicle
Waiting For
Route
Planning
Waiting For
Engage
Driving Arrived Goal起動
Route Engage
FMS
FMS処理の流れ
Map Match
スケジュール登録 Route Search
車両の現在
位置を把握
スケジュール
実行 -
経路配信
Route
スケジュール
実行完了
発進指示
Autoware
57. FMSにおける経路探索
Lanelet
Id: 5
Lanelet
Id: 1
Lanelet
Id: 3
Lanelet
Id: 2
Laneletの接続情報
Lanelet2 他のHDMap
Lane Network
Laneのコスト、接続コスト等を考
慮
edge.csv, vertex.csv for Neptune
Autowareと同じ地図をFMSでも利用。
Laneレベルでネットワークを組み、GraphDBを利用して経路探索を実現。
Lanelet
Id: 4
Goal
4. FMS & Drive
59. Dynamic Object
Traffic Light
Detection Classifier
Mission
Scenario Selector
Control
Localization
Sensing Map Data Vehicle Interface
Sensors
Lane
Driving
Parking Etc.
PlanningPerception
Detection Tracking Prediction
Vehicle
FMSにおける経路探索
Route Search
Engine
FMS
Scenario
4. FMS & Drive
63. Driveの要件 (法規制の面)
※詳細は、Tier IV Tech blog要参照: ティアフォーにおける自動運転車両の遠隔監視・操縦システムのご紹介
SAEの定義する自動運転 (Automated Driving)のレベル
第8条第1項
一単位として運行されている車両又は連結車両には、それぞれ運転者が
いなければならない。
第8条第5項
運転者は、常に、車両を適正に操縦し、又は動物を誘導することができな
ければならない。運転者は、他の道路使用者に接近するときは、当該他の道
路使用者の安全のために必要な注意を払わなければならない。
第10条
車両の運転者は、常に車両の速度を制御していなければならず、また、適
切かつ慎重な方法で運転しなければならない。運転者は、状況により必要と
されるとき、特に見通しがきかないときは、徐行し、又は停止しなければなら
ない。
1949年ジュネーブ道路交通条約(抜粋)
道路交通法(昭和35年法律第105号)
第70条
車両等の運転者は、当該車両等のハンドル、ブレーキその他の装置を確実
に操作し、かつ、道路、交通及び当該車両等の状況に応じ、他人に危害を及
ぼさないような速度と方法で運転しなければならない。
4. FMS & Drive
64. Driveの要件 (法規制の面)
※詳細は、Tier IV Tech blog要参照: ティアフォーにおける自動運転車両の遠隔監視・操縦システムのご紹介
50m
60m
20m
4m
20m
0.9
m
0.9
m
0.3m
0.3m
0.3m
0.3m
1m
4m2m
遠隔操縦に求められる視認範囲
- 遠隔運転者席において、ディスプレイにテルテールが表示される等現行の車両内の運転者席と同様に確認
ができること。
- 各操作装置の識別表示について、遠隔運転者席において、現行の車両内の運転者席と同様に容易に識別
されるものとなっていること、又は各操作装置を容易に識別できるよう十分に経験を積んだ運転者が操作等
を行うこと。
4. FMS & Drive
65. Driveの要件 (法規制の面)
※詳細は、Tier IV Tech blog要参照: ティアフォーにおける自動運転車両の遠隔監視・操縦システムのご紹介
- 遠隔運転者席において、ディスプレイにテルテールが表示される等現行の車両内の運転者席と同様に確認
ができること。
- 各操作装置の識別表示について、遠隔運転者席において、現行の車両内の運転者席と同様に容易に識別
されるものとなっていること、又は各操作装置を容易に識別できるよう十分に経験を積んだ運転者が操作等
を行うこと。
4. FMS & Drive
69. eve autonomy
日々の運行ツールとしてのほか、搬送経路を作成するため
の、作業員向けツールとして活用
Vector Map
Builder
eve autonomy 走行シーン
Vector Map Builder
運行開始前の日常点検、走行経路指定、車両の Emergency発生時の通知ツールとして、
現場作業員および、安全監視員が毎日利用しています。
FMS Console
工場内の搬送経路を変更する場合の地図編集ツールとして、実際運行に携わる人間が使
用しています。
既存の磁気テープ線等によるものよりも柔軟に経路を変えられるメリットがあります。
Vector Map Builder
工場内にあるシャッターや信号などのインフラ機器と連携する際の、 Autoware側のI/Fとして
活用されています。
Web.Auto Agent
4. FMS & Drive
70. Milee Service
Web.Autoの各サービス、地図編集ツールを利用し活用し
MaaSサービスを実現
Moricoro Park走行シーン
Go 車載アプリ
Calls: オンデマンド呼び出しアプリケーション。デマンドバスのデモ時に利用しています。
Go: Mileeの車載アプリで Mileeの試乗車にいつも利用しています。
Calls & Go
Mileeの運行見守り、巡回路の設定など日々の運行ツールとして利用しています。
FMS Console
Mileeのリアルタイムな遠隔監視・操縦に利用。最近は、 FMS Consoleからもリアルタイムな
映像が確認できるようになり、さらに安全・安心なオペレーションが可能になりました。
Drive
Autowareの走行及び FMS連携で必要な地図データを Vector Map Builderを利用して作成し
ています。
Vector Map Builder
4. FMS & Drive
74. © 2020 Tier IV, Inc.
@tier_iv_japan Tier IVhr@tier4.jp TierIV, Inc.