2020年10月29日 開催　Jetson Education Program Webinar 講演タイトル 「Jetson Nano 2GBで始めるAI x Robotics教育」 株式会社 FaBo　代表取締役　佐々木 陽 様

1. Jetsonを用いた
AI x Robotics
株式会社FaBo
代表取締役社長 佐々木 陽

2. 自己紹介
株式会社GClue 2001年∼
AWSパートナー, Android/iOSアプリ
IoTシステムや位置情報システム
ビックデータのクラウド構築、運用
株式会社FaBo 2015年∼
NVIDIA Jetson Educationパートナー, AI Robot Kit

3. 株式会社 FaBo
本社: 会津若松市(福島県)
Web: https://fabo.io
Store: https://fabo.store
Autoware搭載 RC Car
(TX2を利用)
2017年 2018年 2019年
JetBot, JetRacer
国内市場向けキット販売
FaBo Jetson product
FaBoモジュール JetBot, JetRacer, DonkeyCarキット
株式会社FaBo 紹介
TX2 Moduleを搭載した
Robot Car
2015年に設立したIoT, AI x Robotics
の会社です。

4. Jetson Nano

5. Jetsonは、NVIDIA社の開発したEdge向けAI スーパーコンピュータです。
SoM(System On Module)や、そのSoMを搭載したDeveloper Kitの形で誰でも購入可能です。
SoM SoMを搭載したDeveloper Kit
SoMとDeveloper Kit
また、スペックの違うSoMも提供され、あらゆるエッジAIの場面での利用が可能です。
Jetson Nanoモジュール
Jetson Xavier NXモジュール
Jetson AGX Xavierモジュール
Jetsonファミリー
Jetson TX2モジュール
Jetsonとは？

6. Jetson Nano
Developer Kit
Jetson Xavier NX
Developer Kit
Jetson AGX Xavier
Developer Kit
Jetson TX2
Developer Kit
写真
AI
Performance
472 GFLOPs (FP16)
6 TFLOPS (FP16)
21 TOPS (INT8)
11 TFLOPS (FP16)
22 TOPS (INT8)
1.33 TFLOPS (FP16)
GPU Maxwell GPU 128コア Volta GPU 384コア Volta GPU 512コア Pascal GPU 256コア
CPU ARM A57 64-bit 4コア ARM®v8.2 64-bit 6コア ARM v8.2 64-bit 8コア
NVIDIA Denver2 2コア
ARM Cortex-A57 64-bit 4コア
Memory 4GB 8GB 32GB 8GB
消費電力 5W, 10W 10W, 15W 10W, 15W, 30W 7.5W, 15W
Jetson Developer Kit

7. J41ピン
I2S
Audio Clock
I2C (x2)
SPI (x2)
UART
GPIOs
Jetsonのハードウェア拡張
J12
I2S
Audio Clock
I2C (x2)
SPI (x2)
UART
GPIOs (x3)
J17 CAN
GPIO
I2C
SPI
I2S
UART
CAN
D-MIC
Jetson Nano
Jetson Xavier NX
Jetson AGX Xavier

8. FaBo Jetson用拡張基板
＃６１２
2本のPWM In
2本のPWM Out
＃６１１
5V Motor 2個を制御可能
＃５１９
I2C, GPIO, Serial, ADC

9. Jetson Nano 2GB

11. USB Wi-Fiドングル

12. 電源 USB Type-C USB 3 Port
USB Micro
通信用
Ethernet
USB 3 Port
CSI Camera

13. Software
• JetPack 4.4.1リリース
• JetBotは、Dockerベースに移行

14. 4GB
Wi-Fiの取り付け
Jumperの取り付け
2GB
Wi-Fiドングルの取り付け
ハンズオン実施時に、準備/設定が
とても楽になります。

15. Mario Kart Live

16. サーボで操作
サーボで操作
Jetson Nano 2GB
カメラ
マリオカート
Switch

17. CSIカメラで取り込み

18. HDMI-UVC Dongleも使える

19. Aボタン
Joystick

22. Jupyterマリオ 転移学習
ResNet
Frontカメラの画像 + (X,Y)
転移学習
学習済みモデル
コースデータ
学習済みモデル
+

26. Pipeline
HDMI In
HDMI Out
HDMI Out
Jetson Nano 2GB
Jetson Nano 2GB
HDMI-UVC
変換ドングル
HDMI-UVC
変換ドングル
HDMI
HDMI
USB
USB
DeepStream
detectnet v2 resnet10
JetBot, JetRacer
改造
直感的な操作制御
車体認識

27. Nano NX
Nano 2GB
Nano 2GB
Nano 2GB
Switch
HDMI
IN(1)
HDMI
OUT(4)

28. Pipeline
HDMI In
HDMI Out
HDMI Out
Jetson Nano 2GB
Jetson Nano 2GB
HDMI-UVC
変換ドングル
HDMI-UVC
変換ドングル
HDMI
HDMI
USB
USB
DeepStream
ssd mobile v2
JetBot, JetRacer
改造
HDMI Out
Jetson Nano 2GBHDMI-UVC
変換ドングル
HDMI USB
DeepStream
ssd mobile v2
HDMI Out
Jetson Nano 2GBHDMI-UVC
変換ドングル
HDMI USB
DeepStream
ssd mobile v2
mqtt
mqtt
mqtt
メタ情報
車体認識
信号認識
直感的な操作制御
境界線認識

29. FaBo Education

30. DonkeyCar JetBot JetRacer Kaya
学習 教師あり学習
教師あり学習
(AlexNet, ResNet転移学習)
教師あり学習
(ResNet転移学習)
Isaac SIM連携
Edge Device Raspberry Pi3B+ Jetson Nano Jetson Nano Jetson Nano
Dataset規模 5000∼2万セット 30-100セット 100∼300セット -
学習 クラウド オンデバイス オンデバイス -
DL Flamework TensorFlow PyTorch
PyTorch
TensorRT
Isaac SIM連携
教材 https://faboplatform.github.io/DonkeyDocs https://faboplatform.github.io/JetbotDocs https://faboplatform.github.io/JetracerDocs
価格 ¥40,000 ¥45,000 ¥70,000 ¥300,000
FaBo AI x Robotics キット

31. その他のJetson関連プロジェクトキット
FaBo Edge AI Kit FaBo JetBook Kit
https://faboplatform.github.io/JetBook/https://faboplatform.github.io/EdgeAIDocs/

32. IoT研修
時刻 内容
10:00-11:00 Arduinoについて
11:00-12:00 Analog
13:00-15:00 I2C
15:00-16:00 Servo
16:00-18:00 センサー連携
8時間で、センサーやサーボ制御等を学習

33. AI x IoT研修
時刻 内容
10:00-11:00 DeepLearningについて
11:00-12:00 Edge AI Kitの実行
13:00-14:00 I2C
14:00-15:00 Analog
15:00-18:00 DeepLearning
8時間で、組み立て、センサーとAIの連携まで実施。

34. AI x Robotics研修(JetBot)
時刻 内容
10:00-12:00 JetBot組み立て
13:00-14:00 DeepLearningについて
14:00-15:00 Collision Avoidance
15:00-17:00 Road Following
17:00-18:00 今日の学習内容の復習
8時間で、組み立て、AIでの自動走行まで実施します。

35. Collision Avoidance
Collision Avoidance Object Following Road Following
イメージ
学習内容 境界線の認識や障害物の回避 物体追従 道路の走行
DL学習
転移学習
(AlexNet)
学習済みモデルを使用
転移学習
(ResNet)
教育コンテンツ Jupyter Notebook形式 Jupyter Notebook形式 Jupyter Notebook形式
教材 NVIDIA社が公開 NVIDIA社が公開 NVIDIA社が公開
必要なデータセット規模 30∼50枚 x 2セット - 50∼100枚
想定授業時間 1時間 10分程度 1時間程度∼2時間程度

36. Road Followingの学習
学習済みモデル
ResNet* +
学習済み
モデル
転移学習
70 epoch
* ResNetの100万枚以上の
画像で学習済みの畳み込み
ニューラルネットワーク。
1000種類のオブジェクト
を認識。
50∼100データセット
TensorRT
モデル
TensorRT
に変換
ラベル: 行きたい方向のX, Y座標

38. FaBo JetBot
独自のコントロール基板
英語で公開されている教材を日本語化
国内技適に対応したWi-Fiアンテナ
FaBo JetBot Kit
オリジナルのCPU Fan等
https://faboplatform.github.io/JetbotDocs/
Docs URL
Store URL
https://fabo.store/collections/jetbot/products/jetbot-kit

39. 導入例
福島県立平工業高校 高校1年生向けに1グループ4名で、5グループ 合計 20名で授業を実施。
東京デザインテクノロジーセンター
専門学校
学科新設に伴いJetbotを導入し、AI x Roboticsの実践的な授業を実施。
高等専門学校 各校 高専各校でも積極的にKitを購入。
宇都宮大学 大学院 宇都宮大学の大学院1年生向けに組み立てから、自動走行までを講義。
社会人向け人材研修 社会人向けのAI研修して、1日コース(8時間)の研修を実施。

40. AI x Robotics研修
(JetRacer/DonkeyCar)
時刻 内容
10:00-12:00 AIラジコン組み立て
13:00-14:00 学習データ収集
14:00-15:00 学習と自動走行
15:00-16:00 チューンナップ
16:00-18:00 タイムトライアル
8時間で、組み立て、AIでの自動走行、タイムトライアルまで実施
します。

41. JetRacerのデータセット作成と学習
学習済みモデル
ResNet* +
学習済み
モデル
転移学習
データ追加のタイミングで
順次学習
* ResNetの100万枚以上の
画像で学習済みの畳み込み
ニューラルネットワーク。
1000種類のオブジェクト
を認識。
100∼300データセット TensorRT
モデル
TensorRT
に変換
行きたい方向のX, Y座標
+

42. JetRacerのエコシステム
https://github.com/NVIDIA-AI-IOT/jetracer
JetracerのGithubレポジトリ
NVIDIA社
FaBo JetRacer Kit
https://faboplatform.github.io/JetracerDocs/
Docs URL
Store URL
https://fabo.store/collections/jetracer

43. 導入例
会津大学
2日間コースで「AIハンズオン＆AIカーレース」を実施。
1日目はDonkeyCarの研修
2日目はAIカーレースを実施
NTTコムエンジニアリング
FaBo JetRacer Kitを用いてJetRacer研修(8時間)を実施。
(参加者100名以上)
研修後は、チューンアップ期間を設定し、AIカーレースを開催。
石川工業高等専門学校 FaBo DonkeyCar Kitで、高専の先生向けのAIカーハンズオンを実施。

44. AI x Robotics研修
(Kaya/Isaac)
Now building
Robotis Japanさんの協力のもと
現在キット化のカスタマイズ中
Isaac simでのCyber空間でのロボット開発と
Isaac SDK搭載のKayaでのリアル空間での動作

45. FaBo Web Media掲載実績
NTTコムエンジが社員のAI学習教材に Jetson Nano搭載「JetRacer」を採用 深層学習とAI推論を
体験 マクニカらが提供
https://robotstart.info/2019/12/27/nttcom-eng-jetracer.html
「NVIDIA Jetson Nano」を組込みAI学習用の教材として活用へ 宇都宮大学がNVIDIA
やFaBoと開発、授業への実践導入は世界初
https://robotstart.info/2019/05/29/utsunomiya-u-jetson.html
宇都宮大学、世界に先駆けて JetBotをベースとしたAIロボットカーを学習教材に導入、自律動
作マシン技術の習得を目指す
https://prtimes.jp/main/html/rd/p/000000124.000012662.html
https://robotstart.info/2019/08/29/donkeycar-maker-tokyo.html
話題のAIで自動運転するドンキーカーを走らせてみた、ちびっこ対AIの白熱バトルも! 遠藤諭の
「Maker Faire Tokyo 2019」レポート
テクノロジーの大波は「オモチャ」のようなものからやってくる
DonkeyCar求めて中国の巨大オモチャ都市へ！ 「汕頭」（スワトウ）買い出し紀行
https://ascii.jp/elem/000/001/860/1860361/
https://ascii.jp/elem/000/001/895/1895561/