宇宙空間での画像認識の実現によるインテリジェントな宇宙探査機を目指し、LeapMindのDeLTA-Familyを活用したカメラの超小型化・省電力化の研究に関するご紹介です。 講演者：石田 貴行 氏 国立研究開発法人 宇宙航空研究開発機構 研究開発部門　第一研究ユニット 研究開発員 プロフィール 宇宙航空研究開発機構（JAXA）にて小型月着陸実証機SLIMの開発に従事。 高精度着陸のための航法カメラ、画像処理アルゴリズムの開発を担当。 その他、コンピュータビジョンやAIなどを含んだ宇宙探査機の知能化に関する研究を行う。 EDLS2019公式サイト：https://edls.leapmind.io/

1. 【宇宙探査機×DeepLearning】
インテリジェントな探査機を目指して
国立研究開発法人 宇宙航空研究開発機構
研究開発部門 第一研究ユニット
石田貴行
2019年2月27日
Edge Deep Learning Summit＠渋谷ストリームホール
©JAXA

2. 石田貴行：【宇宙探査機×DeepLearning】インテリジェントな探査機を目指して ©JAXA
目次 2
◼ 自己紹介
◼ 背景
◼ Edge Deep Learningによる探査機の知能化
◼ 宇宙用超小型スマートカメラ：GIDLIEの検討
◼ 将来に向けて

3. 石田貴行：【宇宙探査機×DeepLearning】インテリジェントな探査機を目指して ©JAXA
自己紹介 3
◼ 名前
➢ 石田貴行
◼ 所属
➢ 宇宙航空研究開発機構（JAXA）
研究開発部門 研究開発員
◼ 仕事
➢ 小型月着陸実証機SLIMの開発
─ 特に高精度着陸技術の開発
➢ 宇宙用機器間データ通信I/F：
SpaceWireの高信頼化
➢ 探査機の知能化（CV, AI…）
小型月着陸実証機SLIM
©JAXA

4. 石田貴行：【宇宙探査機×DeepLearning】インテリジェントな探査機を目指して ©JAXA
宇宙探査ミッションの高度化 4
Powered Descent
Phase
Vertical
DescentPhase
Landing
CST1
CST2
VLD1
月面への
高精度着陸ミッション
オンボード画像処理
（クレータ抽出・マッチング）

5. 石田貴行：【宇宙探査機×DeepLearning】インテリジェントな探査機を目指して ©JAXA
宇宙環境vs地上環境 5
◼ 宇宙空間と地上の計算処理環境の違い
➢ 真空・熱環境・電力・機械環境・・・
➢ 開発サイクルの長さ
➢ 性能はざっくり２～３桁落ち
➢ 正直，宇宙は深層学習と相性が非常に悪い
宇宙用CPU：HR5000S宇宙用FPGA：RTG4
©microsemi
©JAXA

6. 石田貴行：【宇宙探査機×DeepLearning】インテリジェントな探査機を目指して ©JAXA
Edge Deep Learningの可能性 6
➢ 宇宙で使われるのは「枯れた技術」．「技術的には可能
だけど載せられない」が当たり前
➢ 2018年夏，LeapMind社と取組みを開始
➢ 最初のテーマは，「自撮り」
©SpaceX
SpaceSelfie（宇宙での自撮り）

7. 石田貴行：【宇宙探査機×DeepLearning】インテリジェントな探査機を目指して ©JAXA
GIDLIE：宇宙用超小型スマートカメラ 7
宇宙機の最高の自撮りの実現
GIDLIE: the Greatest Imaging Device for seLfIE
GIDLIEコンセプト
Score:0.4 0.7 0.9 0.6 0.1
GIDLIE
→送信

8. 石田貴行：【宇宙探査機×DeepLearning】インテリジェントな探査機を目指して ©JAXA
Why Edge? Why Deep Learning? 8
◼ Why Edge?
➢ 高画質な自撮りがしたいが，通信
容量は限られる
➢ カメラ内で良い自撮りを選別，それ
だけ高画質で送信
◼ Why Deep Learning?
➢ 「良い自撮り」の基準は感覚的で，
わからない
➢ 面倒な特徴設計はDeep Learning
に任せてしまおう！
衛星搭載カメラの画像例
（Twitterより）
分離カメラの自撮り画像例

9. 石田貴行：【宇宙探査機×DeepLearning】インテリジェントな探査機を目指して ©JAXA
自撮りスコアリング技術の検討 9
◼ 今年度の検討内容
➢ コア部分である「自撮りスコアリング」技術の実証
─ 自撮り画像データベース作成
─ Delta-Familyによる機能評価
電源
スイッチ
メモリ
通信イメージセンサ光学系
電力
信号
FPGA
（コントローラ，
画像選別深層学習）
GIDLIEシステム概念図

10. 石田貴行：【宇宙探査機×DeepLearning】インテリジェントな探査機を目指して ©JAXA
教師データの作成 10
◼ 何をするにも，まずはデータ
➢ 天体・探査機の模型を使い約10000枚の自撮り画像取得
➢ すべての画像に対し「自撮りとしての良さ」を評価
3.750.98 2.12
0.22 1.34 3.23
自撮り画像データ取得風景 自撮り画像データベース

11. 石田貴行：【宇宙探査機×DeepLearning】インテリジェントな探査機を目指して ©JAXA
学習～評価サイクル 11
3.750.98 2.12
0.22 1.34 3.23
Labeled Data
Edge Device
Performance
Test

12. 石田貴行：【宇宙探査機×DeepLearning】インテリジェントな探査機を目指して ©JAXA
自撮りスコアリング評価結果 12
➢ 模型による検証用データを対象に自撮りスコアリング機能
の評価
➢ 十分な性能を保ったままFPGAに実装成功
人間
(理想) GPU
FPGA
(LMnet)
参照性能（ランダム）
自撮り画像スコアリング結果
自撮りスコア誤差比較

13. 石田貴行：【宇宙探査機×DeepLearning】インテリジェントな探査機を目指して ©JAXA
自撮りスコアリング評価結果 13
◼ 検証用画像での評価結果
➢ 横1列（10枚）の中で最も自撮りスコアが高い画像が赤枠

14. 石田貴行：【宇宙探査機×DeepLearning】インテリジェントな探査機を目指して ©JAXA
デモ映像 14

15. 石田貴行：【宇宙探査機×DeepLearning】インテリジェントな探査機を目指して ©JAXA
将来に向けて 15
◼ 探査機のさらなる知能化を目指して
➢ 今年度は最初のテーマとして「自撮り」機能の実証．本テー
マは宇宙での機能実証を目指して開発を進める
➢ 今後テーマを拡げ，月面クレータの高精度検出・オンボード
異常検知などへの適用可能性を検討したい
➢ 与えるデータさえあれば様々なタスクに応用可能．Edge
Deep Learningの可能性は無限大
©ESA
月面クレータの高精度検出
衛星搭載太陽電池の異常
https://www.esa.int/Our_Activities/Observing_the_Earth/Copernicus/Sentinel-1/Copernicus_Sentinel-
1A_satellite_hit_by_space_particle
石田貴行、高橋正樹、福田盛介、畳み込みニューラルネットワークを用いた照明および形状変化に
頑健なクレータ抽出法、信学技報, vol. 118, no. 441, SANE2018-125, pp. 83-88, 2019年2月.