尾形哲也氏による講演 https://wba-initiative.org/20980/

1. 第7回全脳アーキテクチャ
シンポジウム
2022.10.12
予測符号化モデルとしての
深層予測学習とロボット
知能化
尾形哲也
早稲⽥⼤学 理⼯学術院 教授／AIロボット研究所 所⻑
産業技術総合研究所⼈⼯知能研究センター 特定フェロー

2. WABOT-1
(1973)
WABOT-2
(1984)
Haday-2
(1997)
WABIAN
(1997)
早稲⽥⼤学のロボット研究
WABIAN-II
(2005)
TWENDY-
ONE
(2007)
世界初の
ヒューマノイド
ロボット
2

3. 「脳」ではなく「神経（⾝体）」
¡ “神経班”
¡ 「脳だけを解剖学的な構造の違いで切り取るのではなく、
⾃律神経系、末梢神経系まで含めた⾝体全体で考えないと
意味がない」（加藤⼀郎先⽣より、1993）
¡ ビヘイビアベースドロボティクス、ソフトロボティクス
¡ 「環境ー⾝体」の動的カップリングに着⽬（⾝体の構造）
¡ ⼈間以外のほとんどの⽣物において神経系（脳）の機能は
極めて限定的
¡ 例︓「地⾯ー多⾜機構ー振動⼦」により”歩⾏”が⽣成
¡ そのカップリングの結果としての⾏為のダイナミクスは常
に”刹那的な創発”であり、最適でも汎⽤でもない
加藤⼀郎先⽣
3

4. 発達ロボティクス
×「脳の各機能をロボット（⾝体）が参照する」
◯「⾝体を脳が参照し各機能が分化・創発する（発達）」
×「マルチモーダル情報を学習できる」
◯「⾝体の時空間的制約に拘束されたマルチモーダル情報
しか存在しない（各モーダルは分離できない）」
神経学的変異ー認知プロセスー身体行動それぞれの
レベルの結びつきをシステム的に理解する
4
[浅⽥, 國吉, 2006-]

5. モラベックのパラドックス
¡ プログラム開発が⽐較的容易
¡ 意識的に⾏う作業（⼤⼈の知能）
¡ 数学、⼯学
¡ ゲーム
¡ 知識を⽤いた推論
¡ 進化のスケールで最近獲得された能⼒
¡ プログラム開発が厄介、もしくは著しく困難
¡ 半無意識的に⾏う作業（⼦供の⼈⼯知能）
¡ 歩く、⾛る → 2000年代に著しい進化
¡ 視覚、⾳声の認識 → 2010年代に著しい進化（深層学習）
¡ ⼿、指を⽤いた物体操作 → 2020年代現在でも極めて困難
¡ 数百万年の進化を通して強化された能⼒
5

6. AI（深層学習）のロボット
への応⽤の⽅法
¡ ⼊⼒ → 出⼒の”最適”モデルを学習
¡ 認識
¡ 画像 → 物体の位置と姿勢
¡ 強化学習
¡ 動作と感覚 → 報酬の期待値
¡ 学習モデルの不完全性をベースとする
¡ 世界は開かれている
¡ 予測学習
¡ “実時間”での内外感覚の予測と修正
動作
観測
報酬
6

7. ロボティクス-⾝体性の概念から
「環境ー⾝体ー神経系（脳）」のカップリング
¡ 神経系（脳）の機能は極めて限定的
¡ 深層予測学習 (2013-)
¡ カップリングの中で神経系に深層学習を適⽤
¡ 視覚、触覚などの多次元の感覚と⾝体、環境を
カップリング
7
[K. Noda, H. Arie, Y.
Suga, T. Ogata, 2014]

8. 予測符号化と⾃由エネルギー原理 8
[K. Friston, 2010]
環境 (感覚の⽣成)
感覚予測
(平均, 精度)
感覚⼊⼒ !
− log %('|))
精度重み付
予測誤差
"
+!())
シナプス重み
,-.. ./.-+0
∗
= − log % ' ) + 3"# 4 ) ' ||%())
精度重み付
予測誤差
(Accuracy)
事前信念の
影響
(Complexity)
⾃由エネルギーを最⼩化するためのパラメータ
・w → 学習
・x → 感覚の修正（⾏為の⽣成）
・q(z) → 知覚の修正（仮想知覚の⽣成）
・
!
"!
→ 感覚の精度
・
!
""
→ 事前信念の精度 + ) + /567.
#
*簡略化のため !周辺の負の対数尤度期待値計算は省略
%())
4()|')
事後信念
(予測)
事前信念
(予測)
注意

9. Rao 1999, Tani 2003, Friston 2011, Yamashita 2012 etc.
• 環境とインタラクションを⾏う際の”予測誤差最⼩化”のための⽅策
予測符号化の簡単なイメージ１
実世界
内部モデル
感覚
予測
⾏為
知覚
9
H. Haker et al. 2016.

10. “学習”により内部モデルを
変えて予測誤差を最⼩化
予測符号化の簡単なイメージ２
予測誤差最⼩化のための3つの⽅策
“仮想の知覚”を⽣成して
予測誤差を最⼩化
“⾏為の修正”により
予測誤差を最⼩化
機械学習の視点
10
低コスト ⾼コスト
能動的推論の視点

11. 強化学習との対⽐
¡ 強化学習
¡ ⽬的︓⾃由に設計可能
¡ モデルフリー
¡ 状態と⾏為の組に対する報酬の予測を
⼗分に学習
¡ モデルベース
¡ “世界モデル”を⼗分に学習
¡ “学習済”モデル内でポリシーを更新
¡ 最⼤報酬が期待できる⾏動系列を⽣成
¡ （ランダムな）試⾏錯誤
¡ ⽬的に沿った⾏動の最適化
¡ 予測符号化（能動的推論）
¡ ⽬的︓⾃由エネルギー最⼩化
¡ 状態と⾏為（知覚）の系列（モデル）
を予測学習
¡ 学習は⼗分にはできないことが前提
（開かれた世界）
¡ 期待⾃由エネルギーを最⼩化する仮想
知覚を実時間で能動的に推論（知覚⽣
成＝⾏為⽣成）
¡ 弱い事前信念 → 試⾏錯誤
¡ 望ましい知覚を実現する知覚系列が、
事前信念に習慣化される
¡ 最適性は保証されない。
11

12. 深層予測学習のフレームワーク
関節⾓度⼊⼒
深層学習
画像
エンコーダ
DCAE
関節⾓度予測
深層学習
画像
デコーダ
DCAE
関節
⾓度
指令値
予測画像
視野画像
⼊⼒
深層予測
学習器
LSTM,
MTRNN
時間ステップ
⼈間の操縦データ（スキル）
の収集（少量データ）
実時間で動作・画像の予測を修正し続ける
学習（世界モデル）
12
仮想の知覚
⾏為の修正
実画像
[P. Yang+, 2016]

13. 「⾝体知」に基づくロボット独⾃の
世界モデルを獲得
p 数⼗回の学習のみ
p “未学習”のタオル，本を⾼速かつ
反復して折り畳み可能
P. Yang+, IEEE RA-L, 2016, ICRA2017 etc.
エクスペリエンス・ベースド・ロボティクス
（尾形提案）
p JST CRDS戦略プロポーザル「第4世代AIの
研究開発」（2020）
p NEDO次世代⼈⼯知能・ロボット中核技術
開発ハンドブック（2020）
深層予測学習のデモンストレーション
折り畳み（タオル配置・種類，本）含︓⼿⾸柔軟関節
Cebit 2017, CEATEC2017，国際ロボット展2017
13

14. ExaWizards ExaWizards
深層予測学習の企業応⽤例
ハーネス組み
付け（2021）
液体計量(2021)
¡ 粘性の異なる液
体を事前知識な
しで計量
汎⽤モデル
（2017）
¡ タオル畳み
¡ サラダ盛り
付け
粉体計量(2018)
14

15. ジッパー開け 2021.5 15
[H. Ichiwara+, ICRA2022] [H. Ito+, ICRA2022]

16. 注意
¡ ボトムアップ注意
¡ 注意が画像から⽣成される
¡ Saliency（輝度、⾊、⽅向、⽅位）などの特徴
¡ 報酬を最⼤化するマスク、Key, Query, Valueの⽣成
¡ トップダウン注意
¡ 注意が感覚や⾏為などの全知覚から予測される
¡ 知覚や信念の分散学習（予測誤差を分散で割る）
16

17. Multitask learning with an embodied
predictive model
H. Ito, K. Yamamoto, H. Mori, T. Ogata,
Science Robotics(2021 Impact Factor: 23.748), Vol. 7, Issue 65, 2022
17

18. 設計思想
1. 経験の学習（エクスペリエンス・ベースド）
¡ 運動と感覚を区別しない
¡ 「感覚ー>動作」のマップではなく，感覚運動
が⼀体化した”知覚”系列（経験）、内観を学習
2. “Multi-time scale”を扱う再帰結合型RNNの
階層予測構造
¡ 異なったレベル（時定数、次元）の予測
¡ トップダウンとボトムアップのインタラクション
3. “Symbol grounding”，実世界と記号世界
¡ 多義性，世界観の共有，創造性．．．
Slow Context
S-MTRNN
Sensory
Prediction
Fast Context
Sensory
Inputs
Higher-Level
Network
Lower-Level
Network
Variance
Prediction
Multi-Time scale RNN
[Y. Yamashita, J. Tani, 2008]
18

19. ムーンショット
19
⼀⼈に⼀台⼀⽣寄り添うスマートロボット
“AIREC”
(AI-driven Robot for Embrace and Care)
プロジェクトマネージャー (PM)
菅野 重樹
早稲⽥⼤学

20. プロトタイプDry-AIREC (2021年10⽉) 20
⾝⻑: 1660mm
全体重量: 約150kg
可搬重量: 最悪姿勢保持: 8kg、最⼤瞬間（肘直⾓時）: 20kg
関節トルクセンサxインピーダンス制御（腕部7軸x2、腰部3軸）
ハンド6軸x2（把持⼒センサ）
⼈肌ゲル（腕部、胴体前⾯）
台⾞: 全⽅位オムニホイール

21. AIとロボットの共進化
AIとロボットが様々な社会ニーズに基づいて共進化
21
ロボティクスの⾰新
柔軟かつ強靭な⾝体を持つロボットが
環境とインタラクションし，知的⾏動
が⾃然に創発される
AIの⾰新
⼈のスキル変換で柔軟なロボットハード
ウェアの機能を，数少ない経験で学習でき
る”深層予測学習”で最⼤限に引き出す
社会受容性の把握
実証実験と社会受容性の
調査により必要かつ適切
な機能を選択
⼈々の共感を得る社会
メッセージの発信
N. Saito, T. Ogata,
H. Mori, S. Funabashi,
and S. Sugano,
IEEE ICRA2021,
Best Paper Award
in Cognitive
Robotics

22. おわり