PyconJP 2015で貼って解説していた，怪しげなカエル計画のポスター．

1. カエルをつくりたい
To Make a Toad
①
My Dream:
Creation of Animal Robots
Tohoku University:
Mechanical Engineering
Robo-Con
NAIST & OIST:
Information Science
Computational Neuroscience
Tohoku University:
Biomedical Engineering
About me
Naoto Yoshida / Ugo-Nama
Twitter : @movingsloth
H. Stumpke, 1961
僕の夢は、動物のようなロボットを作
ること。これまでたくさんそういう目的
のロボットが製作されてきたが、どう
も納得できるものがない...
そこで自分なりに考えた
Principles:
● Driven by Optimization
Motion/Decision/Learning/Survival
● Self-Contained
Battery, Sensors, etc.
● End-to-End
Designer only gives its framework

2. ヒキガエルの脳は眼の受光組織か
ら行動の発現までの構造が明らか
にされている。学習によってどのよう
に本能行動が修飾されるかも明ら
かにされている。
これならなんだかつくれそう．
そこでカエル脳
Toad Brain = Biological CNNs!
②
J.P.Ewert,
1974
J.P.Ewert,
2004
J.P.Ewert,
et
al.,
2001

3. カ エ ル 脳 を つ く る に は 深 層 畳 み 込 み
ニューラルネットワークと強化学習が必要。
そこで深層学習の練習に、たまたま強化
学習ネタがあったDQNを書きました。
せっかくなので、この機会に強化学習ア
ルゴリズムであるQ学習と関連技術の歴
史について解説記事をつけました。
DQN-Chainer @ GitHub
③
Deep Q-Network (DQN)
= Q-Learning + Convolutional Neural Network
• Python 2.7+
• Numpy
• Scipy
• Chainer (1.3.0)
• RL-glue core
• RL-glue Python codec
• Arcade Learning
Environment
B. Tanner & A. White, 2009, JMLR
RL-Glue
実は、Environmentを書けば
ATARIゲーム以外にも使えます

4. カエルロボット
Artificial Toad by Convolutional Neural Network
& Reinforcement Learning
④
Uexküll, 1934
カエル脳を元にしたカエルロボットを製作中。
現在は虫（らしいもの）認識器&特徴抽出器の製作。
まずはひと通り形にすることが現在の目標。
Robot
Raw
Images
Motion-Detection
cells
Action