単眼から両眼へ
〜キム・ヨナ(シマリス)は復活するか〜	
株式会社ウェブファーマー
大政孝充
キム・ヨナ 永眠 2015/12/20	
(シマリス)
そして1年後・・・復活!?
ありがちなDQN環境で学習させれば
DQN
見てる画像
行動の指示
学習
 
ある程度動くようになる
でもキム・ヨナの動きじゃないな...
DQN
見てる画像
行動の指示
学習
何かが足りない・・・
 
何かが足りない・・・
 
 
DQN
見てる画像
行動の指示
学習
これは単眼から見た画像
 
DQN
見てる画像
行動の指示
学習
キム・ヨナの目は両眼なので、
入力すべきはこの画像じゃないだろ!
 
DQN
両眼から見た画像
行動の指示
学習
両眼から見た画像はこう!
 
DQN
画像+深さ情報
行動の指示
学習
もしくは深さ情報を入れて代用する
通常のDQNシステム	
	
Q (s,a)	
CNN
こう変える	
	
Q (s,a)	
CNN
このへんはどうする?	
	
Q (s,a)	
CNN
このへんを参考にして	
A. Eitel, et. al,”Multimodal Deep Learning for
Robust RGB-D Object Recognition”
M. Schwarz, H. Schulz, and S. Behnke, “RGB-D
object recognition and pose estimation based on pre-
trained convolutional neural network features,” in
Proc. of the IEEE Int. Conf. on Robotics &
Automation (ICRA), 2015.
こうする	
Q (s,a)	
CNN
CNN
「無理やりカラーモデル」と名付ける	
Q (s,a)	
CNN
CNN
もっと立体的に入力できないか	
Q (s,a)	
CNN
CNN
こんなのどう?	
Q (s,a)	
CNN
CNN
CNN
CNN
RGB画像と深さ画像から深さ別の
RGB画像を生成	
Dij
k
=
1,!thks ≤ Dij < thkb
0,!else
⎧
⎨
⎪
⎩⎪
IDk
= I ⊗ Dk
k:深さ番号(k=1,2,・・・)
(i, j):ピクセル
 :k番目の深さ画像
D:元の深さ画像
I:RGB画像
ID:深さにより分割された画像
 :Hadaramrd積
Dk
ID1
ID2
ID3
ID4
I
D
⊗
「深さ別カラーモデル」と名付ける	
Q (s,a)	
CNN
CNN
CNN
CNN
特徴量の例1
 	
特徴量の例2
chainer 的にはbilinear.pyを改造	
links/connection/bilinear.py	
functions/connection/bilinear.pyc	
class BilinearFunction(function.Function):	
   ・・・・・	
def forward(self, inputs):
 	
links/connection/bilinear.py	
functions/connection/bilinear.pyc	
class BilinearFunction(function.Function):	
   ・・・・・	
def forward(self, inputs):	
copy	
Dij
k
=
1,!thks ≤ Dij < thkb
0,!else
⎧
⎨
⎪
⎩⎪
 	
links/connection/bilinear.py	
functions/connection/bilinear.pyc	
class BilinearFunction(function.Function):	
   ・・・・・	
def forward(self, inputs):	
copy	
*	
IDk
= I ⊗ Dk
 	
links/connection/bilinear.py	
functions/connection/bilinear.pyc	
class BilinearFunction(function.Function):	
   ・・・・・	
def forward(self, inputs):	
copy
ゲームの全体図	
シマリス	
(キム・ヨナ)	
ピーマン	
カボチャ	
レタス	
花	 草	
野菜	 雑草
ゲームの設定
DQN部分の設定
使用したパソコンの仕様
デモビデオ	
https://www.youtube.com/watch?v=713SFAJUKGQ
0
2
4
6
8
10
12
14
16
18
20
3760
7520
11280
15040
18800
22560
26320
30080
33840
37600
41360
45120
48880
52640
56400
60160
63920
67680
71440
75200
78960
82720
86480
90240
94000
97760
101520
深さ情報なし	
無理やりカラーモデル	
深さ別カラーモデル	
それぞれ10万回×3回学習させた結果	
過去10回の	
平均得点	
学習回数
0
2
4
6
8
10
12
14
16
18
20
3760
7520
11280
15040
18800
22560
26320
30080
33840
37600
41360
45120
48880
52640
56400
60160
63920
67680
71440
75200
78960
82720
86480
90240
94000
97760
101520
深さ情報なし	
無理やりカラーモデル	
深さ別カラーモデル	
よくなってない!?	
過去10回の	
平均得点	
学習回数
0
2
4
6
8
10
12
14
16
18
20
3760
7520
11280
15040
18800
22560
26320
30080
33840
37600
41360
45120
48880
52640
56400
60160
63920
67680
71440
75200
78960
82720
86480
90240
94000
97760
101520
深さ情報なし	
無理やりカラーモデル	
深さ別カラーモデル	
キム・ヨナが蘇るのはまだまだ先!?	
過去10回の	
平均得点	
学習回数

人工知能ハッカソン用プレゼン資料(161217)