第2回全能アーキテクチャ
ハッカソン プレゼン資料	
チーム:オフ会
メンター:山川先生
メンバー:大政孝充、根本直幸、坂井尚行、桑田純哉
2016/10/10
概要	
使用する環境:LIS、BriCA等
開発するモデル:記憶+予測で行動を学習
ゲームの内容	
犬、猿と接触したので、
次は雉がターゲット	
過去の記憶
をいかす
ゲームの内容	
雉の動きを予測して、
雉の移動先へ向かう	
未来の予測
をいかす
元々のLIS-ver2モデル	
227	
227	
6	
6	
256	
AlexNet	
36	
36	
image	
depth	
	
256	
action数	
学習部分	
imageとdepthから全結合を経て出力
今回のモデル 全体図	
image	
	
fully-
connected	
Q(s,a)	
PredNet	 AlexNet	
depth	
メモリユニット	AlexNet	
予測の流れ	
記憶の流れ
10/10 13:00時点のモデル	
image	
	
fully-
connected	
Q(s,a)	
PredNet	 AlexNet	
depth	
メモリユニット	AlexNet	
CPUでのみ稼働
予測の流れ	
image	
	
fully-
connected	
Q(s,a)	
PredNet	 AlexNet	
depth	
メモリユニット	AlexNet	
記憶の流れ	
PredNetへ現在
の画像を入力
予測の流れ	
image	
	
fully-
connected	
Q(s,a)	
PredNet	 AlexNet	
depth	
メモリユニット	AlexNet	
記憶の流れ	
PredNetから予
測画を出力
予測の流れ	
image	
	
fully-
connected	
Q(s,a)	
PredNet	 AlexNet	
depth	
メモリユニット	AlexNet	
記憶の流れ	
予測画の特徴を
抽出
記憶の流れ	
image	
	
fully-
connected	
Q(s,a)	
PredNet	 AlexNet	
depth	
メモリユニット	AlexNet	
記憶の流れ	
AlexNetへ現在
の画像を入力
記憶の流れ	
image	
	
fully-
connected	
Q(s,a)	
PredNet	 AlexNet	
depth	
メモリユニット	AlexNet	
記憶の流れ	
メモリユニットへ
現在の特徴量
を入力
PredNetの概要	
Al
t
=
xt
MAXPOOL RELU CONV El−1
t
( )( )( )
⎧
⎨
⎪
⎩
⎪
if l = 0
l > 0
Al
t
∧
= RELU CONV Rl
t
( )( )
El
t
= RELU Al
t
− Al
t
∧⎛
⎝
⎜
⎞
⎠
⎟;RELU Al
t
∧
− Al
t
⎛
⎝
⎜
⎞
⎠
⎟
⎡
⎣
⎢
⎤
⎦
⎥
Rl
t
= CONVLSTM El
t−1
, Rl
t−1
( ) 1層のみ使用
記憶ユニット(MQN)の概要	
Et
ht
Ot
W c
過去のimageを
encodeして溜め
込む	
Mt
val
= W val
Et
ht
ht
Pt
ht
Mt
val
記憶ユニット(MQN)の概要	
ht
W c
過去のimageを
encodeしてkey情報
として溜め込む	
Et
Ot
ht
ht
Pt
ht
Mt
val
Mt
key
= W key
Et
記憶ユニット(MQN)の概要	
ht
W c
key情報と現在
のcontexから
keyを作成	
Et
Ot
ht
ht
Pt
ht
Mt
val
pt,i =
exp ht
Τ
Mt
key
i[ ]⎡⎣ ⎤⎦
exp ht
Τ
Mt
key
j[ ]⎡⎣ ⎤⎦j=1
M
∑
記憶ユニット(MQN)の概要	
ht
W c
keyを使って引
き出す過去の
情報を選別	
Et
Ot
ht
ht
Pt
ht
Mt
val
ot = Mt
val
pt
記憶ユニット(MQN)の概要	
ht
W c
Et
Ot
ht
ht
Pt
ht
Mt
val過去の情報を
流す	
現在の情報を
流す
学習結果(予測モデルのみ)	
0
2
4
6
8
10
12
0 500 1000 1500 2000 2500 3000
結果がどうなるかご期待!
学習結果中のビデオ
  今後の記憶ユニット改善計画	
MQNに1)LSTMとfeedbackを加
えてFRMQNにする
出力側からのfeedbackを加える
et
ht
LSTMht−1,ct−1
ot
ot−1
LSTMを加えてcontextを回帰
させる
DQN〜MQN〜FRMQN
終わり

Hackathon 161010 pressen