PredNet on Chainer https://github.com/quadjr/PredNet

1. PreadNetの実装と挙動観察
桑田 純哉
2016/6/19
全脳アーキテクチャ
Deep PredNet 研究ハッカソン

2. 目次
•
自己紹介
•
PredNetの実装方法
•
KITTIデータ(車載映像)での挙動観察
•
衛星画像での挙動観察

3. 自己紹介
•
名前：桑田 純哉 (@quadjr)
•
所属：メーカのエンジニア
– 回路、FPGA設計
– 画像処理、映像配信ソフト開発
– アプリ開発
– なんでもやります
•
趣味：電子工作、プログラミング
•
最近DeepLearning 始めました

4. PredNetの実装
•
Chainer上にPredNetを実装
https://github.com/quadjr/PredNet
•
実装上の都合、論文の処理を一部改変

5. 論文との差異
•
入力のタイミングを変更 (処理はほぼ等価)
Ｒt t Et
t
Ｒt+1
t+
1
Et+1
t+
1
Ｒt t Et
t
Ｒt+1
t+
1
Et+1
t+
1
論文
予測と入力との誤差が結果
計算途中の予測を取り出す
Ｒt+2 tEt
t
Ｒt+1
t+
1
Et+1
t+
1
Ｒt+2 tEt
t
Ｒt+1
t+
1
Et+1
t+
1
今回
予測が結果
誤差予測 予測

6. 論文との差異
論文 今回
+ ReLU?

7. 2入力ConvLSTM
•
オリジナルのConvLSTMは1入力1出力
•
今回のPredNetは2入力のため入力を拡張
Ｒt+2 t Et+1
t+
1
Ｒt+2 t Et+1
t+
1
y
y
y
y
y
y
y
y
1つ目の入力と並列に追加
拡張

8. KITTIデータでの挙動
•
PredNetのパラメータは論文と同じ
•
対象はKITTIのCity, Residesial, Roadの42,746枚
•
中央の160x128画素を切り出し使用
•
全ての画像を順次PredNetに入力し学習

9. 衛星画像での挙動
•
PredNetのパラメータは論文と同じ
•
対象は日本気象協会の赤外衛星画像 (276x207画素)
2012/1/1〜2016/6/16 １時間間隔の38,935枚
•
日本周辺の160x128画素を切り出し使用
•
全ての画像を順次PredNetに入力し学習

10. まとめ
•
Chainer上でPreadNetを実装
•
KITTIデータ及び衛星画像で予測動作を確認
•
とりあえず動いてるっぽい
•
Python楽だ！
•
Chainerすごい！
•
PredNetすごい！
•
紅莉栖ありがとう！