This document is the introduction to Neural Turning Machine. It focuses only on arithmetic operation.

1. Deep Learningの最新動向
Neural Tuning Machinesのしくみ
株式会社 ウェブファーマー
大政孝充

2. 今回紹介する論⽂はこれ
[1]A.Graves, et. al.”Neural Turning Machines”
arXiv:14105.5401v2,2104

3. 全体像の解説はこちらを参照
森山氏が綺麗な資料をつくっています。
http://www.slideshare.net/naotomoriyama/
ss-69549087

4. 今回はここだけ解説
l Controllerの演算
l 重みの導出計算

5. 全体の概要

6. まず基本要素の定義
wt i( )
i
∑ =1, 0 ≤ wt i( )≤1,∀i.
Mt
M
N
重み・・・読み込みや書き込みで使用する
メモリ・・・記憶された情報
location方向
contents 方向

7. 読み込み
iwt
Wt
Mt i( )rt ← wt i( )Mt i( )
i
∑
0.1
0.3
・
・
0.1
どのlocationを強く読
み込むか

8. 書き込み（１）erase
iwt
Wt
Mt i( )
i Mt−1 i( )
et
0.5, 0.3, ・・・・,0.8
→何番目の要素を強
く消すか。
0.5, 0.3, ・・・・,0.8
0.5, 0.3, ・・・・,0.8
0.5, 0.3, ・・・・,0.8
0.5, 0.3, ・・・・,0.8
wt
Wt
0.1
0.3
・
・
0.1
強く読み出すlocation
は強く消しておく？
Mt−1 i( ) 1− wt i( )et
⎡⎣ ⎤⎦

9. 書き込み（２）write
iwt
Wt
Mt i( )
i Mt−1 i( )
at
0.4, 0.7, ・・・・,0.2
→何番目の要素を強
く書き込むか。
Wt
0.1
0.3
・
・
0.1
強く消したlocationは
強く書き込む
Mt i( )← !Mt i( )+ wt i( )at
0.4, 0.7, ・・・・,0.2
0.4, 0.7, ・・・・,0.2
0.4, 0.7, ・・・・,0.2
0.4, 0.7, ・・・・,0.2

10. 0.1
0.3
・
・
0.1
ところで・・・重みってどうやってき
まるの？
Wt

11. 重み決定過程の全貌
これが重み決定過程の全貌！
ちょっとややこしいので、１つ１つ見ていく。

12. 重み決定過程①：Content Adressing
wt
c
i( )←
exp βtK kt, Mt i( )⎡⎣ ⎤⎦( )
exp βtK kt, Mt j( )⎡⎣ ⎤⎦( )j
∑
K u,v[ ]=
u⋅v
u ⋅ v
現在のメモリとkey
との類似度を求める
i
kt

13. 重み決定過程①：Content Adressing
wt
c
i( )←
exp βtK kt, Mt i( )⎡⎣ ⎤⎦( )
exp βtK kt, Mt j( )⎡⎣ ⎤⎦( )j
∑
K u,v[ ]=
u⋅v
u ⋅ v
kt
Mt−1 i( )
0.4, 0.7, ・・・・,0.2
0.6, 0.1, ・・・・,0.3
K kt, Mt i( )⎡⎣ ⎤⎦=
kt ⋅ Mt i( )
kt ⋅ Mt i( )
=
0.4⋅0.6 + 0.7⋅0.1+!+ 0.2⋅0.3
0.42
+ 0.72
+!+ 0.22
⋅ 0.62
+ 0.12
+!+ 0.32
=
4.0
2.5⋅2.0
= 0.8
例

14. 重み決定過程①：Content Adressing
wt
c
i( )←
exp βtK kt, Mt i( )⎡⎣ ⎤⎦( )
exp βtK kt, Mt j( )⎡⎣ ⎤⎦( )j
∑
key強度 をかける βt
βtK kt, Mt i( )⎡⎣ ⎤⎦= 0.7⋅0.8
= 0.56

15. 重み決定過程①：Content Adressing
epsilonをとる
=1.75
exp βtK kt, Mt i( )⎡⎣ ⎤⎦( )= exp 0.56( )
wt
c
i( )←
exp βtK kt, Mt i( )⎡⎣ ⎤⎦( )
exp βtK kt, Mt j( )⎡⎣ ⎤⎦( )j
∑

16. 重み決定過程①：Content Adressing
wt
c
i( )←
exp βtK kt, Mt i( )⎡⎣ ⎤⎦( )
exp βtK kt, Mt j( )⎡⎣ ⎤⎦( )j
∑
=
1.75
8.72
= 0.2
wt
c
i( )←
exp βtK kt, Mt i( )⎡⎣ ⎤⎦( )
exp βtK kt, Mt j( )⎡⎣ ⎤⎦( )j
∑
=
1.75
1.75+ 0.97+!+1.18
softmaxで正規化する

17. 重み決定過程②：Interpolation
0 ≤ gt ≤1
前時刻の と のど
ちらを多く取るか
wt
g
← gtwt
c
+ 1− gt( )wt−1
wt−1 wt
c

18. 重み決定過程③：Convolution Shift
位置方向に畳み込む
!wt i( )← wt
g
j( )st i − j( )
j=0
N−1
∑

19. 0.1
0.3
0.2
0.3
0.1
重み決定過程③：Convolution Shift
!wt i( )← wt
g
j( )st i − j( )
j=0
N−1
∑
wt
g
0.09
0.04
0.03
0.12
0.72
st
0.1
0.3
0.2
0.262
0.1
st 0( )
st 1( )
st 2( )
st 3( )
st 4( )
wt
g
0( )
wt
g
1( )
wt
g
2( )
wt
g
3( )
wt
g
4( )
の場合 i = 3
!wt 3( )← wt
g
j( )st 3− j( )
j=0
N−1
∑
!wt 3( )
例えば
= 0.1×0.04+ 0.3×0.03+ 0.2×0.12+ 0.3×0.72+ 0.1×0.09
= 0.203
0.09 st 4( )

20. 0.1
0.3
0.2
0.3
0.1
重み決定過程③：Convolution Shift
wt
g
0.02
0.04
0.08
0.14
0.72
st
st 0( )
st 1( )
st 2( )
st 3( )
st 4( )
wt
g
0( )
wt
g
1( )
wt
g
2( )
wt
g
3( )
wt
g
4( )
i が増加すると、畳み込みフィ
ルタがShift (rotation)する
st 4( )0.02

21. sharpening
1≤γt
畳み込みでぼやけた
分を先鋭化する wt i( )←
!wt i( )
γt
!wt j( )
γt
j
∑

22. 以上