2018/08/17 Deep Learning JP: http://deeplearning.jp/seminar-2/

1. 1
Neural Arithmetic Logic Units (NALU)
Yuma Kajihara, Ikegami Lab

2. アウトライン
• 書誌情報
• 背景
• 提案モデル
• 実験
• まとめ
2

3. 書誌情報
• Title: “Neural Arithmetic Logic Units”
• Authors: A. Trask, et al. (Deepmind，Oxford，UCLの共著)
• ArXivに2018 8/1投稿．（書式的にNIPS？）
https://arxiv.org/abs/1808.00508
• Abstruct:
-”数”という表現形式を獲得するような機構を提案した．（数え上げタスク
において，先行研究から大きくパフォーマンスが向上した．）
3

4. 背景
• 人間にとっての四則演算→紙と鉛筆（とやる気）があればほぼ無限にある
程度正しく計算し続けることができる．
• 人間にとっての文章生成→（やる気）があればほぼ無限にある程度正しい
文を書き続けることができる．
• 人間は，有限のデータから「ルール」を学び，入力の大きさ，入力長に関
係なくそれを適用することができる．
• ニューラルネットワークは？
4

5. 背景
• 入力した数値xを出力する隠れ層3層の
オートエンコーダを学習させる．
• -n < x < n (n > 0)で学習させた場合，
|x’| > nのようなx’を入力すると，うまく
出力できなくなる．
→入力範囲に対する汎化ができていない！
• 活性化関数が，非線形であることに由来
している．
5

6. 背景
6

7. 提案モデル
• NACとNALU
- NAC：加算ができる論理ゲート
- NALU：NACを組み合わせ，加算に加え乗算ができるようにした．
7

8. 提案モデル
• NAC：重みの値が，{-1，0，1}となるように下のような機構を導入．
学習するパラメータは，2つある．バイアスはなし．
8
! = {tanh (*+ ) ⊙ .(/+)}1
https://www.reddit.com/r/MachineLearning/comments/94833t/neural_arithmetic_logic_units/

9. 提案モデル
• NALU
• aが加算を，mが乗算を，gが
スイッチの役割をしている．
9
! = # ⊙ % + 1 − # ⊙ )
! = #$% &'() $ + +
! = # $%
! = {tanh (*+ ) ⊙ .(/+)}1

10. 実験
• この研究の実験で，一貫して検証されていること：
学習時より大きい入力値，長い入力シーケンスをうまく処理することがで
きるかどうか
10

11. 実験（抜粋）
• 1. Simple Function Learning Tasks
- 長さnの入力ベクトルx
- 出力スカラーy
- aとbを下のように定義し，各タスクで
“y = a + b”のように定める．
- Static Taskでは，
- Recurrent Taskでは，
11
! = # $%
&
%'(
, * = # $+
,
+'&-(
! = # # $%,'
(
')*%
, + = # # $%,,
-
,)(.*%
テスト時の入力の大きさを，
学習時より大きくする．

12. 実験（抜粋）
• 2. MNIST Counting and Arithmetic Tasks
- Counting Task：Input Sequenceの中にどの数字のMNISTの画像が，何枚あるかを，長さ10
の出力ベクトルで解答させる．
- Arithmetic Task：MNISTのデータで前タスクのRecurrentバージョンを行う．
12

13. 実験（抜粋）
• 3. Learning to Track Time in a Grid-World Environment
- 決められたステップで，灰色のブロックを赤ブロックのところまで持っていく．
- タスク達成の最小移動量と，制限時間を同じ大きさに設定する．
13

14. まとめ
• 重みの値のパターンを限りなく少なくしようとする{-1, 0, 1}ことで，
ニューラルネットワーク上で近似的な論理ゲートを作ろうとした．
• NAC（ ）の提案が，一番のContributionで
あり，NALUは，a÷bや√aを解くための局所的なモデルのように思える．
• 下のRedditのスレッドで，かなり面白い議論が行われていた．（”log ->
linear -> exp”の代わりに，”asinh -> linear -> sinh”とNALUを改良する
と，パフォーマンスがよくなったなど）
https://www.reddit.com/r/MachineLearning/comments/94833t/
neural_arithmetic_logic_units/
14
! = {tanh (*+ ) ⊙ .(/+)}1

15. おまけ
• Sir Ravalさん（ディープラーニングYoutuber）が解説動画をアップして
いました．こちらの方が100倍分かりやすいかもしれないです．．．
https://www.youtube.com/
watch?v=v9E7Wg0dHiU&feature=youtu.be
• ソースコードも公開してくれています．
https://github.com/llSourcell/Neural_Arithmetic_Logic_Units
15