Slide for study session given by Haruya Umemoto at Arithmer inc.
It is a summary of conference "ACL2020".
The slides are written in Japanese.
Arithmer株式会社は東京大学大学院数理科学研究科発の数学の会社です。私達は現代数学を応用して、様々な分野のソリューションに、新しい高度AIシステムを導入しています。AIをいかに上手に使って仕事を効率化するか、そして人々の役に立つ結果を生み出すのか、それを考えるのが私たちの仕事です。
Arithmer began at the University of Tokyo Graduate School of Mathematical Sciences. Today, our research of modern mathematics and AI systems has the capability of providing solutions when dealing with tough complex issues. At Arithmer we believe it is our job to realize the functions of AI through improving work efficiency and producing more useful results for society.
Slide for study session given by Haruya Umemoto at Arithmer inc.
It is a summary of conference "ACL2020".
The slides are written in Japanese.
Arithmer株式会社は東京大学大学院数理科学研究科発の数学の会社です。私達は現代数学を応用して、様々な分野のソリューションに、新しい高度AIシステムを導入しています。AIをいかに上手に使って仕事を効率化するか、そして人々の役に立つ結果を生み出すのか、それを考えるのが私たちの仕事です。
Arithmer began at the University of Tokyo Graduate School of Mathematical Sciences. Today, our research of modern mathematics and AI systems has the capability of providing solutions when dealing with tough complex issues. At Arithmer we believe it is our job to realize the functions of AI through improving work efficiency and producing more useful results for society.
15. Differentiable Neural Computer (DNC)
3.System overview
従来のコンピュータ
メモリ内容にアクセスするための固有のアドレスを使用
a. コントローラ
b. Read and write heads
c. Memory
d. Memory usage and temporal links
DNC
微分注目機構使用上の分布を定義するために、
N個の内、行
または「場所」N×W 記憶マトリックスM
15
17. Differentiable Neural Computer (DNC)
4.Interaction between the heads and the memory
ヘッドとメモリの相互作用
3つのattention
①コントローラによって発せられた鍵ベクトル類似性測度に応じてメモリ内の各位置の内容と比較され
ている
類似性スコア
連想リコールのために読取りヘッドによって、またはメモリ内の既存のベクトルを修正するために書込
みヘッドによって使用され得る重み付けを決定する。
メモリロケーションのコンテンツと部分的にしか一致しないキーは、そのロケーションに強く依存する
ために引き続き使用できる
17
18. Differentiable Neural Computer (DNC)
4.Interaction between the heads and the memory
パターンの完成が可能になり、メモリ位置を読み取ることによって回復される値は、キーに存在しない
追加の情報を含む
キー値検索は、外部メモリ内の連想データ構造をナビゲートするための豊富なメカニズムを提供
16、17、19、20、21論文に基づく
19:Hintzman, DL MINERVA 2: a simulation model of human memory .
https://link.springer.com/article/10.3758/BF03202365
モデルは、
(1)エピソードトレースのみがメモリに記憶されていること、
(2)アイテムの複数のトレースを繰り返すこと、
(3)検索キューがすべてのメモリトレースに同時に接触すること、
(5)すべてのトレースが並行して応答し、検索された情報がそれらの合計出力を反映すること。
18
19. Differentiable Neural Computer (DNC)
4.Interaction between the heads and the memory
このモデルは、周波数および認識の判断タスク、
スキーマ抽象化タスク、およびペアアソシエート学習において、
人間の被験者に見られる様々な現象に成功して適用されてきました。
[2]N×Nの時間的リンク行列Lにおける連続的に書き込まれた位置の間の遷移を記録
[3]書き込みのためのメモリを割り当て
各位置の「使用法」
0と1の間の数として表され、
使用されていない場所を選ぶ重み付けが書込みヘッドに送られる。
19
20. Differentiable Neural Computer (DNC)
4.Interaction between the heads and the memory
しかし、DNCの記憶メカニズムと哺乳動物海馬の機能能力との間には、興味深い類似点がある。
DNCメモリの修正は速く、ワンショットにすることができ、海馬CA3シナプスおよびCA1シナプスの長期的
な増強に似ています22。
海馬歯状回(neurogenesis)23を支持することが知られている領域は、表現型
希薄さを増加させ、それにより記憶容量を24倍にすることが提案されている24:使用量ベースのメモリ割
り当ておよび疎な重み付けは、本モデルで同様の機能を提供する可能性があります。
人間の「フリー・リコール」実験は、一時的な文脈モデル25によって説明される海馬依存性の現象であり、
一時的なリンク(方法)の形成といくらかの類似性を有する、最初に提示されたのと同じ順序でのアイ
テム想起の増加した確率を示す。
20