10. 10
MEM(episodic memory)は、いくつかのタスクで重要。
Auxiliary lossによって性能が改善する。
• Adding MEM improved scores on nine tasks in training, six in holdout-interpolate, and six in
holdout-extrapolate.
• Adding MEM helped to significantly boost holdout performance for Transitive Inference, AVM, and
Continuous Recognition.
11. 11
Synergistic effect of MEM + CPC, for LSTM
• LSTM + CPCの上がり幅とLSTM + MEMの
上がり幅の合計より、LSTM + MEM + CPC
の上がり幅の方が大きい
– MEM + CPCによってシナジー効果が生ま
れてる?