Документ обсуждает использование глубоких нейронных сетей в качестве гауссовых процессов и анализирует алгоритмы для работы с набором данных MNIST и CIFAR-10. Рассматриваются различные методы, стандарты и математические модели, включая многослойные перцептроны (MLP) и их применение. Авторы сосредотачиваются на теоретических основах и практических аспектах реализации этих алгоритмов.

1. ��
DEEP LEARNING JP
[DL Papers]
http://deeplearning.jp/
�������������������������������������������
Hirono Okamoto, Kato・Nakamura Lab

2. �����
n ����: Deep Neural Networks as Gaussian Processes
n ICLR 2018 accepted
n ��: Jaehoon Lee, Yasaman Bahri, Roman Novak , Samuel S.
Schoenholz, Jeffrey Pennington, Jascha Sohl-Dickstein (Google Brain)�
n ��: MLP�����GPR���N�
n ������������W�����MLP��������
n �������������G�������
n �������������������������
n �����������������

3. ���
n ��
n �����������(GPR)W�
n �����������W���������
n ����
n MLP������
n MNIST�CIFAR-10����

4. ��: ������������
n �������������������
n φ(x)�����
n ��W�� y �������
n �(����x���)�����
n y���0����K��������W��
n �wWGΦWG�������G�x���WN��K�����������
(��������)

5. ���wWGφWG���������
n ���������G���������W...?
n ����Wφ�10��
n ����11��������10^11
������������W���
�����W��

6. ��G�K�����W...�
n ������G����� � �������k(x, x’)�����
n ���������������
���������W������
�������

7. ��: ������������
n ����������
n ���������
n m, �������!
N(tN+1|m(xN+1), σ2
(xN+1))

8. ��: ������������
n ���
n ��������� x 2
n ��� sin + ���������
n �������� m
n �����W�����G��
���������W��G�
���������!
n ��: �����������
����������������
�������W����W����
N(tN+1|m(xN+1), σ2
(xN+1))

9. ��: �����������W����������
n �������(��)��������������������
n x: ���Φ: �����
n w, b�iid����W���������������iid�
���W���������G���� ∞
W��W����������� [Neal, 1994]
n �����������������������
���������
������������������
N1
φ
W0
W1
x1
j z1
ix1
j0
z1
i
z1
i

10. ��: �����������W����������
n �������������G
n C�WWb�����N���
n �������������G�NN�������������
��N��������������������N�!
z1
i

11. ��������W������������
n ������ = ����� – ����
n ��������W�������������W������N��

12. ���
n ��
n �����������(GPR)W�
n �����������W���������
n ����
n MLP������
n MNIST�CIFAR-10����

13. ����: MLP�������
n ����L���W��MLP����
n L−1��������������W��
n �iid��������L�������� � ∞ W��W�
L��������������
n ���L-1������WN�W����F_φ�L�������
�����!
n �L����������������������
zl Nl

14. ����: MLP�������
n F_φ������������
n ReLU�W��������� [Cho & Saul, 2009]
n ��������W����������W���� (��������)
n F�sWc���, s�K(x, x)�c�K(x, x’)/K(x, x)����

15. ����: MNIST�CIFAR-10����
n �����N�����W��� [Rifkin & Klautau, 2004] ����
�����
n �����:
n onehot : [-0.1, -0.1, ..., 0.9, ..., -0.1]
n �� 0
n ������0.9
n ��������-0.1
n ��: �������
n ��: �����
n L��MLP���������������������
N(tN+1|m(xN+1), σ2
(xN+1))=�

16. ����: MNIST�CIFAR-10����
n NN-���-�����-w���-b���
n GP-���-w���-b����

17. ����: MNIST�CIFAR-10����
n ���������������������W��G�
���G�(��)��G����������

18. �����
n [Neal, 1994] Priors for infinite networks
n [Cho & Saul, 2009] Kernel methods for deep learning
n [Rifkin & Klautau, 2004] Regularized least-squares classification
n [Bishop] Pattern recognition and machine learning
n [Murphy] Machine learning a probabilistic perspective�