•
–
•
–
•
–
•
–
•
•
•
������������
�����• ����������� ��������
��• ����������� ���������������
�����������������• �����������
��• �������������Lp��������
• ���������������������L�����������r
�Ld����
– ������������m���
– ��������������������������������
��d
������������
• ����������������
• ������ )����� � ����)��������
• ) ������* �����������*���
yy
hh
xx
W
w
yy
h1h1
x1x1
h2h2
x2x2
f(n) n
W x h
w h y
•
–
–
•
–
•
–
���� 1�������������
���• 1.���������
0 1
x1
0
1
x2
Original x space
��� 0�,-�������
������������������������������
�����������������������������������
�������
����1��������������
������������1����������� �������������1���������
�����������������������������������������������
��������������������
/���������2��������
������/.��2
�������������������������
����������������������������������
• ��� �����������������
• ����������������������������������
����������������������
0
z
0
g(z)=max{0,z}
��� )�����������
• ���������������������������
• ���������������
•
•
•
•
����� ����������������������
�����������������������
�����������.
��������������
���������
���������
.�����������������
�����������������������������������
������
��� ������� ������������������������ ������
•
•
•
–
–
������������������
• ���������������������������;��6
��– ������������ �����
���– �������a��6������������������
�
���• ����������;6������y��oe�����
�������• �������������������� ������������
��• ���6�������������������;��������
t;����6�������������������������
•
•
•
•
•
•
•
•
������������������������������
• ����,���
• ����������
• ��������������������������,����������
0������
• �������������������
• �������������������
•
•
•
•
•
Output Type
Output
Distribution
Output Layer Cost Function
Binary Bernoulli Sigmoid
Binary cross-
entropy
Discrete Multinoulli Softmax
Discrete
cross-entropy
Continuous Gaussian Linear
Gaussian
cross-entropy
(MSE)
Continuous
Mixture of
Gaussian
Mixture
Density
Cross-
entropy
Continuous Arbitrary
See part III: GAN,
VAE, FVBN
Various
����������������� ����
�����2���� � ���������
����������
���� ��������� ���������
��������
�� �
•
•
•
•
•
–
•
! " = $%&{(, "}
•
•
•
•
–
h"ps://towardsdatascience.com/ac3va3on-func3ons-neural-
networks-1cbd9f8d91d6
����� ���������� �����
• ���n ! " = max 0, " + *min(0, ")
• ����������������������������� ! " = |"|
• ���3������� * = 0.01�������
• ����������� �*�����������
• ������������������ ������
• ��3�����������������������
• ������������
���3������
������
h"ps://www.slideshare.net/Takayosi/miru2014-tutorial-deeplearning-37219713
https://towardsdatascience.com/activation-functions-neural-
networks-1cbd9f8d91d6
���������������������������������
����• ������������������
������������– �����! " = $(")
�������������– �����! " = tanh(")
• ������������tanh " = 2$ 2" − 1 ���
��• ����2��������2��������������
����– �����������
�������������• ��2������
– ������������������
����• �������������������
������– 2������
�����– ��
•
•
•
•
•
•
–
•
•
•
•
•
–
–
•
–
–
•
•
•
–
–
•
•
��������������� �����
• ������(
������
• �����������
���
• �����/4(��
�����������
�����������
�������
•
•
•
•
•
ResNet
��� ��������������������
•
������ ���������������������������
•
•
• ! "#!(#, &)
– #
– &
– !
�������ae���
• �e ����������������������
• ��������������
– �����������������������������������
• �� ������e������� � ������������� ����������
! = #$ �ae
%$ = &(()* + ,) ����������e
�����
��������������
)������������
• ������������������� ���������������
• ������������������������������6�������
• �������
• ��������������
• �������������
• �������
(6.44)
(6.45)
(6.46)
(6.47)
! = # $ , & = ' # $ = ' !
'6#���������������
( ∈ ℝ+
, , ∈ ℝ-
,
#�ℝ+
��ℝ-
�����
'�ℝ-
��ℝ����
•
–
–
•
– ! "
–
�������������������������� ����
�������������������������� ����
• ���
���������������
���• ��������������s�����������������������h�����
c�
�����������• �nu����������������� ��������������� �y��
��
• �����������������������
��������������������
• �����������
• �����������������������
�����������
• �����������������
�� ���������
• ������������ ���������� ��������������������� �� ���� �������� ���������� ���� ������
•
•
–
–
–
•
����������3������ �����
����� �����������������
������ ������
������ ������������������
������������������
������ ������
������������������������������ �����
�.��
�����
����
������������������������������ ����
���
����
�����
����
����
����
���������������������������/�� ����
����
!"($)&3���
'3(())/�������
!"($)& = +,' + 2/"())
������������������������������ ����
����
!"($)&����
���)�������
!'& = )" * +
,(-)
!"($)& = .+
)/
+ 22"(-)
������������������������������ ����
• �����������������
• ����������� ! " ,	"��������
– �������
• ����������� ! "
– �����������
• ������� ��%&' ��%����������� &' ������������
– ���������������������(����
������������� �����
�����• ��6)���������������
��• ���������������
����– �����������)������ ����/����
���• ������
����– ���������/5)��/�����������/��
���• ������������
•
•
•
–
•
• ! = − ∑% &% log *%
– +,-
! = *% − &%
–
•
����������������������� ����
• �������������������������������
• ��������������������������������
• ����������� ����
– ���������� ����������
• �����������������������������������
��
• �����������������������
– ����������������������
����������������������� ����
������• �������
��– ��������������9����������
����• �������
���– ���������36����������
�������– 9�36������������3��������
���• �����5��3�����
�������– �������������������������
���• 9�36������35����������������
•
–
•
������������� ����
• ����������������1���
– ��! ∶ ℝ$ → ℝ �������������1&×&
– ���������&1�������
• ���� ����
– ����������������������
– �����(��������)�����
– �������������������
���������� ����
• �����������������������
• ��� 4��������������������� 4�������������
• ���������������������
– ������������������������ ����������
• ����������������� 4������������������������������������ �������������
– ��������������������
– ������������
• �����������������������
• �������������� 4��������������������
���������� ����
�����������)���������������)��
���• �������2�2��
���– ������������
�����������• ����2���������
���– ��������������������
������• ���
����– ���������������������� �����������
�����• ���������������8��������
– ����������������������
���������� ����
• �����7���������������7����� ������� ����
• ����� ������� �������
– �����������������������������������������
• ���������������
– ����������������������������������
• �7���������������7���������� �����������
– ������������ 3����7���7������������
• �7���������������7����� �����������������������������
• �������������������������
– ������������3������ 7������������
• ����������������������������
• 1702����������������������������������
��1702 ���7���������������7����� �
���������� ����
• ��������������������������������������
���������������
• ��������������������� ���
– ������������������� �����
– ������������������������������� ���
• ������������
• �����������������������������
����
• �������9�D�D�
– 69D������������������9 ��D������9��D����������
– ����
������������9�9��D�������������������������������
�������������69D�������������������������

[DL輪読会]Deep Learning 第6章 深層順伝播型ネットワーク