����������������� ����
��� ������������������
����������
�������������
�������
��������
•
•
•
– !(#) %
•
•
•
• !"#$# %, '
•
–
–
•
•
–
•
–
•
•
–
•
•
•
•
•
–
–
•
•
•
•
•
•
•
–
•
•
•
• !
•
•
•
•
–
•
•
•
�����������
• ������������������������������
– �� ���!����������������������������
���
– ��������������������������������
�����������������
– �����������������
• ���������������������������������
�������������������������!��������
���������������
•
•
•
•
•
•
•
–
–
–
•
•
• !"
• # =
"
%
&
• & !%
• !'
–
–
•
•
•
•
• ! "
•
•
•
•
–
���������������
• ����������������������������������
��������������������������������
• 1�����2������������������������������
�2����2��� ���������������������������
• ����������������������������������
�����������������
���������������
• ������������������������
. �������������
– ��������������������������������
������� �������������
– �������������������������������� ��
������������������������������
. �������������������������
– ���������������������������
����������������� ����
��� ������������������
����������
��� ����
������
•
–
–
–
–
•
–
–
–
•
–
–
–
–
–
–
•
–
•
–
•
•
–
–
–
•
!(#$%) ← (!(#) + 1 − ( ,(#) ⊙ , #
= 1 − ( /
01%
#
(#20,(0) ⊙ ,(0)
–
����������
• ������� �����������������
– �����������������������������
•
•
–
–
–
–
•
–
! " ≈ ! "$ + " − "$
'("! "$ +
)
*
" − "$
'+(" − "$)
•
" ← " − +/)0
– 0 = ("!("$)
– + = ("
*
!("$)
������������ ����������������
• �������������������������
• ���������
– ���������������
– ����������������������������������
��������������������
– ��������������������������������
ws ����
!∗ = !$ − &(( !$ + *+ ,-.!((!$)
– ��������������������������s��
•
– ! "#
–
–
•
–
–
•
•
!∗ = !$ − &'()!*(!$)
– &'( - ./
•
– 01
!12( = !1 + 4∗0151
–
���������������������������������
• ��P������P)��)�����
!" = $%&%'%' ⋯ %)
• �� %&, %', %+, … , %- P������� .&, .', .+, … , .- �����������
������P������
!" = $ %& − 0.& %' − 0.' %+ − 0.+ ⋯ (%) − 0.))
• ������P�� .- ��P�����������L�������P
L�������������������������
– ������P������ 0'.&.' ∏45+
)
%4 ����� %+, %6, %7, … , %)
P���������������������������������
�����������
– ������������L������������������
���������������������������������
• ��������������������
!" =
! − %
&
% =
1
(
)
*
!*,⋅ , & = - +
1
(
)
*
! − % *
/
• ���� 01 = 2343/35 … 3_8 �� 2 ∼ :(0,1) ��������������
��������� ������
ℎ?@4 ∼ : 0,1
���������������������� 3?@4 ���������
01 = 3?@4
Aℎ?@4
��������������������������������
• ������������ ∏*C5
?
3* ��������
���������������������������������
• ���������������������������������
– ������������������
• �����������������������������������
������������������������
!"# + %
• ������ �������������������
– ��������������������������������
���
– ���������������� ! �������
• ����������������������������������
������������������������������8
• �����
– ��������8�������������
– ��������������������
– ������������������������
• o�8
min
$,&
'($, &) = +
,,-
.,,- + +
,,-
0 − &2$ ,,-
3
– �������������������������������
– �����������������������������
• o�8
min
45,46
7 89, 83 = 89 − 83
3 + :(89
3
+ 83
3
) , : > 0
��������������������� ���������3
• ����������������������������������
!" # =
1
&
'
(
" (
!" ) = !" )*+ −
1
&
(!" )*+ − " ) )
– ��������������������������������
����
– ���������������������
– ����������������������������������
�����������
!" ) = /!" )*+ + 1 − / " )
htt // b / d /540 2011/l t /l5 df
•
–
•
–
–
–
•
•
–
–
•
•
–
–
•
–
•
–
•
–
!
!"
#(%)
–
!
!"
# % + % =
!
!"
# % + 1
•
–
–
������������������������������8���������
• ������������������������8
– ��������������������
– �����������������������
! " # = %#&~( #&,#,* + , !(#.)
– ��� �������� ������ �������� ������
– ��������������������������8
•
–
–
–
•
–
–
����
• �������9�D�D�
– 69D������������������9 ��D������9��D����������
– ����
������������9�9��D�������������������������������
�������������69D�������������������������

[DL輪読会]Deep Learning 第8章 深層モデルの訓練のための最適化