Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

[DL輪読会]Deep Learning 第8章 深層モデルの訓練のための最適化

360 views

Published on

2017/11/27
Deep Learning JP:
http://deeplearning.jp/seminar-2/

Published in: Technology
  • Be the first to comment

[DL輪読会]Deep Learning 第8章 深層モデルの訓練のための最適化

  1. 1. ����������������� ���� ��� ������������������ ���������� ������������� ������� ��������
  2. 2. • •
  3. 3. • – !(#) % • •
  4. 4. • • !"#$# %, ' • – – •
  5. 5. • – • – •
  6. 6. • – • •
  7. 7. • • • – –
  8. 8. • • • • • • • –
  9. 9. • • •
  10. 10. • !
  11. 11. • • •
  12. 12. • – • •
  13. 13.
  14. 14. ����������� • ������������������������������ – �� ���!���������������������������� ��� – �������������������������������� ����������������� – ����������������� • ��������������������������������� �������������������������!�������� ���������������
  15. 15. • •
  16. 16. • •
  17. 17. • •
  18. 18. • – – –
  19. 19. • •
  20. 20. • !" • # = " % & • & !% • !' – – •
  21. 21. • •
  22. 22. • • ! "
  23. 23.
  24. 24. • • • –
  25. 25. ��������������� • ���������������������������������� �������������������������������� • 1�����2������������������������������ �2����2��� ��������������������������� • ���������������������������������� �����������������
  26. 26. ��������������� • ������������������������ . ������������� – �������������������������������� ������� ������������� – �������������������������������� �� ������������������������������ . ������������������������� – ���������������������������
  27. 27. ����������������� ���� ��� ������������������ ���������� ��� ���� ������
  28. 28. • – – – – • – – – • – – – – – –
  29. 29. • – • – •
  30. 30. • – – –
  31. 31. • !(#$%) ← (!(#) + 1 − ( ,(#) ⊙ , # = 1 − ( / 01% # (#20,(0) ⊙ ,(0) –
  32. 32. ���������� • ������� ����������������� – �����������������������������
  33. 33. • • – – – –
  34. 34. • – ! " ≈ ! "$ + " − "$ '("! "$ + ) * " − "$ '+(" − "$) • " ← " − +/)0 – 0 = ("!("$) – + = (" * !("$)
  35. 35. ������������ ���������������� • ������������������������� • ��������� – ��������������� – ���������������������������������� �������������������� – �������������������������������� ws ���� !∗ = !$ − &(( !$ + *+ ,-.!((!$) – ��������������������������s��
  36. 36. • – ! "# – –
  37. 37. • – –
  38. 38.
  39. 39. • !∗ = !$ − &'()!*(!$) – &'( - ./ • – 01 !12( = !1 + 4∗0151 –
  40. 40. ��������������������������������� • ��P������P)��)����� !" = $%&%'%' ⋯ %) • �� %&, %', %+, … , %- P������� .&, .', .+, … , .- ����������� ������P������ !" = $ %& − 0.& %' − 0.' %+ − 0.+ ⋯ (%) − 0.)) • ������P�� .- ��P�����������L�������P L������������������������� – ������P������ 0'.&.' ∏45+ ) %4 ����� %+, %6, %7, … , %) P��������������������������������� ����������� – ������������L������������������
  41. 41. ��������������������������������� • �������������������� !" = ! − % & % = 1 ( ) * !*,⋅ , & = - + 1 ( ) * ! − % * / • ���� 01 = 2343/35 … 3_8 �� 2 ∼ :(0,1) �������������� ��������� ������ ℎ?@4 ∼ : 0,1 ���������������������� 3?@4 ��������� 01 = 3?@4 Aℎ?@4 �������������������������������� • ������������ ∏*C5 ? 3* ��������
  42. 42. ��������������������������������� • ��������������������������������� – ������������������ • ����������������������������������� ������������������������ !"# + % • ������ ������������������� – �������������������������������� ��� – ���������������� ! ������� • ����������������������������������
  43. 43. ������������������������������8 • ����� – ��������8������������� – �������������������� – ������������������������ • o�8 min $,& '($, &) = + ,,- .,,- + + ,,- 0 − &2$ ,,- 3 – ������������������������������� – ����������������������������� • o�8 min 45,46 7 89, 83 = 89 − 83 3 + :(89 3 + 83 3 ) , : > 0
  44. 44. ��������������������� ���������3 • ���������������������������������� !" # = 1 & ' ( " ( !" ) = !" )*+ − 1 & (!" )*+ − " ) ) – �������������������������������� ���� – ��������������������� – ���������������������������������� ����������� !" ) = /!" )*+ + 1 − / " ) htt // b / d /540 2011/l t /l5 df
  45. 45. • – • – – – •
  46. 46. • – – •
  47. 47. • – –
  48. 48. • –
  49. 49. • – • – ! !" #(%) – ! !" # % + % = ! !" # % + 1 • – –
  50. 50. ������������������������������8��������� • ������������������������8 – �������������������� – ����������������������� ! " # = %#&~( #&,#,* + , !(#.) – ��� �������� ������ �������� ������ – ��������������������������8
  51. 51. • – – – • – –
  52. 52. ���� • �������9�D�D� – 69D������������������9 ��D������9��D���������� – ���� ������������9�9��D������������������������������� �������������69D�������������������������

×