Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

[DL輪読会]Deep Learning 第6章 深層順伝播型ネットワーク

573 views

Published on

2017/11/13
Deep Learning JP:
http://deeplearning.jp/seminar-2/

Published in: Technology
  • Be the first to comment

[DL輪読会]Deep Learning 第6章 深層順伝播型ネットワーク

  1. 1. • – • – • – • – • • •
  2. 2. ������������ �����• ����������� �������� ��• ����������� ��������������� �����������������• ����������� ��• �������������Lp�������� • ���������������������L�����������r �Ld���� – ������������m��� – �������������������������������� ��d
  3. 3. ������������ • ���������������� • ������ )����� � ����)�������� • ) ������* �����������*��� yy hh xx W w yy h1h1 x1x1 h2h2 x2x2 f(n) n W x h w h y
  4. 4. • – – • – • –
  5. 5. ���� 1������������� ���• 1.��������� 0 1 x1 0 1 x2 Original x space
  6. 6. ��� 0�,-������� ������������������������������ ����������������������������������� ������� ����1�������������� ������������1����������� �������������1��������� ����������������������������������������������� �������������������� /���������2�������� ������/.��2 �������������������������
  7. 7. ���������������������������������� • ��� ����������������� • ���������������������������������� ���������������������� 0 z 0 g(z)=max{0,z}
  8. 8. ��� )����������� • ��������������������������� • ���������������
  9. 9.
  10. 10. • • •
  11. 11. ����� ���������������������� ����������������������� �����������. �������������� ��������� ��������� .����������������� ����������������������������������� ������ ��� ������� ������������������������ ������
  12. 12. • • • – –
  13. 13. ������������������ • ���������������������������;��6 ��– ������������ ����� ���– �������a��6������������������ � ���• ����������;6������y��oe����� �������• �������������������� ������������ ��• ���6�������������������;�������� t;����6�������������������������
  14. 14. • • • •
  15. 15. • • • •
  16. 16. ������������������������������ • ����,��� • ���������� • ��������������������������,���������� 0������ • ������������������� • �������������������
  17. 17. • • • • •
  18. 18. Output Type Output Distribution Output Layer Cost Function Binary Bernoulli Sigmoid Binary cross- entropy Discrete Multinoulli Softmax Discrete cross-entropy Continuous Gaussian Linear Gaussian cross-entropy (MSE) Continuous Mixture of Gaussian Mixture Density Cross- entropy Continuous Arbitrary See part III: GAN, VAE, FVBN Various
  19. 19. ����������������� ���� �����2���� � ��������� ���������� ���� ��������� ��������� �������� �� �
  20. 20. • • • • • – •
  21. 21. ! " = $%&{(, "} • • • • – h"ps://towardsdatascience.com/ac3va3on-func3ons-neural- networks-1cbd9f8d91d6
  22. 22. ����� ���������� ����� • ���n ! " = max 0, " + *min(0, ") • ����������������������������� ! " = |"| • ���3������� * = 0.01������� • ����������� �*����������� • ������������������ ������ • ��3����������������������� • ������������ ���3������ ������ h"ps://www.slideshare.net/Takayosi/miru2014-tutorial-deeplearning-37219713 https://towardsdatascience.com/activation-functions-neural- networks-1cbd9f8d91d6
  23. 23. ��������������������������������� ����• ������������������ ������������– �����! " = $(") �������������– �����! " = tanh(") • ������������tanh " = 2$ 2" − 1 ��� ��• ����2��������2�������������� ����– ����������� �������������• ��2������ – ������������������ ����• ������������������� ������– 2������ �����– ��
  24. 24. • • • • • • – • • • •
  25. 25. • – – • – – •
  26. 26. • • – – • •
  27. 27. ��������������� ����� • ������( ������ • ����������� ��� • �����/4(�� ����������� ����������� �������
  28. 28. • • • • • ResNet
  29. 29. ��� �������������������� • ������ ��������������������������� • • • ! "#!(#, &) – # – & – !
  30. 30. �������ae��� • �e ���������������������� • �������������� – ����������������������������������� • �� ������e������� � ������������� ���������� ! = #$ �ae %$ = &(()* + ,) ����������e �����
  31. 31. �������������� )������������ • ������������������� ��������������� • ������������������������������6������� • ������� • �������������� • ������������� • ������� (6.44) (6.45) (6.46) (6.47) ! = # $ , & = ' # $ = ' ! '6#��������������� ( ∈ ℝ+ , , ∈ ℝ- , #�ℝ+ ��ℝ- ����� '�ℝ- ��ℝ����
  32. 32. • – – • – ! " –
  33. 33. �������������������������� ����
  34. 34. �������������������������� ���� • ���
  35. 35. ��������������� ���• ��������������s�����������������������h����� c� �����������• �nu����������������� ��������������� �y�� �� • ����������������������� �������������������� • ����������� • ����������������������� ����������� • �����������������
  36. 36. �� ��������� • ������������ ���������� ��������������������� �� ���� �������� ���������� ���� ������
  37. 37. • • – – –
  38. 38.
  39. 39. ����������3������ ����� ����� ����������������� ������ ������ ������ ������������������ ������������������ ������ ������
  40. 40. ������������������������������ ����� �.�� ����� ����
  41. 41. ������������������������������ ���� ��� ���� ����� ���� ���� ����
  42. 42. ���������������������������/�� ���� ���� !"($)&3��� '3(())/������� !"($)& = +,' + 2/"())
  43. 43. ������������������������������ ���� ���� !"($)&���� ���)������� !'& = )" * + ,(-) !"($)& = .+ )/ + 22"(-)
  44. 44. ������������������������������ ���� • ����������������� • ����������� ! " , "�������� – ������� • ����������� ! " – ����������� • ������� ��%&' ��%����������� &' ������������ – ���������������������(����
  45. 45. ������������� ����� �����• ��6)��������������� ��• ��������������� ����– �����������)������ ����/���� ���• ������ ����– ���������/5)��/�����������/�� ���• ������������
  46. 46. • •
  47. 47. • – • • ! = − ∑% &% log *% – +,- ! = *% − &% – •
  48. 48. ����������������������� ���� • ������������������������������� • �������������������������������� • ����������� ���� – ���������� ���������� • ����������������������������������� �� • ����������������������� – ����������������������
  49. 49. ����������������������� ���� ������• ������� ��– ��������������9���������� ����• ������� ���– ���������36���������� �������– 9�36������������3�������� ���• �����5��3����� �������– ������������������������� ���• 9�36������35����������������
  50. 50. • – •
  51. 51. ������������� ���� • ����������������1��� – ��! ∶ ℝ$ → ℝ �������������1&×& – ���������&1������� • ���� ���� – ���������������������� – �����(��������)����� – �������������������
  52. 52. ���������� ���� • ����������������������� • ��� 4��������������������� 4������������� • ��������������������� – ������������������������ ���������� • ����������������� 4������������������������������������ ������������� – �������������������� – ������������ • ����������������������� • �������������� 4��������������������
  53. 53. ���������� ���� �����������)���������������)�� ���• �������2�2�� ���– ������������ �����������• ����2��������� ���– �������������������� ������• ��� ����– ���������������������� ����������� �����• ���������������8�������� – ����������������������
  54. 54. ���������� ���� • �����7���������������7����� ������� ���� • ����� ������� ������� – ����������������������������������������� • ��������������� – ���������������������������������� • �7���������������7���������� ����������� – ������������ 3����7���7������������ • �7���������������7����� ����������������������������� • ������������������������� – ������������3������ 7������������ • ���������������������������� • 1702���������������������������������� ��1702 ���7���������������7����� �
  55. 55. ���������� ���� • �������������������������������������� ��������������� • ��������������������� ��� – ������������������� ����� – ������������������������������� ��� • ������������ • �����������������������������
  56. 56. ���� • �������9�D�D� – 69D������������������9 ��D������9��D���������� – ���� ������������9�9��D������������������������������� �������������69D�������������������������

×