Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.

[DL輪読会]Deep Learning 第3章 確率と情報理論

51 views

Published on

2017/11/06
Deep Learning JP:
http://deeplearning.jp/seminar-2/

Published in: Technology
  • Be the first to comment

  • Be the first to like this

[DL輪読会]Deep Learning 第3章 確率と情報理論

  1. 1. ����������������� ���� @�� ������� ���������� ������� ����� �� �� �� ������������
  2. 2. �� 4.52• ����• 1���13� ����• ���� ����• ���� ����• ���� ����• ������ ����• ������3��� ����• ��0������ ����• ������0��� ����• ���1���� �����• ���1��3��1�� �����• 967� �����• ����3����� �����• ���� �����• ��������
  3. 3. • • – – • •
  4. 4. � � ������� ����• ������������������ ��– ������������ ����• ������������� ���– ��������������� ����• ������ ���– ����� ����• ���x������������������� ���– ���������� ���– ������ ��• ���������������������)� ����– ���
  5. 5. ��� ������� • ���������������������� ��– �y��������������� • ������������������������� • ���������������������� – �������������������nq���� ���• ������������f������������������ �������������� ����������������������������– ���������������� ���• �����������������������
  6. 6. �������� • ���������������� ���– ���������������� ���������• ���������������������������� ����������� �3 �– !1��!2������3������ �3 �– $������ �������������� ���• ���������
  7. 7. • – • – –
  8. 8. �������� � ����������� • �������������������������������� ����– ����� ��– ������������������������������ ������• !�������� !– ������x�f������������������� ��– ������������������������s����������� ��������������������������������������� �������� • ∀$ ∈ x, 0 ≤ !($) ≤ 1 ���– • ∑$ ∈ x!($) = 1
  9. 9. • – !– (x = %, y = () x = % y = ( ! (%, ()
  10. 10. ����fl�� � �����fl���� • ����������������������������������� ����– �fl�� fl����• !�������� !– ������x��������������������� – ∀$ ∈ x, !($) ≥ 0�����p(x) ≤ 1�������������� – ∫ / $ 0$ = 1 • fl����!($)���������fl�����b���� eu– �2$��������fl�!($)δ$�n����
  11. 11. • – • x, y $(x, y) $ x (sum rule) •
  12. 12. • – – !(# = x) > 0
  13. 13. • – •
  14. 14. ��� ��������� • �������x�y�����7�x���a����y���a������ ����c�������������������� ������������� ���� – x ⊥ y��� ����• z7���������������x�y���������7�z ����d���������������������x�y� ������������������������������� – x ⊥ y|z���
  15. 15. �������������� � ��� ����• !(x)������%(&)8 ����������������������������� !– ��& % • •
  16. 16. • – ! ! • –
  17. 17. �������������� 2 ��� • ������������ – ������������������������������������� • ������������������� �����– �������� • ������������� ���– �������� ��• ������������������������c�
  18. 18. ��� ���9���� 2 ������� • ������������������������ – ���������������� – ��������! ∈ [0,1]������ �����• �����
  19. 19. ��� �������� � �������� • ������������ ��� ������������ !– ���������������������������!����� ����• " ∈ [0,1])*+������n �,-�.�������� ��• �!���������1 − 0⊺ "�r���� ��• ���������� – ������������������������� ����� • {0, … , 4])������������ ������• ������������o����������������l�� �������� �����• ���������������������n
  20. 20. ��� �������� 2 ����� • �������������������������� ��������������������� – ��������! ∈ ℝ�$ ∈ (0, ∞)�����
  21. 21. ��� �������� � ����� ��• 3 �����������! = #$%������� ������– �������������������
  22. 22. ��� ���L��c� � ���c� r�c�• �������ltM���c����M��������L�� ����������r�� – ����������������������� • �����L���t������Mr�c�ML� ��– L������������������m����������icM c���������r�c�M�������������m��� – e�c����n����c�����r�c��ltM�����l�����L� ����m�� �������• ���������
  23. 23. ��� �������� � ����� • ���������������������������������� ����– �ℝ" ����� �����– #������ 9$��������� ����� – ����������������� % = $'( ������
  24. 24. • – •
  25. 25. ��� �������� � ����������� • ������������������������� – ���������! = 0������������������������ • ��������������������� – ����$
  26. 26. ��� �������� 9 ������������ • �(����������������� – �(������������������� !(#)������������� • ��������������������������������� – ����������������������� ����������p���� ���• ���������������%��������������� & ' ����• �����������������������i�������� ��• �������scn�������������
  27. 27. ��� �������� � ����� • ���������������������� ��– �o������bE������������ !• (#)��������������� ����• ����������� ����– ������������������������ • ����������������� dm– ��nu�������� ����• �������������#
  28. 28. ��� �������� 9 ����� • ����������������� ��� ����– ! " # = % ������ ���– �����������s�����&(() ����*(() ��� �����• �vt�������� ��– ����������������%�m�� ������������������ ���� � �o���• +, = -(# = %) ��o�• �"������o�� # ��– � ���������������������� -(#|/)� "������n������ ��– �y������������������������������y���� ������������ ����������������������� ���
  29. 29. • – ! • !
  30. 30. ����������������� • ��������� �� ��– ����� ����• �!, #������������������ – ����������������������� $% = max{0, $}�����������
  31. 31. ��������� • ������������� !– (y|x)�B������!(x)�������! x y ������ • ���!(y) = ∑) ! * + ! + �����������
  32. 32. ��������������� � ��� • ���������������� ��– ������������������������ – �������������� • ���������������� – ������������������� ����• ���������������������t���������� ��• �w��������������������������������
  33. 33. ��������������� 2 ��������� • ��������� – ���������������������� • �����������!, #������������������$����% = $(!)� ������� – ����������������� ������������������������� • �����
  34. 34. �����sp�� � ��sp������������ sp• ������ ��• x = #� ����������������� – I(x)�ay� ����� �������� • ������� ' ( �����������r���sp� • ���������������� ������– ����������� ��– �����������������sp� ��– �a���������������������t������������� – x��������� �������������������� �����
  35. 35. ��������� � ()�������� • �(��������)�������()������������� – ������x�a����������P(x)�Q(x)����������������� ���������u� ()– ����������� ��• ����• ���������������������������������� �������������n������ �a�•
  36. 36. ��������� 1 �������� • ��������������� ��– ��������������������� • Q�K����������������������������������
  37. 37. ������������� • ���������������������������� – �������������������������� • ��� ���������(�)���������(���������(�)������� ����(����������)��� – ������������������� • �����)���������(�(������)������������ �������)������������ – ����������������������������������
  38. 38. ������������� • ������������� – U4����������� ���– 4������������� • ��������������� – U4����������� ��– ������������ ��– �i��������������� • Φ�������������������������Z������������
  39. 39. ���� � ����• ��)���� � �����– ����� �� ���� � ��� ���� ��� ��� ���� �� ��� ���� � � ��� ���� � ��� ��������• ��� �� ������ ��– ��
  40. 40. ���� � �������9�D�D�• 69D�– �����������������9 ��D������9��D���������� ����– ������������9�9��D���������������������������������������� ����69D�������������������������

×