Successfully reported this slideshow.
We use your LinkedIn profile and activity data to personalize ads and to show you more relevant ads. You can change your ad preferences anytime.
Upcoming SlideShare
What to Upload to SlideShare
Next
Download to read offline and view in fullscreen.

12

Share

[DL輪読会]Deep Learning 第3章 確率と情報理論

Download to read offline

2017/11/06
Deep Learning JP:
http://deeplearning.jp/seminar-2/

Related Books

Free with a 30 day trial from Scribd

See all

Related Audiobooks

Free with a 30 day trial from Scribd

See all

[DL輪読会]Deep Learning 第3章 確率と情報理論

  1. 1. ����������������� ���� @�� ������� ���������� ������� ����� �� �� �� ������������
  2. 2. �� 4.52• ����• 1���13� ����• ���� ����• ���� ����• ���� ����• ������ ����• ������3��� ����• ��0������ ����• ������0��� ����• ���1���� �����• ���1��3��1�� �����• 967� �����• ����3����� �����• ���� �����• ��������
  3. 3. • • – – • •
  4. 4. � � ������� ����• ������������������ ��– ������������ ����• ������������� ���– ��������������� ����• ������ ���– ����� ����• ���x������������������� ���– ���������� ���– ������ ��• ���������������������)� ����– ���
  5. 5. ��� ������� • ���������������������� ��– �y��������������� • ������������������������� • ���������������������� – �������������������nq���� ���• ������������f������������������ �������������� ����������������������������– ���������������� ���• �����������������������
  6. 6. �������� • ���������������� ���– ���������������� ���������• ���������������������������� ����������� �3 �– !1��!2������3������ �3 �– $������ �������������� ���• ���������
  7. 7. • – • – –
  8. 8. �������� � ����������� • �������������������������������� ����– ����� ��– ������������������������������ ������• !�������� !– ������x�f������������������� ��– ������������������������s����������� ��������������������������������������� �������� • ∀$ ∈ x, 0 ≤ !($) ≤ 1 ���– • ∑$ ∈ x!($) = 1
  9. 9. • – !– (x = %, y = () x = % y = ( ! (%, ()
  10. 10. ����fl�� � �����fl���� • ����������������������������������� ����– �fl�� fl����• !�������� !– ������x��������������������� – ∀$ ∈ x, !($) ≥ 0�����p(x) ≤ 1�������������� – ∫ / $ 0$ = 1 • fl����!($)���������fl�����b���� eu– �2$��������fl�!($)δ$�n����
  11. 11. • – • x, y $(x, y) $ x (sum rule) •
  12. 12. • – – !(# = x) > 0
  13. 13. • – •
  14. 14. ��� ��������� • �������x�y�����7�x���a����y���a������ ����c�������������������� ������������� ���� – x ⊥ y��� ����• z7���������������x�y���������7�z ����d���������������������x�y� ������������������������������� – x ⊥ y|z���
  15. 15. �������������� � ��� ����• !(x)������%(&)8 ����������������������������� !– ��& % • •
  16. 16. • – ! ! • –
  17. 17. �������������� 2 ��� • ������������ – ������������������������������������� • ������������������� �����– �������� • ������������� ���– �������� ��• ������������������������c�
  18. 18. ��� ���9���� 2 ������� • ������������������������ – ���������������� – ��������! ∈ [0,1]������ �����• �����
  19. 19. ��� �������� � �������� • ������������ ��� ������������ !– ���������������������������!����� ����• " ∈ [0,1])*+������n �,-�.�������� ��• �!���������1 − 0⊺ "�r���� ��• ���������� – ������������������������� ����� • {0, … , 4])������������ ������• ������������o����������������l�� �������� �����• ���������������������n
  20. 20. ��� �������� 2 ����� • �������������������������� ��������������������� – ��������! ∈ ℝ�$ ∈ (0, ∞)�����
  21. 21. ��� �������� � ����� ��• 3 �����������! = #$%������� ������– �������������������
  22. 22. ��� ���L��c� � ���c� r�c�• �������ltM���c����M��������L�� ����������r�� – ����������������������� • �����L���t������Mr�c�ML� ��– L������������������m����������icM c���������r�c�M�������������m��� – e�c����n����c�����r�c��ltM�����l�����L� ����m�� �������• ���������
  23. 23. ��� �������� � ����� • ���������������������������������� ����– �ℝ" ����� �����– #������ 9$��������� ����� – ����������������� % = $'( ������
  24. 24. • – •
  25. 25. ��� �������� � ����������� • ������������������������� – ���������! = 0������������������������ • ��������������������� – ����$
  26. 26. ��� �������� 9 ������������ • �(����������������� – �(������������������� !(#)������������� • ��������������������������������� – ����������������������� ����������p���� ���• ���������������%��������������� & ' ����• �����������������������i�������� ��• �������scn�������������
  27. 27. ��� �������� � ����� • ���������������������� ��– �o������bE������������ !• (#)��������������� ����• ����������� ����– ������������������������ • ����������������� dm– ��nu�������� ����• �������������#
  28. 28. ��� �������� 9 ����� • ����������������� ��� ����– ! " # = % ������ ���– �����������s�����&(() ����*(() ��� �����• �vt�������� ��– ����������������%�m�� ������������������ ���� � �o���• +, = -(# = %) ��o�• �"������o�� # ��– � ���������������������� -(#|/)� "������n������ ��– �y������������������������������y���� ������������ ����������������������� ���
  29. 29. • – ! • !
  30. 30. ����������������� • ��������� �� ��– ����� ����• �!, #������������������ – ����������������������� $% = max{0, $}�����������
  31. 31. ��������� • ������������� !– (y|x)�B������!(x)�������! x y ������ • ���!(y) = ∑) ! * + ! + �����������
  32. 32. ��������������� � ��� • ���������������� ��– ������������������������ – �������������� • ���������������� – ������������������� ����• ���������������������t���������� ��• �w��������������������������������
  33. 33. ��������������� 2 ��������� • ��������� – ���������������������� • �����������!, #������������������$����% = $(!)� ������� – ����������������� ������������������������� • �����
  34. 34. �����sp�� � ��sp������������ sp• ������ ��• x = #� ����������������� – I(x)�ay� ����� �������� • ������� ' ( �����������r���sp� • ���������������� ������– ����������� ��– �����������������sp� ��– �a���������������������t������������� – x��������� �������������������� �����
  35. 35. ��������� � ()�������� • �(��������)�������()������������� – ������x�a����������P(x)�Q(x)����������������� ���������u� ()– ����������� ��• ����• ���������������������������������� �������������n������ �a�•
  36. 36. ��������� 1 �������� • ��������������� ��– ��������������������� • Q�K����������������������������������
  37. 37. ������������� • ���������������������������� – �������������������������� • ��� ���������(�)���������(���������(�)������� ����(����������)��� – ������������������� • �����)���������(�(������)������������ �������)������������ – ����������������������������������
  38. 38. ������������� • ������������� – U4����������� ���– 4������������� • ��������������� – U4����������� ��– ������������ ��– �i��������������� • Φ�������������������������Z������������
  39. 39. ���� � ����• ��)���� � �����– ����� �� ���� � ��� ���� ��� ��� ���� �� ��� ���� � � ��� ���� � ��� ��������• ��� �� ������ ��– ��
  40. 40. ���� � �������9�D�D�• 69D�– �����������������9 ��D������9��D���������� ����– ������������9�9��D���������������������������������������� ����69D�������������������������
  • yoshiharuM2

    Aug. 21, 2019
  • TaizoHoshino

    Feb. 11, 2019
  • MWatanabe2

    Dec. 12, 2018
  • oghi57

    Nov. 21, 2018
  • KoichiUno

    Nov. 8, 2018
  • MasakiOkamura

    Oct. 18, 2018
  • none53

    Oct. 6, 2018
  • TaishiUchimiya

    Sep. 26, 2018
  • ssuser684c26

    Sep. 20, 2018
  • ssuserf75655

    Sep. 11, 2018
  • ssuser5549a21

    Aug. 25, 2018
  • HironobuKawaguchi

    Jul. 18, 2018

2017/11/06 Deep Learning JP: http://deeplearning.jp/seminar-2/

Views

Total views

2,574

On Slideshare

0

From embeds

0

Number of embeds

480

Actions

Downloads

214

Shares

0

Comments

0

Likes

12

×