SlideShare a Scribd company logo
����������������� ����
@�� �������
����������
������� �����
�� �� �� ������������
��
4.52•
����• 1���13�
����• ����
����• ����
����• ����
����• ������
����• ������3���
����• ��0������
����• ������0���
����• ���1����
�����• ���1��3��1��
�����• 967�
�����• ����3�����
�����• ����
�����• ��������
•
•
–
–
•
•
� � �������
����• ������������������
��– ������������
����• �������������
���– ���������������
����• ������
���– �����
����• ���x�������������������
���– ����������
���– ������
��• ���������������������)�
����– ���
��� �������
• ����������������������
��– �y���������������
• �������������������������
• ����������������������
– �������������������nq����
���• ������������f������������������
��������������
����������������������������– ����������������
���• �����������������������
��������
• ����������������
���– ����������������
���������• ����������������������������
�����������
�3 �– !1��!2������3������
�3 �– $������ ��������������
���• ���������
•
–
•
–
–
�������� � �����������
• ��������������������������������
����– �����
��– ������������������������������
������• !��������
!– ������x�f�������������������
��– ������������������������s�����������
���������������������������������������
��������
• ∀$ ∈ x, 0 ≤ !($) ≤ 1
���–
• ∑$ ∈ x!($) = 1
•
–
!– (x = %, y = () x = % y = ( ! (%, ()
����fl�� � �����fl����
• �����������������������������������
����– �fl��
fl����• !��������
!– ������x���������������������
– ∀$ ∈ x, !($) ≥ 0�����p(x) ≤ 1��������������
– ∫ / $ 0$ = 1
• fl����!($)���������fl�����b����
eu– �2$��������fl�!($)δ$�n����
•
–
• x, y $(x, y) $ x
(sum rule)
•
•
–
– !(# = x) > 0
•
–
•
��� ���������
• �������x�y�����7�x���a����y���a������
����c�������������������� �������������
����
– x ⊥ y���
����• z7���������������x�y���������7�z
����d���������������������x�y�
�������������������������������
– x ⊥ y|z���
�������������� � ���
����• !(x)������%(&)8 �����������������������������
!– ��& %
•
•
•
– ! !
•
–
�������������� 2 ���
• ������������
– �������������������������������������
• �������������������
�����– ��������
• �������������
���– ��������
��• ������������������������c�
��� ���9���� 2 �������
• ������������������������
– ����������������
– ��������! ∈ [0,1]������
�����• �����
��� �������� � ��������
• ������������ ��� ������������
!– ���������������������������!�����
����• " ∈ [0,1])*+������n �,-�.��������
��• �!���������1 − 0⊺
"�r����
��• ����������
– ������������������������� �����
• {0, … , 4])������������
������• ������������o����������������l��
��������
�����• ���������������������n
��� �������� 2 �����
• �������������������������� ���������������������
– ��������! ∈ ℝ�$ ∈ (0, ∞)�����
��� �������� � �����
��• 3 �����������! = #$%�������
������– �������������������
��� ���L��c� � ���c�
r�c�• �������ltM���c����M��������L��
����������r��
– �����������������������
• �����L���t������Mr�c�ML�
��– L������������������m����������icM
c���������r�c�M�������������m���
– e�c����n����c�����r�c��ltM�����l�����L�
����m��
�������• ���������
��� �������� � �����
• ����������������������������������
����– �ℝ"
�����
�����– #������ 9$��������� �����
– ����������������� % = $'(
������
•
–
•
��� �������� � �����������
• �������������������������
– ���������! = 0������������������������
• ���������������������
– ����$
��� �������� 9 ������������
• �(�����������������
– �(������������������� !(#)�������������
• ���������������������������������
– ����������������������� ����������p����
���• ���������������%���������������
&
'
����• �����������������������i��������
��• �������scn�������������
��� �������� � �����
• ����������������������
��– �o������bE������������
!• (#)���������������
����• �����������
����– ������������������������
• �����������������
dm– ��nu��������
����• �������������#
��� �������� 9 �����
• ����������������� ���
����– ! " # = % ������
���– �����������s�����&(()
����*(()
���
�����• �vt��������
��– ����������������%�m�� ������������������ ����
�
�o���• +, = -(# = %)
��o�• �"������o�� #
��– � ���������������������� -(#|/)� "������n������
��– �y������������������������������y����
������������ ����������������������� ���
•
– !
• !
�����������������
• ��������� ��
��– �����
����• �!, #������������������
– ����������������������� $% = max{0, $}�����������
���������
• �������������
!– (y|x)�B������!(x)�������! x y ������
• ���!(y) = ∑) ! * + ! + �����������
��������������� � ���
• ����������������
��– ������������������������
– ��������������
• ����������������
– �������������������
����• ���������������������t����������
��• �w��������������������������������
��������������� 2 ���������
• ���������
– ����������������������
• �����������!, #������������������$����% = $(!)�
�������
– ����������������� �������������������������
• �����
�����sp�� � ��sp������������
sp• ������
��• x = #� �����������������
– I(x)�ay� ����� ��������
• �������
'
(
�����������r���sp�
• ����������������
������– �����������
��– �����������������sp�
��– �a���������������������t�������������
– x��������� �������������������� �����
��������� � ()��������
• �(��������)�������()�������������
– ������x�a����������P(x)�Q(x)�����������������
���������u�
()– �����������
��•
����• ����������������������������������
�������������n������
�a�•
��������� 1 ��������
• ���������������
��– ���������������������
• Q�K����������������������������������
�������������
• ����������������������������
– ��������������������������
• ��� ���������(�)���������(���������(�)�������
����(����������)���
– �������������������
• �����)���������(�(������)������������
�������)������������
– ����������������������������������
�������������
• �������������
– U4�����������
���– 4�������������
• ���������������
– U4�����������
��– ������������
��– �i���������������
• Φ�������������������������Z������������
���� �
����• ��)���� �
�����– ����� �� ���� � ��� ���� ��� ��� ���� �� ��� ���� �
� ��� ���� � ���
��������• ��� �� ������
��– ��
���� �
�������9�D�D�•
69D�– �����������������9 ��D������9��D����������
����–
������������9�9��D����������������������������������������
����69D�������������������������

More Related Content

What's hot

PRML第6章「カーネル法」
PRML第6章「カーネル法」PRML第6章「カーネル法」
PRML第6章「カーネル法」
Keisuke Sugawara
 
DeepLearning 輪読会 第1章 はじめに
DeepLearning 輪読会 第1章 はじめにDeepLearning 輪読会 第1章 はじめに
DeepLearning 輪読会 第1章 はじめに
Deep Learning JP
 
渡辺澄夫著「ベイズ統計の理論と方法」5.1 マルコフ連鎖モンテカルロ法
渡辺澄夫著「ベイズ統計の理論と方法」5.1 マルコフ連鎖モンテカルロ法渡辺澄夫著「ベイズ統計の理論と方法」5.1 マルコフ連鎖モンテカルロ法
渡辺澄夫著「ベイズ統計の理論と方法」5.1 マルコフ連鎖モンテカルロ法
Kenichi Hironaka
 
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
Takuma Yagi
 
PRML輪読#4
PRML輪読#4PRML輪読#4
PRML輪読#4
matsuolab
 
[DL輪読会]Deep Learning 第17章 モンテカルロ法
[DL輪読会]Deep Learning 第17章 モンテカルロ法[DL輪読会]Deep Learning 第17章 モンテカルロ法
[DL輪読会]Deep Learning 第17章 モンテカルロ法
Deep Learning JP
 
[Dl輪読会]introduction of reinforcement learning
[Dl輪読会]introduction of reinforcement learning[Dl輪読会]introduction of reinforcement learning
[Dl輪読会]introduction of reinforcement learning
Deep Learning JP
 
線形代数の視覚的理解のためのノート
線形代数の視覚的理解のためのノート線形代数の視覚的理解のためのノート
線形代数の視覚的理解のためのノート
Kenji Hiranabe
 
PRML輪読#6
PRML輪読#6PRML輪読#6
PRML輪読#6
matsuolab
 
PRML輪読#3
PRML輪読#3PRML輪読#3
PRML輪読#3
matsuolab
 
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
Yasunori Ozaki
 
PRML輪読#2
PRML輪読#2PRML輪読#2
PRML輪読#2
matsuolab
 
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
Deep Learning JP
 
PRML読書会1スライド(公開用)
PRML読書会1スライド(公開用)PRML読書会1スライド(公開用)
PRML読書会1スライド(公開用)
tetsuro ito
 
[DL輪読会]Deep Learning 第20章 深層生成モデル
[DL輪読会]Deep Learning 第20章 深層生成モデル[DL輪読会]Deep Learning 第20章 深層生成モデル
[DL輪読会]Deep Learning 第20章 深層生成モデル
Deep Learning JP
 
3分でわかる多項分布とディリクレ分布
3分でわかる多項分布とディリクレ分布3分でわかる多項分布とディリクレ分布
3分でわかる多項分布とディリクレ分布
Junya Saito
 
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
narumikanno0918
 
PRML輪読#12
PRML輪読#12PRML輪読#12
PRML輪読#12
matsuolab
 
coordinate descent 法について
coordinate descent 法についてcoordinate descent 法について

What's hot (20)

PRML第6章「カーネル法」
PRML第6章「カーネル法」PRML第6章「カーネル法」
PRML第6章「カーネル法」
 
DeepLearning 輪読会 第1章 はじめに
DeepLearning 輪読会 第1章 はじめにDeepLearning 輪読会 第1章 はじめに
DeepLearning 輪読会 第1章 はじめに
 
渡辺澄夫著「ベイズ統計の理論と方法」5.1 マルコフ連鎖モンテカルロ法
渡辺澄夫著「ベイズ統計の理論と方法」5.1 マルコフ連鎖モンテカルロ法渡辺澄夫著「ベイズ統計の理論と方法」5.1 マルコフ連鎖モンテカルロ法
渡辺澄夫著「ベイズ統計の理論と方法」5.1 マルコフ連鎖モンテカルロ法
 
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
RBM、Deep Learningと学習(全脳アーキテクチャ若手の会 第3回DL勉強会発表資料)
 
PRML輪読#4
PRML輪読#4PRML輪読#4
PRML輪読#4
 
[DL輪読会]Deep Learning 第17章 モンテカルロ法
[DL輪読会]Deep Learning 第17章 モンテカルロ法[DL輪読会]Deep Learning 第17章 モンテカルロ法
[DL輪読会]Deep Learning 第17章 モンテカルロ法
 
[Dl輪読会]introduction of reinforcement learning
[Dl輪読会]introduction of reinforcement learning[Dl輪読会]introduction of reinforcement learning
[Dl輪読会]introduction of reinforcement learning
 
線形代数の視覚的理解のためのノート
線形代数の視覚的理解のためのノート線形代数の視覚的理解のためのノート
線形代数の視覚的理解のためのノート
 
PRML輪読#6
PRML輪読#6PRML輪読#6
PRML輪読#6
 
PRML輪読#3
PRML輪読#3PRML輪読#3
PRML輪読#3
 
PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)PRMLの線形回帰モデル(線形基底関数モデル)
PRMLの線形回帰モデル(線形基底関数モデル)
 
PRML輪読#2
PRML輪読#2PRML輪読#2
PRML輪読#2
 
PRML8章
PRML8章PRML8章
PRML8章
 
[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習[DL輪読会]Deep Learning 第15章 表現学習
[DL輪読会]Deep Learning 第15章 表現学習
 
PRML読書会1スライド(公開用)
PRML読書会1スライド(公開用)PRML読書会1スライド(公開用)
PRML読書会1スライド(公開用)
 
[DL輪読会]Deep Learning 第20章 深層生成モデル
[DL輪読会]Deep Learning 第20章 深層生成モデル[DL輪読会]Deep Learning 第20章 深層生成モデル
[DL輪読会]Deep Learning 第20章 深層生成モデル
 
3分でわかる多項分布とディリクレ分布
3分でわかる多項分布とディリクレ分布3分でわかる多項分布とディリクレ分布
3分でわかる多項分布とディリクレ分布
 
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
 
PRML輪読#12
PRML輪読#12PRML輪読#12
PRML輪読#12
 
coordinate descent 法について
coordinate descent 法についてcoordinate descent 法について
coordinate descent 法について
 

Similar to [DL輪読会]Deep Learning 第3章 確率と情報理論

[DL輪読会]Deep Learning 第10章 系列モデリング 回帰結合型ニューラルネットワークと再帰型ネットワーク
[DL輪読会]Deep Learning 第10章 系列モデリング 回帰結合型ニューラルネットワークと再帰型ネットワーク[DL輪読会]Deep Learning 第10章 系列モデリング 回帰結合型ニューラルネットワークと再帰型ネットワーク
[DL輪読会]Deep Learning 第10章 系列モデリング 回帰結合型ニューラルネットワークと再帰型ネットワーク
Deep Learning JP
 
Atelier Zotero intermédiaire
Atelier Zotero intermédiaireAtelier Zotero intermédiaire
Atelier Zotero intermédiaire
Lesticetlart Invisu
 
كيف تجتاز مقابلة العمل بنجاح
كيف تجتاز مقابلة العمل بنجاحكيف تجتاز مقابلة العمل بنجاح
كيف تجتاز مقابلة العمل بنجاح
Abdelhady Ahmed Hassan Soliman
 
08 - Manson (2001) Simplifying Complexity•What are the thr.docx
08 - Manson (2001) Simplifying Complexity•What are the thr.docx08 - Manson (2001) Simplifying Complexity•What are the thr.docx
08 - Manson (2001) Simplifying Complexity•What are the thr.docx
mercysuttle
 
Limites
LimitesLimites
Limites
Rosa Leal
 
Limites
LimitesLimites
Limites
vane sanchez
 
Limites
LimitesLimites
Limites
Laura Molina
 
Gérer ses références bibliographiques avec Zotero
Gérer ses références bibliographiques avec ZoteroGérer ses références bibliographiques avec Zotero
Gérer ses références bibliographiques avec Zotero
Lesticetlart Invisu
 
Basic arabic-grammar-part03
Basic arabic-grammar-part03Basic arabic-grammar-part03
Basic arabic-grammar-part03
Sonali Jannat
 
Оформляем результаты проектирования
Оформляем результаты проектированияОформляем результаты проектирования
Оформляем результаты проектированияTurum-burum
 
Преступность несовершеннолетних
Преступность несовершеннолетнихПреступность несовершеннолетних
Преступность несовершеннолетних
Олег Макаров
 
Ranciere - El maestro ignorante.pdf
Ranciere - El maestro ignorante.pdfRanciere - El maestro ignorante.pdf
Ranciere - El maestro ignorante.pdf
BehelitExperimental
 
Мебельные компании. Рейтинги и профили ведущих производителей мебели для дома...
Мебельные компании. Рейтинги и профили ведущих производителей мебели для дома...Мебельные компании. Рейтинги и профили ведущих производителей мебели для дома...
Мебельные компании. Рейтинги и профили ведущих производителей мебели для дома...
Экспресс-Обзор
 

Similar to [DL輪読会]Deep Learning 第3章 確率と情報理論 (16)

[DL輪読会]Deep Learning 第10章 系列モデリング 回帰結合型ニューラルネットワークと再帰型ネットワーク
[DL輪読会]Deep Learning 第10章 系列モデリング 回帰結合型ニューラルネットワークと再帰型ネットワーク[DL輪読会]Deep Learning 第10章 系列モデリング 回帰結合型ニューラルネットワークと再帰型ネットワーク
[DL輪読会]Deep Learning 第10章 系列モデリング 回帰結合型ニューラルネットワークと再帰型ネットワーク
 
Atelier Zotero intermédiaire
Atelier Zotero intermédiaireAtelier Zotero intermédiaire
Atelier Zotero intermédiaire
 
كيف تجتاز مقابلة العمل بنجاح
كيف تجتاز مقابلة العمل بنجاحكيف تجتاز مقابلة العمل بنجاح
كيف تجتاز مقابلة العمل بنجاح
 
08 - Manson (2001) Simplifying Complexity•What are the thr.docx
08 - Manson (2001) Simplifying Complexity•What are the thr.docx08 - Manson (2001) Simplifying Complexity•What are the thr.docx
08 - Manson (2001) Simplifying Complexity•What are the thr.docx
 
Limites
LimitesLimites
Limites
 
Limites
LimitesLimites
Limites
 
Limites
LimitesLimites
Limites
 
Limites
LimitesLimites
Limites
 
Limites
LimitesLimites
Limites
 
Limites
LimitesLimites
Limites
 
Gérer ses références bibliographiques avec Zotero
Gérer ses références bibliographiques avec ZoteroGérer ses références bibliographiques avec Zotero
Gérer ses références bibliographiques avec Zotero
 
Basic arabic-grammar-part03
Basic arabic-grammar-part03Basic arabic-grammar-part03
Basic arabic-grammar-part03
 
Оформляем результаты проектирования
Оформляем результаты проектированияОформляем результаты проектирования
Оформляем результаты проектирования
 
Преступность несовершеннолетних
Преступность несовершеннолетнихПреступность несовершеннолетних
Преступность несовершеннолетних
 
Ranciere - El maestro ignorante.pdf
Ranciere - El maestro ignorante.pdfRanciere - El maestro ignorante.pdf
Ranciere - El maestro ignorante.pdf
 
Мебельные компании. Рейтинги и профили ведущих производителей мебели для дома...
Мебельные компании. Рейтинги и профили ведущих производителей мебели для дома...Мебельные компании. Рейтинги и профили ведущих производителей мебели для дома...
Мебельные компании. Рейтинги и профили ведущих производителей мебели для дома...
 

More from Deep Learning JP

【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
Deep Learning JP
 
【DL輪読会】事前学習用データセットについて
【DL輪読会】事前学習用データセットについて【DL輪読会】事前学習用データセットについて
【DL輪読会】事前学習用データセットについて
Deep Learning JP
 
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
Deep Learning JP
 
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
Deep Learning JP
 
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
Deep Learning JP
 
【DL輪読会】マルチモーダル LLM
【DL輪読会】マルチモーダル LLM【DL輪読会】マルチモーダル LLM
【DL輪読会】マルチモーダル LLM
Deep Learning JP
 
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
 【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo... 【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
Deep Learning JP
 
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
Deep Learning JP
 
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?
Deep Learning JP
 
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】Hopfield network 関連研究について【DL輪読会】Hopfield network 関連研究について
【DL輪読会】Hopfield network 関連研究について
Deep Learning JP
 
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
Deep Learning JP
 
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
Deep Learning JP
 
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
Deep Learning JP
 
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】"Language Instructed Reinforcement Learning  for Human-AI Coordination "【DL輪読会】"Language Instructed Reinforcement Learning  for Human-AI Coordination "
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
Deep Learning JP
 
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
Deep Learning JP
 
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
Deep Learning JP
 
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
Deep Learning JP
 
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
Deep Learning JP
 
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
Deep Learning JP
 
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
Deep Learning JP
 

More from Deep Learning JP (20)

【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
【DL輪読会】AdaptDiffuser: Diffusion Models as Adaptive Self-evolving Planners
 
【DL輪読会】事前学習用データセットについて
【DL輪読会】事前学習用データセットについて【DL輪読会】事前学習用データセットについて
【DL輪読会】事前学習用データセットについて
 
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
【DL輪読会】 "Learning to render novel views from wide-baseline stereo pairs." CVP...
 
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
【DL輪読会】Zero-Shot Dual-Lens Super-Resolution
 
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
【DL輪読会】BloombergGPT: A Large Language Model for Finance arxiv
 
【DL輪読会】マルチモーダル LLM
【DL輪読会】マルチモーダル LLM【DL輪読会】マルチモーダル LLM
【DL輪読会】マルチモーダル LLM
 
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
 【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo... 【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
【 DL輪読会】ToolLLM: Facilitating Large Language Models to Master 16000+ Real-wo...
 
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
【DL輪読会】AnyLoc: Towards Universal Visual Place Recognition
 
【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?【DL輪読会】Can Neural Network Memorization Be Localized?
【DL輪読会】Can Neural Network Memorization Be Localized?
 
【DL輪読会】Hopfield network 関連研究について
【DL輪読会】Hopfield network 関連研究について【DL輪読会】Hopfield network 関連研究について
【DL輪読会】Hopfield network 関連研究について
 
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
【DL輪読会】SimPer: Simple self-supervised learning of periodic targets( ICLR 2023 )
 
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
【DL輪読会】RLCD: Reinforcement Learning from Contrast Distillation for Language M...
 
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
【DL輪読会】"Secrets of RLHF in Large Language Models Part I: PPO"
 
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
【DL輪読会】"Language Instructed Reinforcement Learning  for Human-AI Coordination "【DL輪読会】"Language Instructed Reinforcement Learning  for Human-AI Coordination "
【DL輪読会】"Language Instructed Reinforcement Learning for Human-AI Coordination "
 
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
【DL輪読会】Llama 2: Open Foundation and Fine-Tuned Chat Models
 
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
【DL輪読会】"Learning Fine-Grained Bimanual Manipulation with Low-Cost Hardware"
 
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
【DL輪読会】Parameter is Not All You Need:Starting from Non-Parametric Networks fo...
 
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
【DL輪読会】Drag Your GAN: Interactive Point-based Manipulation on the Generative ...
 
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
【DL輪読会】Self-Supervised Learning from Images with a Joint-Embedding Predictive...
 
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
【DL輪読会】Towards Understanding Ensemble, Knowledge Distillation and Self-Distil...
 

[DL輪読会]Deep Learning 第3章 確率と情報理論

  • 2. �� 4.52• ����• 1���13� ����• ���� ����• ���� ����• ���� ����• ������ ����• ������3��� ����• ��0������ ����• ������0��� ����• ���1���� �����• ���1��3��1�� �����• 967� �����• ����3����� �����• ���� �����• ��������
  • 4. � � ������� ����• ������������������ ��– ������������ ����• ������������� ���– ��������������� ����• ������ ���– ����� ����• ���x������������������� ���– ���������� ���– ������ ��• ���������������������)� ����– ���
  • 5. ��� ������� • ���������������������� ��– �y��������������� • ������������������������� • ���������������������� – �������������������nq���� ���• ������������f������������������ �������������� ����������������������������– ���������������� ���• �����������������������
  • 6. �������� • ���������������� ���– ���������������� ���������• ���������������������������� ����������� �3 �– !1��!2������3������ �3 �– $������ �������������� ���• ���������
  • 8. �������� � ����������� • �������������������������������� ����– ����� ��– ������������������������������ ������• !�������� !– ������x�f������������������� ��– ������������������������s����������� ��������������������������������������� �������� • ∀$ ∈ x, 0 ≤ !($) ≤ 1 ���– • ∑$ ∈ x!($) = 1
  • 9. • – !– (x = %, y = () x = % y = ( ! (%, ()
  • 10. ����fl�� � �����fl���� • ����������������������������������� ����– �fl�� fl����• !�������� !– ������x��������������������� – ∀$ ∈ x, !($) ≥ 0�����p(x) ≤ 1�������������� – ∫ / $ 0$ = 1 • fl����!($)���������fl�����b���� eu– �2$��������fl�!($)δ$�n����
  • 11. • – • x, y $(x, y) $ x (sum rule) •
  • 14. ��� ��������� • �������x�y�����7�x���a����y���a������ ����c�������������������� ������������� ���� – x ⊥ y��� ����• z7���������������x�y���������7�z ����d���������������������x�y� ������������������������������� – x ⊥ y|z���
  • 15. �������������� � ��� ����• !(x)������%(&)8 ����������������������������� !– ��& % • •
  • 17. �������������� 2 ��� • ������������ – ������������������������������������� • ������������������� �����– �������� • ������������� ���– �������� ��• ������������������������c�
  • 18. ��� ���9���� 2 ������� • ������������������������ – ���������������� – ��������! ∈ [0,1]������ �����• �����
  • 19. ��� �������� � �������� • ������������ ��� ������������ !– ���������������������������!����� ����• " ∈ [0,1])*+������n �,-�.�������� ��• �!���������1 − 0⊺ "�r���� ��• ���������� – ������������������������� ����� • {0, … , 4])������������ ������• ������������o����������������l�� �������� �����• ���������������������n
  • 20. ��� �������� 2 ����� • �������������������������� ��������������������� – ��������! ∈ ℝ�$ ∈ (0, ∞)�����
  • 21. ��� �������� � ����� ��• 3 �����������! = #$%������� ������– �������������������
  • 22. ��� ���L��c� � ���c� r�c�• �������ltM���c����M��������L�� ����������r�� – ����������������������� • �����L���t������Mr�c�ML� ��– L������������������m����������icM c���������r�c�M�������������m��� – e�c����n����c�����r�c��ltM�����l�����L� ����m�� �������• ���������
  • 23. ��� �������� � ����� • ���������������������������������� ����– �ℝ" ����� �����– #������ 9$��������� ����� – ����������������� % = $'( ������
  • 25. ��� �������� � ����������� • ������������������������� – ���������! = 0������������������������ • ��������������������� – ����$
  • 26. ��� �������� 9 ������������ • �(����������������� – �(������������������� !(#)������������� • ��������������������������������� – ����������������������� ����������p���� ���• ���������������%��������������� & ' ����• �����������������������i�������� ��• �������scn�������������
  • 27. ��� �������� � ����� • ���������������������� ��– �o������bE������������ !• (#)��������������� ����• ����������� ����– ������������������������ • ����������������� dm– ��nu�������� ����• �������������#
  • 28. ��� �������� 9 ����� • ����������������� ��� ����– ! " # = % ������ ���– �����������s�����&(() ����*(() ��� �����• �vt�������� ��– ����������������%�m�� ������������������ ���� � �o���• +, = -(# = %) ��o�• �"������o�� # ��– � ���������������������� -(#|/)� "������n������ ��– �y������������������������������y���� ������������ ����������������������� ���
  • 30. ����������������� • ��������� �� ��– ����� ����• �!, #������������������ – ����������������������� $% = max{0, $}�����������
  • 31. ��������� • ������������� !– (y|x)�B������!(x)�������! x y ������ • ���!(y) = ∑) ! * + ! + �����������
  • 32. ��������������� � ��� • ���������������� ��– ������������������������ – �������������� • ���������������� – ������������������� ����• ���������������������t���������� ��• �w��������������������������������
  • 33. ��������������� 2 ��������� • ��������� – ���������������������� • �����������!, #������������������$����% = $(!)� ������� – ����������������� ������������������������� • �����
  • 34. �����sp�� � ��sp������������ sp• ������ ��• x = #� ����������������� – I(x)�ay� ����� �������� • ������� ' ( �����������r���sp� • ���������������� ������– ����������� ��– �����������������sp� ��– �a���������������������t������������� – x��������� �������������������� �����
  • 35. ��������� � ()�������� • �(��������)�������()������������� – ������x�a����������P(x)�Q(x)����������������� ���������u� ()– ����������� ��• ����• ���������������������������������� �������������n������ �a�•
  • 36. ��������� 1 �������� • ��������������� ��– ��������������������� • Q�K����������������������������������
  • 37. ������������� • ���������������������������� – �������������������������� • ��� ���������(�)���������(���������(�)������� ����(����������)��� – ������������������� • �����)���������(�(������)������������ �������)������������ – ����������������������������������
  • 38. ������������� • ������������� – U4����������� ���– 4������������� • ��������������� – U4����������� ��– ������������ ��– �i��������������� • Φ�������������������������Z������������
  • 39. ���� � ����• ��)���� � �����– ����� �� ���� � ��� ���� ��� ��� ���� �� ��� ���� � � ��� ���� � ��� ��������• ��� �� ������ ��– ��
  • 40. ���� � �������9�D�D�• 69D�– �����������������9 ��D������9��D���������� ����– ������������9�9��D���������������������������������������� ����69D�������������������������