1
- 2. 応用数学２
確率・統計
学習内容
・頻度確率とベイズ確率
頻度確率（客観確率）…観測された確率分布が正とする考え方
ベイズ確率…真偽不明なものへの確率的推論
・条件付き確率 →考察
ある事象Aの下、Bとなる確率
𝑃 𝐵 𝐴 =
𝑃 𝐴∩𝐵
𝑃 𝐴
・独立事象の同時確率
𝑃 𝐴 ∩ 𝐵 = 𝑃 𝐴 𝑃(𝐵)
・ベイズ則（ベイズの定理）
条件付き確率
𝑃 𝐵 𝐴 =
𝑃 𝐴∩𝐵
𝑃 𝐴
𝑃 𝐴 𝐵 =
𝑃 𝐴∩𝐵
𝑃 𝐵
から
𝑃 𝐵 𝐴 𝑃 𝐴 = 𝑃 𝐴 𝐵 𝑃(𝐵)
・確率変数と確率分布
・確率変数：事象を表す変数（サイコロの目等）
・確率分布：事象の発生する確率の分布
・期待値
ある確率分布における確率変数の平均
・確率変数が離散値の場合
𝐸(𝑋) = ∑𝑥𝑖𝑃(𝑥𝑖)
・確率変数が連続値の場合
𝐸(𝑋) = ∫ 𝑥𝑓 𝑥 𝑑𝑥
𝑓 𝑥 は確率密度関数 𝑓 𝑥 = 𝑃(𝑋 = 𝑥)
・分散と標準偏差
分散：データの散らばり具合を表現する
𝑉 =
1
𝑛
∑ 𝑥𝑖 − 𝑥 2
ただし、 𝑥は平均
標準偏差：分散の平方をとることで次元を合わせる
σ =
1
𝑛
∑ 𝑥𝑖 − 𝑥 2
・確率変数が離散値の場合
𝑉 𝑋 =
1
𝑛
∑ 𝑥𝑖 − 𝜇 2
𝑝𝑖
ただし、𝜇 = 𝐸(𝑋)
・確率変数が連続値の場合
𝑉 𝑋 = ∫ 𝑥 − μ 2
𝑓 𝑥 𝑑𝑥
ただし、𝜇 = 𝐸(𝑋)
また、 𝑉 𝑋 = 𝐸 𝑋2
− 𝐸 𝑋 2
・共分散
２変数の平均からの偏差の積の平均値
𝐶𝑜𝑣 𝑋, 𝑌 = 𝐸[(𝑋 − 𝐸 𝑋 )(𝑌 − 𝐸 𝑌 )
２変数X,Yについて
正の相関がある場合は大きな正の値
負の相関がある場合は大きな負の値
相関がない場合は０に近くなる
・確率分布の種類
・ベルヌーイ分布
・マルチヌーイ分布
・二項分布
・ガウス分布
参考：統計WEB～統計学の時間
https://bellcurve.jp/statistics/course/
- 3. 応用数学３
情報理論
学習内容
・自己情報量（選択情報量、情報量、自己エントロピーとも呼ばれる）
確率𝑃 𝑥 、数値𝑊 𝑥 を表現するのに必要な情報量を示す
𝐼 𝑥 = − log 𝑃 𝑥 = log 𝑊 𝑥
対数の底が２のとき、単位はbit
例：数値256→8bit、65536→16bit
確率1/2→1bit、1/8→3bit
対数の底がeのとき、単位はnat
・シャノンエントロピー（エントロピー）
自己情報量の期待値
𝐻 𝑥 = 𝐸 𝐼 𝑥 = −𝐸 log 𝑃 𝑥 = − ∑(𝑃 𝑥 log 𝑝 𝑥 )
・その他知っておく指標
・カルバック・ライブラー・ダイバージェンス
確率分布P、Qの差の程度を表す
𝐷𝑘𝑙(𝑃| 𝑄 = ∑𝑃(𝑥)log
𝑃 𝑥
𝑄 𝑥
= ∑𝑃(𝑥)[log𝑃 𝑥 − log𝑄 𝑥 ]
𝐷𝑘𝑙(𝑃| 𝑄 が０に近いとき、確率分布P、Qは類似している
・交差エントロピー
カルバック・ライブラーダイバージェンスをエントロピーに
置き換えることで導ける。
Qについての自己情報量をPの分布で平均する内容
𝐻 𝑃, 𝑄 = 𝐻 𝑃 + 𝐷𝑘𝑙(𝑃| 𝑄
𝐻 𝑃, 𝑄 = −∑𝑃(𝑥) log𝑄 𝑥
参考
Wikipedia
・情報量
https://ja.wikipedia.org/wiki/%E6%83%85%E5%A0%B1%E9%87%8F
・カルバック・ライブラー情報量
https://ja.wikipedia.org/wiki/%E3%82%AB%E3%83%AB%E3%83%90%E3
%83%83%E3%82%AF%E3%83%BB%E3%83%A9%E3%82%A4%E3%83%96%
E3%83%A9%E3%83%BC%E6%83%85%E5%A0%B1%E9%87%8F
