Downloaded 45 times
![numpy.randomで
多次元正規分布からサンプリング
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
#!/usr/bin/env python
# vim:fileencoding=utf-8
import numpy as np
import scipy as sp
import matplotlib.pyplot as plt
from numpy import random
mean = [0, 0]
cov = [[1, 0], [0, 100]]
# 対角
x, y = random.multivariate_normal(mean, cov, 10000).T
fig = plt.figure(1)
ax = fig.add_subplot(1,1,1)
ax.plot(x, y, 'x')
plt.show()
14年1月19日日曜日](https://image.slidesharecdn.com/chapter1-2-140118201842-phpapp01/85/PRML-2-3-52-320.jpg)
![全角の場合
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
#!/usr/bin/env python
# vim:fileencoding=utf-8
import numpy as np
import scipy as sp
import matplotlib.pyplot as plt
from numpy import random
mean = [0, 0]
cov = [[1, 2], [30, 100]]
# 全角
x, y = random.multivariate_normal(mean, cov, 10000).T
fig = plt.figure(1)
ax = fig.add_subplot(1,1,1)
ax.plot(x, y, 'x')
plt.show()
14年1月19日日曜日
楕円が表現可能であるが
パラメータ数が増加
→混合ガウス分布(2章)](https://image.slidesharecdn.com/chapter1-2-140118201842-phpapp01/85/PRML-2-3-53-320.jpg)
PRML読書会#2,#3資料
- 1. 1章 読書会#2, #3 資料 twitter:@wrist facebook: hiromasa.ohashi 14年1月19日日曜日
- 2. スライド作成について • • • 図: 著者HPから落としてくる 表: CamScannerというiPhoneアプリで撮影 数式:tex2imgで画像を作成 • • 14年1月19日日曜日 osxだとCUI版がある https://github.com/wrist/prml_reading_scripts
- 3.
- 4.
- 5. 第1章 目次(1) 1. 序論 1.1. 例:多項式フィッティング 1.2.確率論 1.2.1.確率密度 1.2.2.期待値と分散 1.2.3.ベイズ確率 1.2.4.ガウス分布 1.2.5.曲線フィッテイング再訪 1.2.6.ベイズ曲線フィッティング 14年1月19日日曜日
- 6. 第1章 目次(2) 1. 序論 1.3. モデル選択 1.4.次元の呪い 1.5. 決定理論 1.5.1.誤識別率の最小化 1.5.2.期待損失の最小化 1.5.3.棄却オプション 1.5.4.推論と決定 1.5.5.回帰のための損失関数 14年1月19日日曜日
- 7.
- 8.
- 9.
- 10.
- 11. 多項式曲線フィッティング • N個の観測点から緑の曲線を見つけたい • 多項式で近似 •二乗誤差を最小化するように学習 14年1月19日日曜日
- 12.
- 13.
- 14.
- 15.
- 16.
- 17.
- 18.
- 19. 各種確率 同時確率 (結合確率; joint probability) 周辺確率 (marginalprobability) 加法定理の適用 条件付き確率 (conditional probability) 乗法定理 14年1月19日日曜日
- 20. 確率の基本法則とベイズの定理 • 確率の加法定理と確率の乗法定理 • ベイズの定理(Bayes’theorem) • p(X,Y)=p(Y,X)よりp(Y|X)p(X)=p(X|Y)p(Y) 14年1月19日日曜日
- 21.
- 22. 果物の箱の例 • • p(B=r)=4/10, p(B=b)=6/10 • ある箱から果物を取り出す確率 • • • • 14年1月19日日曜日 p(B=r)+p(B=b)=1 p(F=a|B=r)=1/4, p(F=o|B=r)=3/4 p(F=a|B=b)=3/4,p(F=o|B=b)=1/4 それぞれの箱から果物を引く確率の和も1 p(F=a)= p(F=a, B=r) + p(F=a, B=b) = p(F=a|B=r)p(B=r) + p(F=a|B=b)p(B=b) = 1/4*4/10+3/4*6/10=11/20
- 23.
- 24.
- 25.
- 26.
- 27.
- 28.
- 29. 非線形変換に対する確率密度 • 変数変換x=g(y)を考える • ヤコビ行列により変換 •関数f(x)はf (y)=f(g(y)) • 確率密度はヤコビアンによって変換 ~ 14年1月19日日曜日
- 30. 確率密度の変換(1変数の変換) • • • 異なる密度を添字で区別 px(x), py(y) px(x)δx=~ py(y)δy より py(y) =~ px(x)|dx/dy| x=g(y)の時の確率密度変換 • • 14年1月19日日曜日 要は置換積分 確率密度の最大値は変数の選び方に依存
- 31.
- 32.
- 33.
- 34.
- 35.
- 36. 1.2.2 期待値と分散 • 期待値(expectation) 離散分布の場合 連続分布の場合 サンプル近似 多変数関数の期待値に 対する添字表示 条件付き期待値 (conditionalexpectation) 14年1月19日日曜日
- 37.
- 38.
- 39.
- 40.
- 41.
- 42.
- 43.
- 44.
- 45.
- 46.
- 47. 1.2.4 ガウス分布 • 正規分布(normal distribution)、ガウス分布(Gaussiandistribution) • 平均(mean)μ, 分散(variance)σ2, 標準偏差(standard deviation)σ, 精度パラメータ(precision parameter)β=1/σ2 14年1月19日日曜日
- 48. scipyでplot 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 14年1月19日日曜日 #!/usr/bin/env python # vim:fileencoding=utf-8 importnumpy as np import scipy as sp import matplotlib.pyplot as plt from scipy.stats import norm mu = 0 sigma = 1 rv = norm(loc = mu, scale = sigma) xmax = np.minimum(rv.dist.b, 3) x = np.linspace(-xmax, xmax, 1000) y = rv.pdf(x) fig = plt.figure(1) ax = fig.add_subplot(1,1,1) ax.plot(x, y) plt.show()
- 49.
- 50.
- 51. 多次元正規分布 • D次元ベクトルの連続変数x、 D次元平均ベクトルμ、DxD共分散行列Σ • 共分散行列に応じて分布形状が変わる •対角か全角か 14年1月19日日曜日
- 52. numpy.randomで 多次元正規分布からサンプリング 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 #!/usr/bin/env python # vim:fileencoding=utf-8 importnumpy as np import scipy as sp import matplotlib.pyplot as plt from numpy import random mean = [0, 0] cov = [[1, 0], [0, 100]] # 対角 x, y = random.multivariate_normal(mean, cov, 10000).T fig = plt.figure(1) ax = fig.add_subplot(1,1,1) ax.plot(x, y, 'x') plt.show() 14年1月19日日曜日
- 53. 全角の場合 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 #!/usr/bin/env python # vim:fileencoding=utf-8 importnumpy as np import scipy as sp import matplotlib.pyplot as plt from numpy import random mean = [0, 0] cov = [[1, 2], [30, 100]] # 全角 x, y = random.multivariate_normal(mean, cov, 10000).T fig = plt.figure(1) ax = fig.add_subplot(1,1,1) ax.plot(x, y, 'x') plt.show() 14年1月19日日曜日 楕円が表現可能であるが パラメータ数が増加 →混合ガウス分布(2章)
- 54. 複数の観測値に対する確率 • • 独立同分布(i.i.d; independentidentically データ集合x=(x1,...,xN)T distributed) • データ点が同じ分布から独立に生成 14年1月19日日曜日
- 55.
- 56.
- 57.
- 58.
- 59.
- 60.
- 61.
- 62. 1.2.6 ベイズ曲線フィッティング • 先に示した予測分布は与えられたwによ るもの •ベイズ的な取り扱いでは全てのwを考 慮する必要有 14年1月19日日曜日
- 63.
- 64. 1.3 モデル選択 • モデルの複雑さ •パラメータ数M, 正則化項λ • 最尤アプローチには過学習の問題 • 訓練データに対する性能で モデル性能は測れない 14年1月19日日曜日
- 65.
- 66.
- 67. 交差確認のデメリット • 計算量の増加 • 同じ訓練を複数回実施 •複数パラメータ存在時はより増加 • 訓練データのみに依存し過学習による バイアスを持たない尺度が必要 14年1月19日日曜日
- 68. 尺度 • AIC(akaike informationcriterion) • を最大にするモデルを選択 • BIC(Bayesian information criterion) (4.4.1) • 完全なベイズアプローチ(3.4) • ノンパラメトリックアプローチ 14年1月19日日曜日
- 69.
- 70.
- 71. 複数変数入力に対する多項式 • D次元入力に対する3次多項式 • 独立な係数の数がDに比例 • M次多項式だとD • べき乗に増加 3 M 14年1月19日日曜日
- 72.
- 73.
- 74. 1.5 決定理論(decision theory) • • 不確かさを含む状況における最適な意思決定 入力ベクトルx,目標変数t • • 実際の応用(決定理論で扱う) • • 14年1月19日日曜日 xの新しい値に対しtを予測することが目的 tの特定の値を予測 tの取る値に応じて特定の行動
- 75. 医療診断問題の例 • X線画像から癌の判定 • 入力ベクトルxが画像、出力変数が癌で あるC1(t=0) かそうでないC2 (t=1) • 同時分布p(x,C)(p(x,t))の推定により決定 14年1月19日日曜日
- 76.
- 77.
- 78.