SlideShare a Scribd company logo
1 of 39
Download to read offline
基礎からわかる確率過程
B3 環境情報学部 神保和⾏
第0回機械学習交流会
⾃⼰紹介
新B3
趣味
・プログラミング
・数学
・イラスト(春野すずらん)
この話をする理由
いろいろやってたら確率過程の話がたくさん出てきた
・ノンパラメトリックベイズ(ディリクレ過程)
・ガウス過程による回帰(PRML下)
ディープラーニングをやっていく
と・・・
統計学
多様体論
測度論
集合論
測度論が出てきた
いろいろやってると測度論が出てくるが全体的に何を⾔っている
のかわからない
例
・確率変数がある分布の系に従っているとする
・確率変数は関数︖
・確率変数とは
今⽇は雰囲気で測度論をやっていく
数学について・確率変数が定義されるま
で
すべては集合の構成と写像
集合について
⼈の名前
実数
微分⽅程式の解
集合に構造を⼊れたり集合の性質を解明するところから始まって
いく。
確率をどう定めるか
事象︖標本空間︖
まずはいろいろ定義から
可測空間
Ωの部分集合族Aが"σ代数"であるとは以下の3つ条件を満たすこ
と
(1) Ω∈A
(2) A∈A ⇒ A ∈ A
(3) A , A , A , ... ∈ A ⇒ A ∈ A
(Ω, A)を可測空間という
Ω・・・標本空間
A・・・事象
c
1 2 3 ⋃i=1
∞
i
測度
関数μ : A → [0, ∞] が測度であるとは
(1)μ(ϕ) = 0
(2)互いにそな⾼々加算個の集合A .., A ... ∈ Aに対して
μ( A ) = Σ μ(A )
この時(Ω, A, μ)を測度空間という。
μ(Ω) = 1の場合 μを確率測度という。
1 n
i=1
⋃
n
i i=1
n
i
測度イメージ
⾯積の⼀般化︖
可測空間は確率の定義に必要
事象だけが確率(実数を取ることができる集合である)
サイコロを⼀回振るで例える
1がでる
1以外が出る(余事象)
1-6が出る(全事象)
確率変数について
可測空間(Ω , A ), (Ω , A )を考える。ある写像X : Ω → Ω が
可測であるとは、次を満たすとき
A ∈ A ⇒ X (A) = {ω ∈ Ω ∣X(ω) ∈ A} ∈ A
この時XをΩ -値可測関数と呼ぶ。また(Ω , A )上に確率測度μが
定まっているとき、特にXを確率変数と呼ぶ
1 1 2 2 1 2
2
−1
1 1
2 1 1
確率変数イメージ図
標本に測度がついているイメージ︕
機械学習・・・Xの⾏き先の可測空間(R , B)⾃体が確率変数であ
ると考えがち (すなわち実数値確率変数)
確率変数は奥が深い︕
d
確率変数とは確率空間から測度空間への
可測関数
ということがわかった
確率分布とは
確率空間(Ω, A, μ)から可測空間(Ω , A )への確率変数(または可測
関数) X が定める確率分布とは、次の式によって定まる(Ω , A )上
の確率測度μ のことである
μ (A ) := μ(X 1(A )), A ∈ A
′ ′
′ ′
X
X ′ − ′ ′ ′
”確率変数が正規分布に従う”の意味
↓
測度空間(R , B)-値の確率変数によって誘導されるR 上の確率分
布が先程のガウス測度μ に⼀致する
d d
G
確率過程・ガウス過程を⾒てみよう︕
とその前に
位相空間とは
集合につながりを持たせたもの
(1) ∅, S ∈ O
(2) O , O ∈ O ⇒ O ∩ O ∈ O
(3) O ⊂ O ⇒ U ∈ O
1 2 1 2
′
⋃U∈O′
位相空間イメージ
多様体っぽくなってきた︕︕
重要な性質
距離から開集合系は⽣成することができる
→ 距離が定まった空間は位相空間である。
距離空間は位相空間の⼀例である
距離から定まる位相
(S, d)を距離空間とします。ここで dは距離関数。 S上の位相を
次のように定める。
次の形の集合
B(p; r) := {x ∈ S∣d(p, x) < r}, 0 < r < ∞, p ∈ S
全体からなる集合族O を考え、それにより⽣成される位相、すな
わち位相の定義式(1)-(3)を満たすようにO に付け加えたものを、
距離空間上の距離から定まる位相と呼ぶ。
′
′
Borel集合
定義
位相空間(S, O)に対して定まるBorel集合族B(O)とは、位相 Oに
よって⽣成されるσ-代数の事である。
即ちO が位相空間の条件を全て満たすように⾜りないものを付け
加えた集合族である。
ガウス測度
Ω := R とする。R 上のσ-代数(事象) Bをユークリッド距離か
ら定まるR 上の位相により定まるBorel集合族とする。可測空間
(R, B)上の確率測度μ を次のように定める
μ (B) := exp dx,
これを標準ガウス測度と呼ぶ。
d d
d
G
G ∫
B √2π
d
1
(
2
−∣∣x∣∣2
)
こっから先は次週しっかりやる
cylinder set
ある集合D上の関数の集合Sを考える。
筒集合(cylinder set)とは
f ∈ S : (f(t ), ..., f(t )) ∈ B × ... × B
B ∈ B(R), i ∈ 1, ..., n, 1 ≤ n < ∞, t , ...t ∈ D
すなわち,S の要素の中で,(有限個の)Dの要素が実数上のボレル
集合体 B(R) の要素となる関数の集合を意味している
1 n 1 n
i 1 n
cylinder set 2
重要な性質
cylinder setにより⽣成されるσ-加法族はBorel集合体B(D)と同⼀
である
(要証明)
関数空間上のσ代数
R をT上の関数空間、すなわちR := {f : T → R}と定義す
る。この空間上の⾃然なσ-代数を C(T)とおく。
T T
ガウス過程の定義
確率空間(Ω, A, μ) から測度空間(R , C(T))への確率変数ζがガ
ウス過程であるとは、それによってい誘導されるR 上の確率分布
μ が次の条件を満たすときに⾔う︓
任意の有限個のTの元t , ..., t を取ってきた時に定まる確率変数
(t , ..., t ) : R → R , f → (f(t ), ..., f(t ))
が定めるR 上の確率分布が必ずガウス測度となる
T
T
ζ
1 n
1 n
T n
1 n
n
すなわちガウス過程とは
In terms of measures: Consider the space R of all real-valued
functions on T. A subset of the form
{f : f(t ) ∈ A , 1 ≤ i ≤ n} for some n ≥ 1, t ∈ T and some
Borel sets A ⊆ R is called a cylinder set. Let G be the
sigma-algebra generated by all cylinder sets. Equivalently, we may
consider the product topology on R
(by definition the smallest topology that makes the projection maps
Πt , ..., t (f) = (f(t ), ..., f(t )) from R to
R continuous) and define G as the Borel sigma-algebra of this
topology.
T
i i i
i
T
1 n 1 n
T
n
すなわちガウス過程とは
Then, a measure μ on (R , G) is called a Gaussian measure if for
every n ≥ 1 an and every t1,...,tn ∈ T, the
push-forward measure µ◦Π−1
t1, ..., tn on R is a Gaussian measure (with some mean vector
and some covariance
matrix).
T
n
すなわちガウス過程とは
⾃然な可測空間としての"関数空間"に値を取る確率変数であって、
その確率変数の⾃然な有限次元へのcilynder setによる位相連続写
像が誘導する確率分布が、ガウス測度となる確率変数
そんなcontinuous function は存在するの
か︖
Kormogolv extension theory
理解不能だった
ちょっとルベーグ積分
動機
離散空間での積分を数学的に記述したい
積分・・・実数に対してやるもの
実数が特殊な集合ならば⼀般的な集合に積分を定義できるはず
ちょっとルベーグ積分2
積分には何が必要か︖
→連続性
→位相空間にも連続性を定義し、離散的な⼀般的な区間で積分を定
義しよう
次回
kormogolvの拡張定理
ガウス過程
無限分解可能分布
やるかも・・・

More Related Content

What's hot

【解説】 一般逆行列
【解説】 一般逆行列【解説】 一般逆行列
【解説】 一般逆行列Kenjiro Sugimoto
 
MIRU2016 チュートリアル
MIRU2016 チュートリアルMIRU2016 チュートリアル
MIRU2016 チュートリアルShunsuke Ono
 
時系列分析による異常検知入門
時系列分析による異常検知入門時系列分析による異常検知入門
時系列分析による異常検知入門Yohei Sato
 
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)narumikanno0918
 
方策勾配型強化学習の基礎と応用
方策勾配型強化学習の基礎と応用方策勾配型強化学習の基礎と応用
方策勾配型強化学習の基礎と応用Ryo Iwaki
 
POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用Yasunori Ozaki
 
最適化計算の概要まとめ
最適化計算の概要まとめ最適化計算の概要まとめ
最適化計算の概要まとめYuichiro MInato
 
データサイエンス概論第一=2-1 データ間の距離と類似度
データサイエンス概論第一=2-1 データ間の距離と類似度データサイエンス概論第一=2-1 データ間の距離と類似度
データサイエンス概論第一=2-1 データ間の距離と類似度Seiichi Uchida
 
3.3節 変分近似法(前半)
3.3節 変分近似法(前半)3.3節 変分近似法(前半)
3.3節 変分近似法(前半)tn1031
 
Rで学ぶ離散選択モデル
Rで学ぶ離散選択モデルRで学ぶ離散選択モデル
Rで学ぶ離散選択モデル宏喜 佐野
 
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」Takashi J OZAKI
 
レプリカ交換モンテカルロ法で乱数の生成
レプリカ交換モンテカルロ法で乱数の生成レプリカ交換モンテカルロ法で乱数の生成
レプリカ交換モンテカルロ法で乱数の生成Nagi Teramo
 
第4回DARM勉強会 (構造方程式モデリング)
第4回DARM勉強会 (構造方程式モデリング)第4回DARM勉強会 (構造方程式モデリング)
第4回DARM勉強会 (構造方程式モデリング)Yoshitake Takebayashi
 
L 05 bandit with causality-公開版
L 05 bandit with causality-公開版L 05 bandit with causality-公開版
L 05 bandit with causality-公開版Shota Yasui
 
ぞくパタ最終回: 13章「共クラスタリング」
ぞくパタ最終回: 13章「共クラスタリング」ぞくパタ最終回: 13章「共クラスタリング」
ぞくパタ最終回: 13章「共クラスタリング」Akifumi Eguchi
 
階層ベイズによるワンToワンマーケティング入門
階層ベイズによるワンToワンマーケティング入門階層ベイズによるワンToワンマーケティング入門
階層ベイズによるワンToワンマーケティング入門shima o
 
ベータ分布の謎に迫る
ベータ分布の謎に迫るベータ分布の謎に迫る
ベータ分布の謎に迫るKen'ichi Matsui
 
2 4.devianceと尤度比検定
2 4.devianceと尤度比検定2 4.devianceと尤度比検定
2 4.devianceと尤度比検定logics-of-blue
 

What's hot (20)

【解説】 一般逆行列
【解説】 一般逆行列【解説】 一般逆行列
【解説】 一般逆行列
 
MIRU2016 チュートリアル
MIRU2016 チュートリアルMIRU2016 チュートリアル
MIRU2016 チュートリアル
 
時系列分析による異常検知入門
時系列分析による異常検知入門時系列分析による異常検知入門
時系列分析による異常検知入門
 
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
スパースモデリング、スパースコーディングとその数理(第11回WBA若手の会)
 
方策勾配型強化学習の基礎と応用
方策勾配型強化学習の基礎と応用方策勾配型強化学習の基礎と応用
方策勾配型強化学習の基礎と応用
 
POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用POMDP下での強化学習の基礎と応用
POMDP下での強化学習の基礎と応用
 
最適化計算の概要まとめ
最適化計算の概要まとめ最適化計算の概要まとめ
最適化計算の概要まとめ
 
データサイエンス概論第一=2-1 データ間の距離と類似度
データサイエンス概論第一=2-1 データ間の距離と類似度データサイエンス概論第一=2-1 データ間の距離と類似度
データサイエンス概論第一=2-1 データ間の距離と類似度
 
3.3節 変分近似法(前半)
3.3節 変分近似法(前半)3.3節 変分近似法(前半)
3.3節 変分近似法(前半)
 
Rで学ぶ離散選択モデル
Rで学ぶ離散選択モデルRで学ぶ離散選択モデル
Rで学ぶ離散選択モデル
 
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
Rによるやさしい統計学第20章「検定力分析によるサンプルサイズの決定」
 
レプリカ交換モンテカルロ法で乱数の生成
レプリカ交換モンテカルロ法で乱数の生成レプリカ交換モンテカルロ法で乱数の生成
レプリカ交換モンテカルロ法で乱数の生成
 
第4回DARM勉強会 (構造方程式モデリング)
第4回DARM勉強会 (構造方程式モデリング)第4回DARM勉強会 (構造方程式モデリング)
第4回DARM勉強会 (構造方程式モデリング)
 
L 05 bandit with causality-公開版
L 05 bandit with causality-公開版L 05 bandit with causality-公開版
L 05 bandit with causality-公開版
 
ぞくパタ最終回: 13章「共クラスタリング」
ぞくパタ最終回: 13章「共クラスタリング」ぞくパタ最終回: 13章「共クラスタリング」
ぞくパタ最終回: 13章「共クラスタリング」
 
正準相関分析
正準相関分析正準相関分析
正準相関分析
 
潜在クラス分析
潜在クラス分析潜在クラス分析
潜在クラス分析
 
階層ベイズによるワンToワンマーケティング入門
階層ベイズによるワンToワンマーケティング入門階層ベイズによるワンToワンマーケティング入門
階層ベイズによるワンToワンマーケティング入門
 
ベータ分布の謎に迫る
ベータ分布の謎に迫るベータ分布の謎に迫る
ベータ分布の謎に迫る
 
2 4.devianceと尤度比検定
2 4.devianceと尤度比検定2 4.devianceと尤度比検定
2 4.devianceと尤度比検定
 

Similar to 基礎からわかる確率過程

2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
2013.12.26 prml勉強会 線形回帰モデル3.2~3.42013.12.26 prml勉強会 線形回帰モデル3.2~3.4
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4Takeshi Sakaki
 
Deep learning _linear_algebra___probablity___information
Deep learning _linear_algebra___probablity___informationDeep learning _linear_algebra___probablity___information
Deep learning _linear_algebra___probablity___informationtakutori
 
topology of musical data
topology of musical datatopology of musical data
topology of musical dataTatsuki SHIMIZU
 
複素数・四元数と図形の回転
複素数・四元数と図形の回転複素数・四元数と図形の回転
複素数・四元数と図形の回転Yoshihiro Mizoguchi
 
第10回 配信講義 計算科学技術特論A(2021)
第10回 配信講義 計算科学技術特論A(2021)第10回 配信講義 計算科学技術特論A(2021)
第10回 配信講義 計算科学技術特論A(2021)RCCSRENKEI
 
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介Deep Learning JP
 
Introduction to Categorical Programming
Introduction to Categorical ProgrammingIntroduction to Categorical Programming
Introduction to Categorical ProgrammingMasahiro Sakai
 
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)Itaru Otomaru
 
カステラ本勉強会 第三回
カステラ本勉強会 第三回カステラ本勉強会 第三回
カステラ本勉強会 第三回ke beck
 
Newtsulideprint
NewtsulideprintNewtsulideprint
Newtsulideprinttononro
 
機械学習と深層学習の数理
機械学習と深層学習の数理機械学習と深層学習の数理
機械学習と深層学習の数理Ryo Nakamura
 
2015年度秋学期 応用数学(解析) 第5回 微分方程式とは・変数分離形 (2015. 10. 29)
2015年度秋学期 応用数学(解析) 第5回 微分方程式とは・変数分離形 (2015. 10. 29) 2015年度秋学期 応用数学(解析) 第5回 微分方程式とは・変数分離形 (2015. 10. 29)
2015年度秋学期 応用数学(解析) 第5回 微分方程式とは・変数分離形 (2015. 10. 29) Akira Asano
 
第4回MachineLearningのための数学塾資料(浅川)
第4回MachineLearningのための数学塾資料(浅川)第4回MachineLearningのための数学塾資料(浅川)
第4回MachineLearningのための数学塾資料(浅川)Shin Asakawa
 
How to study stat
How to study statHow to study stat
How to study statAk Ok
 
2次元/3次元幾何学変換の統一的な最適計算論文
2次元/3次元幾何学変換の統一的な最適計算論文2次元/3次元幾何学変換の統一的な最適計算論文
2次元/3次元幾何学変換の統一的な最適計算論文doboncho
 
代数トポロジー入門
代数トポロジー入門代数トポロジー入門
代数トポロジー入門Tatsuki SHIMIZU
 

Similar to 基礎からわかる確率過程 (20)

0621
06210621
0621
 
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
2013.12.26 prml勉強会 線形回帰モデル3.2~3.42013.12.26 prml勉強会 線形回帰モデル3.2~3.4
2013.12.26 prml勉強会 線形回帰モデル3.2~3.4
 
Deep learning _linear_algebra___probablity___information
Deep learning _linear_algebra___probablity___informationDeep learning _linear_algebra___probablity___information
Deep learning _linear_algebra___probablity___information
 
topology of musical data
topology of musical datatopology of musical data
topology of musical data
 
複素数・四元数と図形の回転
複素数・四元数と図形の回転複素数・四元数と図形の回転
複素数・四元数と図形の回転
 
第10回 配信講義 計算科学技術特論A(2021)
第10回 配信講義 計算科学技術特論A(2021)第10回 配信講義 計算科学技術特論A(2021)
第10回 配信講義 計算科学技術特論A(2021)
 
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
[DL輪読会]Convolutional Conditional Neural Processesと Neural Processes Familyの紹介
 
Introduction to Categorical Programming
Introduction to Categorical ProgrammingIntroduction to Categorical Programming
Introduction to Categorical Programming
 
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
[PRML勉強会資料] パターン認識と機械学習 第3章 線形回帰モデル (章頭-3.1.5)(p.135-145)
 
カステラ本勉強会 第三回
カステラ本勉強会 第三回カステラ本勉強会 第三回
カステラ本勉強会 第三回
 
Newtsulideprint
NewtsulideprintNewtsulideprint
Newtsulideprint
 
ma99992006id365
ma99992006id365ma99992006id365
ma99992006id365
 
JSIAM_2019_9_4
JSIAM_2019_9_4JSIAM_2019_9_4
JSIAM_2019_9_4
 
機械学習と深層学習の数理
機械学習と深層学習の数理機械学習と深層学習の数理
機械学習と深層学習の数理
 
2015年度秋学期 応用数学(解析) 第5回 微分方程式とは・変数分離形 (2015. 10. 29)
2015年度秋学期 応用数学(解析) 第5回 微分方程式とは・変数分離形 (2015. 10. 29) 2015年度秋学期 応用数学(解析) 第5回 微分方程式とは・変数分離形 (2015. 10. 29)
2015年度秋学期 応用数学(解析) 第5回 微分方程式とは・変数分離形 (2015. 10. 29)
 
第4回MachineLearningのための数学塾資料(浅川)
第4回MachineLearningのための数学塾資料(浅川)第4回MachineLearningのための数学塾資料(浅川)
第4回MachineLearningのための数学塾資料(浅川)
 
CMSI計算科学技術特論B(8) オーダーN法1
 CMSI計算科学技術特論B(8) オーダーN法1 CMSI計算科学技術特論B(8) オーダーN法1
CMSI計算科学技術特論B(8) オーダーN法1
 
How to study stat
How to study statHow to study stat
How to study stat
 
2次元/3次元幾何学変換の統一的な最適計算論文
2次元/3次元幾何学変換の統一的な最適計算論文2次元/3次元幾何学変換の統一的な最適計算論文
2次元/3次元幾何学変換の統一的な最適計算論文
 
代数トポロジー入門
代数トポロジー入門代数トポロジー入門
代数トポロジー入門
 

基礎からわかる確率過程