Introduction to Bayesian inference

1. Frequentist VS Bayesian
Integration issue
ThinkBayes
Introduction of bayesian inference
김진섭
서울대학교 보건대학원
January 14, 2014
김진섭
ThinkBayes

2. Frequentist VS Bayesian
Integration issue
목차
1
Frequentist VS Bayesian
확률을 보는 관점
Bayes’ rule
2
Integration issue
Why?
Simulation
김진섭
ThinkBayes

3. Frequentist VS Bayesian
Integration issue
확률을 보는 관점
Bayes’ rule
객관적 VS 주관적 확률
주사위를 던져 1이 나올 확률
1
객관적: 확률은 정확한 숫자로 존재하고 그것을 추정한다.
2
주관적: 알수 없다, 믿음을 계속 업데이트할 수 밖에..
주사위를 던져 1이 나올 확률에 대한 접근법
1
객관적: 계속 던져봐서 추정해보니 확률은 1/6인 듯 하다.
2
주관적: 1/6일 것 같은데, 계속 던져보니 1/6이 맞는 것
같네..
김진섭
ThinkBayes

4. Frequentist VS Bayesian
Integration issue
확률을 보는 관점
Bayes’ rule
Homo bayesianis
Figure : Fun example of bayesian
김진섭
ThinkBayes

5. Frequentist VS Bayesian
Integration issue
확률을 보는 관점
Bayes’ rule
Frequentist의 논쟁법
상대방: 신약이랑 기존 약이랑 혈압강하효과가 차이가 없는 것
같은데..
나: 뭐? 신약이랑 기존 약이랑 차이가 0이라고?? 차이가 0
이라고 치자. 그러면 어쩌구저쩌구.. 이 데이터의 상황이 나올
가능성이 거의 없는데(5%미만인데)? 그니까 넌 틀렸어.
1
차이가 0이라고 말한 사람은 없다. 가상의적을 난타.
2
상대방의 주장을 최대한 좁게 해석하여 반박.
3
얍삽하다.
김진섭
ThinkBayes

6. Frequentist VS Bayesian
Integration issue
확률을 보는 관점
Bayes’ rule
Bayesian의 논쟁법
상대방: 신약이랑 기존 약이랑 혈압강하효과가 차이가 없는 것
같은데.. N(0, 1)분포를 따르지 않을까?
나: 차이가 N(0, 1)을 따른다고 가정하자. 가정에 따르면 이
데이터의 상황이 주어졌을 때, 차이의 조건부확률을
계산해보니 N(5, 1.2)를 따르는데?
1
사전믿음에 대한 분포를 가정: Prior
2
데이터가 주는 정보: Likelihood
3
믿음과 데이터의 정보를 종합 : Posterior- 이걸로 해석.
김진섭
ThinkBayes

7. Frequentist VS Bayesian
Integration issue
확률을 보는 관점
Bayes’ rule
Conditional probability
P(A ∩ B)
P(B)
P(A ∩ B)
P(B) × P(A|B)
P(B|A) =
=
P(A)
P(A)
P(B|A) ∝ P(B) × P(A|B)
P(A|B) =
김진섭
ThinkBayes
(1)

8. Frequentist VS Bayesian
Integration issue
확률을 보는 관점
Bayes’ rule
Bayesian inference
P(θ) × P(data|θ)
P(data)
P(θ|data) ∝ P(θ) × P(data|θ)
P(θ|data) =
Posterior ∝ Prior × Likelihood
P(data) 구해야 되는데...
P(data) = P(θ) × P(data|θ)dθ
김진섭
ThinkBayes
(2)

9. Frequentist VS Bayesian
Integration issue
확률을 보는 관점
Bayes’ rule
Prior, likelihood, posterior
Figure : Prior, likelihood, posterior
김진섭
ThinkBayes

10. Frequentist VS Bayesian
Integration issue
Why?
Simulation
1
Posterior 분포를 그려야 평균 or 95% C.I....
2
Prior와 Likelihood가 적당히 좋은 함수라면 Posterior가 잘
알고 있는 분포가 될 수도..
3
대부분은 Posterior는 알고 있는 분포가 아니다...
적분불가능.
김진섭
ThinkBayes

11. Frequentist VS Bayesian
Integration issue
Why?
Simulation
Monte Carlo integration
1
적분을 시뮬레이션으로 해결하겠다.
2
예) N(0,1) 적분 : N(0,1)에서 sample N개 뽑아서 그것의
평균, N이 커지면 원래 적분값에 가까워짐.
즉, f (x) 적분할 때 f (x)에서 샘플링 많이 해서 그것의
평균으로..
f (x) 샘플링 어려울 땐 비슷하게 생긴 g (x)이용 : Importance
sampling
김진섭
ThinkBayes

12. Frequentist VS Bayesian
Integration issue
Why?
Simulation
Monte carlo example
Figure : 원의 넓이 구하기
김진섭
ThinkBayes

13. Frequentist VS Bayesian
Integration issue
Why?
Simulation
Monte carlo example(2)
Figure : Integration of f (x)
김진섭
ThinkBayes

14. Frequentist VS Bayesian
Integration issue
Why?
Simulation
MCMC(Markov chain Monte Carlo)
1
Monte carlo: Random sampling- 효율이 떨어짐.
2
다변량 분석, 특히 multilevel 샘플링 어렵다.
MCMC
1
Markov chain MC : 바로 전의 샘플링한것을 이용하여
sampling - 효율, hierarchial model에 적합.
2
Metropolis-Hastings 알고리즘, Gibbs sampler(거의 표준)
김진섭
ThinkBayes

15. Frequentist VS Bayesian
Integration issue
Why?
Simulation
Gibbs sampler
Figure : Example of gibbs sampling: 2 variables
김진섭
ThinkBayes

16. Frequentist VS Bayesian
Integration issue
Why?
Simulation
Multivariable gibbs sampler
Figure : Gibbs sampling: > 2 variables
김진섭
ThinkBayes