1. Machine Learning
Logistic Regression
Generalized Linear Model

2. 8.1 Introduction, overview
8.2 Model specification
8.3 Model fitting
8.3.1 MLE
8.3.2 Steepest descent
8.3.3 Newton's method
8.3.6 l2 regularization
8.3.7 Multi-class logistic regression
8.4 Bayesian logistic regression
8.4.1 Laplace approximation
8.4.2 Derivation of the BIC(Bayesian Information
Criterion)
8.4.3 Gaussian approximation for logistic regression
8.4.4 Approximating the posterior predictive
8.5 Online learning and stochastic optimization
8.5.3 The LMS algorithm
8.5.4 The perceptron algorithm
8.5.5 A Bayesian view
8.6 Generative vs discriminative classifiers
8.6.1 Pros and cons of each approach

5. 다른 최적화 기법(경사 강하, 뉴턴,…)을 사용해서 최적화한다

6. 예측치-실제치

8. 에타에 대해서 미분

11. Recall Ridge regresion

16. 정규분포라서 그냥 평균이고 평균은
MAP추정치 였으므로 l2 reg와 같아짐

19. 베이지안 linear regression

21. 9.1 Introduction
9.2 The exponential family
9.2.1 Definition
9.2.2.1 Bernoulli
9.2.2.2 Multinoulli
9.2.2.3 Univariate Gaussian
9.2.3 Log partition function
9.2.3.1 Example: the Bernoulli distribution
9.3 Generalized linear models (GLMs)
9.3.1 Basics
9.3.2 ML and MAP estimation
9.3.3 Bayesian inference

23. Normalize 하는 term
어떤 분포를 지수형태의 같은 모양으로 표현할
수 있으면 지수족이라고 한다.
족

29. Likelihood의 충분통계량

30. 전체 앞면수/전체 시도수

35. logistic regression 의 경우 μ
= 1/(1+exp(-w'x)) 이므로 S는 섹션 8.3.1
의 결과와 같아진다.
Logistic R의 gradient
부호가 바뀐건 위의 결과는 NLL에 대해서 한거라