Gist of Practical Bayesian Optimization of Machine Learning Algorithms

1. Practical Bayesian Optimization
of Machine Learning Algorithms
이동헌
donghun2018@gmail.com
2/2/2019 논문녹즙 프로젝트 © 이동헌 1

2. 논문녹즙이란…
• 먹기힘든 논문 편하게 마시게 만들어봅니다.
• 개인취향이 반영된 녹즙입니다.
• 물론 녹즙보단 직접 드시는게 건강에 더 좋습니다.
2/2/2019 논문녹즙 프로젝트 © 이동헌 2

3. 2/2/2019 논문녹즙 프로젝트 © 이동헌 3

4. 2/2/2019 논문녹즙 프로젝트 © 이동헌 4

5. 문제상황
• Hyperparameter tuning
• 당신의 머신러닝솔루션에는 항상 튜닝가능한 파라미터가 있음.
• 그거 어떻게 정하나요?
2/2/2019 논문녹즙 프로젝트 © 이동헌 5

6. 흔한 해결책
• 이걸 최대화하는 다음 선택지를 선택하자 = Bayesian Optimization
2/2/2019 논문녹즙 프로젝트 © 이동헌 6

7. 흔한 해결책
• 이걸 최대화하는 다음 선택지를 선택하자 = Bayesian Optimization
2/2/2019 논문녹즙 프로젝트 © 이동헌 7
알아두면 좋습니다.
Gaussian Process 사용하는 Bayesian Optimization에서
Expected Improvement를 즐겨쓰는 이유.
Closed form solution.

8. 우리는 뭘 했나
2/2/2019 논문녹즙 프로젝트 © 이동헌 8

9. 우리는 뭘 했나
2/2/2019 논문녹즙 프로젝트 © 이동헌 9

10. 우리는 뭘 했나
2/2/2019 논문녹즙 프로젝트 © 이동헌 10
(근데
우리도
파라미터
셋팅은
해야되는데
..)

11. 우리는 뭘 했나
2/2/2019 논문녹즙 프로젝트 © 이동헌 11

12. 우리는 뭘 했나
2/2/2019 논문녹즙 프로젝트 © 이동헌 12
보통은 이렇게 하지요

13. 우리는 뭘 했나
2/2/2019 논문녹즙 프로젝트 © 이동헌 13
하지만 우리는
Full Bayesian 으로!!!
이 논문의 첫번째 꼭지.

14. 우리는 뭘 했나
2/2/2019 논문녹즙 프로젝트 © 이동헌 14
하지만 우리는
Full Bayesian 으로!!!
이 논문의 첫번째 꼭지.
베이지안이면
적분할땐
몬테카를로

15. 그걸 왜?
2/2/2019 논문녹즙 프로젝트 © 이동헌 15
보통은 이런
hyperparameter 중
하나를 골라서
(예를들어 빨강)

16. 그걸 왜?
2/2/2019 논문녹즙 프로젝트 © 이동헌 16
EI를 (빨강만) 계산해서,
최고의 다음 선택지는?
(파랑을 골랐다면…?)

17. 그걸 왜?
2/2/2019 논문녹즙 프로젝트 © 이동헌 17
EI를 (빨강만) 계산해서,
최고의 다음 선택지는?
(파랑을 골랐다면…?)

18. 그걸 왜?
2/2/2019 논문녹즙 프로젝트 © 이동헌 18
EI를 (빨강만) 계산해서,
최고의 다음 선택지는?
(파랑을 골랐다면…?)

19. 그걸 왜?
2/2/2019 논문녹즙 프로젝트 © 이동헌 19
우리는 이거 다
적분해서 합친뒤에

20. 그걸 왜?
2/2/2019 논문녹즙 프로젝트 © 이동헌 20
우리는 이거 다
적분해서 합친뒤에
고릅니다

21. 그걸 왜?
2/2/2019 논문녹즙 프로젝트 © 이동헌 21
우리는 이거 다
적분해서 합친뒤에
고릅니다

22. 우리는 뭘 했나
2/2/2019 논문녹즙 프로젝트 © 이동헌 22
이겁니다

23. 다 된건가?
2/2/2019 논문녹즙 프로젝트 © 이동헌 23
다 된건
아닙니다

24. 그래도 여기저기서 잘 됩니다
• Branin-Hoo and Logistic Regression
• Online LDA
• Motif Finding with Structured Support Vector Machines
• Convolutional Networks on CIFAR-10
2/2/2019 논문녹즙 프로젝트 © 이동헌 24

25. 그 외..
• “Practical”
• Time-to-measure 개념의 도입
• Parallel measurement 처리
• 녹즙한잔에 모든걸 담을수가 없네요. 자세한건 논문을 직접.
• 녹즙공장은 아직 안열었습니다.
2/2/2019 논문녹즙 프로젝트 © 이동헌 25