[225]NSML: 머신러닝 플랫폼 서비스하기 & 모델 튜닝 자동화하기

1. NSML:
머신러닝 플랫폼 서비스하기
& 모델 튜닝 자동화하기
김민규, 김진웅
NSML

2. Contents
NSML: Machine Learning as a Service
CHOPT: 하이퍼파라미터 튜닝 자동화하기

3. NSML:
Machine Learning as a Service

4. 머신러닝
What I think I do What I actually do

5. 머신러닝
What really happens

6. Dependency Hell
협업 및 재실험이 어려움
github에서 받은 코드는 돌아가지도 않는다
힘들게 라이브러리 설치했더니, 버전이 다르다고 한다

7. MLaaS (Machine Learning as a Service)
MLaaS 목표는 최고의 모델을 만들어서 서비스하기
NSML을 통해서 진입장벽을 없애고, 협업과 경쟁이 가능해짐으로써 좋은 모델
학습부터 모델 서비스까지 쉽다

8. MLaaS:
진입장벽 없애기

9. 나만의 머신러닝 모델 만들기
Mnist예제
다운받기
실행 성공!GPU 셋업파이썬 설치
텐서플로우
설치
…
 가장 쉬운 머신러닝 모델 학습하는데 필요한 단계가 많음

10. 나만의 머신러닝 모델 만들기 (w/ NSML)
 지저분한 환경 세팅은 nsml통해서 처리
 커맨드 한 줄로 머신러닝 모델 학습 가능
Mnist예제
다운받기
실행 성공!

11. Almost-Zero Dependency
Containerized ML
 리눅스 컨테이너를 이용한 빠르고 정확한 환경 세팅
 컨테이너 이미지를 통해 reproduce 할 수 있다

12. Engineering issue
Scalability Stability
Linux Container
Modularization
Fault-tolerance
Monitoring
Security
Authentication / Authorization
Isolation

13. MLaaS:
Cluster sharing

14. 공유지의 비극
Install

15. Cluster sharing via container
Container를 통해 버전에 상관없이 서버 공유가 가능하다.
On demand로 관리하는 자원 할당 시스템을 통해 자원을 효율적으로
사용한다
-> 실제 연구원들에게 적용해보자

16. NSML is in service now!
사용자 별 다양한 목적 지원
 data preprocessing
 state-of-the-art 구현
 새로운 아이디어 실험
 모델 최적화
 모델 서비스

17. NSML로 인한 변화
 전체 자원 utilization 증가
 궁극적으로, ML연구 속도가 빨라졌다

18. MLaaS:
Hackathon

19. Naver AI Hackathon 2018
 영화 리뷰 평점 예측 / 지식인 질문 유사도 예측의 두 문제로 진행
 영화 리뷰 평점: 문장으로 된 영화 리뷰를 보고 점수 예측
 지식인 질문 유사도: 두 지식인 질문이 같은 질문인지 아닌지 판별
 총 250+명 참여
 한 달 동안 총 3라운드로 진행 (Online 2라운드, Offline 1라운드)

20. Leaderboard
 같은 데이터, 같은 태스크에 대해
서 어떤 모델이 좋은 성능을 내는
지 평가하는 UI
 실시간 업데이트

21. 현장 사진

22. 시스템 안정성

23. MLaaS:
Competition to service

24. 문서의 회전 각도 예측
 주어진 문서의 기울어진 각도 예측
 OCR엔진에서 사용하는 데이터 preprocessing에 적용 가능한 모델이 필요
45도

25. 최종 결과
 99.8% 정확도를 보이는 모델 학습
 내부에서 data preprocessing에 사용할 수 있는 수준의 모델 학습

26. 최종 결과

27. 키보드 오타교정
 키보드 입력 시퀀스를 받아, 오타 여부 판단 및 교정하는 문제
 Naver SmartBoard에 탑재할 수 있는 수준의 모델이 필요

28. 최종 결과
 실제로 사용 가능한 수준의 모델 생성
 Naver SmartBoard (http://keyboard.naver.com/)에 탑재

29. MLaaS:
모델 서비스하기

30. 모델 서비스 파이프라인 (AS-IS)
 NSML에서 모델 학습은 끝냈는데, 다시 서버 구축을 새로 해야한다
 혹시 더 좋은 모델을 나중에 발견하면? -> 2번부터 다시 해야 한다
데이터 수집 모델 학습
모델
다운로드
서비스용
서버 구축
Application
연결

31. 모델 서비스 파이프라인 (w/ NSML)
 서버 구축까지 NSML에서 대신해주며, 사용자는 앱만 만들면 된다
 혹시 더 좋은 모델을 나중에 발견하면? -> 단순히 NSML에 저장되어 있는
모델 이름만 변경하면 새로 구축 끝
데이터 수집 모델 학습
모델
다운로드
서비스용
서버 구축
Application
연결

32. Engineering issues
Scalability Stability
Scale in/out
Batch Scheduler
백업 DB
Monitoring

33. 모델 튜닝 자동화하기

34. 최고의 튜닝 방법?
- GSD Optimization

35. 최고의 튜닝 방법?
- Graduate Student Descent (GSD) Optimization

36. 최고의 튜닝 방법?
- Graduate Student Descent (GSD) Optimization

37. 최고의 튜닝 방법?
최근 기법들
- Population Based Training (Deepmind, 2017)
- Hyperband (CMU, UW, Google, 2016)
- BOHB (University of Freiburg, 2018)
- 그 외 다수 …

38. 다 좋은데...
언제 구현하고, 언제 적용하지…?
어느 최적화 기법이 제일 좋은지 어떻게 알지..?
모델, 알고리즘 연구하기에도 시간이 없는데 ...

39. CHOPT를 이용해 하이퍼파라미터
“쉽고” “빠르게” 튜닝 하기

40. “쉽게”

41. 스크립트?
= 남에게 맡기는 것
최근 논문 구현?
Third-party library?
가장 쉬운 방식이란?

42. CHOPT agent (Graduate Student)
- 사용자를 대신해 configuration file을 토대로 하이퍼파라미터를 튜닝!
(Graduate Student)

43. Configuration File
- Dictionary-based file
what to tune ?
how to tune ?

44. Select best hyperparameters

45. Select best hyperparameters

46. Show best hyperparameters

47. “빠르게”

48. How to make it fast?
사실…
최적의 하이퍼파라미터를 찾는건 튜닝 메소드에 의존적

49. 자원 몰아주기 !
Under-utilization
: CHOPT session 에게 자원 추가 할당 !
Over-utilization
: nsml 세션이 자원 요구시 반납 !
GPU(%)
3.5 배 빠르게 최적화 !

50. “진짜 되나요?”

51. 네. 됩니다.
- 저자들이 피땀흘려 얻은 결과를, 쉽고 빠르게 갱신 할 수 있습니다!
● Image Classification with CIFAR-100[1]
● Reasoning-QA with SQuAD 1.1[2]

52. One “More” Thing ...

53. Fine Tuning
- Expanding : 하이퍼파라미터를 하나씩 추가해 나가며 최적화 하는 방식
- Shrinking : 하이퍼파라미터의 범위를 점차 좁혀나가며 최적화 하는 방식

54. Fine Tuning (Expanding)
- 하이퍼파라미터를 하나씩 추가해 나가며 최적화 하는 방식

55. Fine Tuning (Expanding)
- 하이퍼파라미터를 하나씩 추가해 나가며 최적화 하는 방식

56. Fine Tuning (Shrinking)
- 하이퍼파라미터의 범위를 점차 좁혀나가며 최적화 하는 방식
range를 좁힌 후 rerun!

57. CHOPT demo.

58. Publication
● CHOPT : Automated Hyperparameter Optimization
Framework for Cloud-Based Machine Learning
Platforms
○ Cloud-based Hyperparameter OPTimization (CHOPT)
○ https://arxiv.org/abs/1810.03527

59. We are Hiring!!
Domains
•Speech Recognition
•Speech Synthesis
•Computer Vision
•Natural Language
•NSML / AutoML
•Finance AI
•App/Web Services
Positions
•Research Scientist
•Research Engineer
•SW Engineer
•Android / iOS Engineer
•Backend Engineer
•Data Engineer
•UI/UX Engineer
•Internship Member
•Global Residency
clova-jobs@navercorp.com

60. Q & A

61. 질문은 Slido에 남겨주세요.
sli.do
#deview
TRACK 2