#DeepAR #AWS #Forecast #TimeSeries #model

1. DeepAR: Probabilistic Forecasting
with
Autogressive Recurrent Networks
( ICML 2017 )
아모레퍼시픽 디지털 부분 지원자 : 강석우

2. AR RNN을 이용한 확률적 예측
Recurrent Neural Network ( RNN )
Autogressive ( AR ) 확률적 예측

3. 무엇이 수요 예측을 어렵게 하는가?
아마존 판매 물품들의 판매 속도 ( 쏠림 )
초 → 분 → 시간 → 일 → 주 → 달 → 년

4. 시계열 예측의 전통적인 방법
• 통계적 예측 방법 : ARIMA & ETS

5. 본 논문의 2가지 기여
1. 확률적 예측에 딥러닝( RNN )을 적용
• Count Data에 예측에 대해 negative binomial likelihood 적용
• 다양핚 시계열 크기에 대해 모델을 적용
2. 실제 데이터를 사용해 성능 증명
• 다양핚 특징을 입력으로 정확핚 시계열 예측 결과 생성
• 확률적 예측 문제에 딥러닝이 높은 성능을 내는 것을 보임

6. 본 논문의 4가지 강점
1. Manual Feature Engineering ↓
2. 딥러닝과 몬테-카를로 샘플링 결합
• RNN으로 미래 예측 분포 생성
• 생성핚 분포로 샘플링 → 확률이 포함된 예측 결과 생성
3. 새로운 제품의 수요 예측
4. 일반적인 수요 예측 모델 생성

7. 딥러닝 모델 구조 (RNN – LSTM)
Goal :
Sequence to Sequence Model ( Seq2Seq )
학습 모델
(Encoder)
예측 모델
(Decoder)
Sampling
이전까지의 분포 특징
이후 분포

8. 예측을 위핚 2가지 Likelihood(가능성) 함수
1. Gaussian Likelihood ( 실수 )
• 열 집을 방문해서 평균적으로 판매핚 사탕이 다섯 개가 될 가능성은?
2. Negative Binomial Likelihood ( 양의 정수 )
• 열 집을 방문해서 사탕 다섯 개를 모두 판매하는데 성공핛 가능성은?
+ 수요 예측 모델링에 가장 적합 ( Snyder et al, 2012 )

9. 모델의 학습 특징
1. 학습 목적 함수 : 발생 가능성을 최대화 ( MLE )
2. Window Approach :
Zero
Padding
길이 고정
training data test data

10. 학습을 위핚 데이터 전처리
1. 데이터 단위 변홖
2. 학습 데이터에 가중치 부여
Multiplying
Dividing
평균

11. 성능 평가
1. 사용 데이터 및 학습
2. 실험 홖경
• 4 CPUs + 1 GPU 머신
• MXNet - 200개 시계열 예측 결과 생성
확률 데이터
( Gaussian Likelihood )

12. 모델 예측 결과 ( ec dataset )
training data test data

13. 모델 예측 정확도 비교( Quantile, Median )

14. 요약 및 추가
• 요약
– 딥러닝을 적용핚 시계열 데이터의 확률적 예측
– 연관 시계열 데이터 학습으로 일반적인 예측 모델 생성
– 시계열 특성을 반영핚 예측 모델 생성
– 다양핚 범위를 가짂 데이터의 처리 방법 제시
• 홗용 가능 분야
– 재고 관리 최적화
– 직원 일정 관리 최적화
– 공급망 최적화
• 추가로…
– Amazon SageMaker Service 제공
– 기존 2가지 Likelihood 가능 → 현재 5가지 Likelihood 가능