[Qraft] database api design for financial deep learning experiment hyukhwankwon

Copyrightⓒ. Saebyeol Yu. All Rights Reserved.
DATABASE API DESIGN FOR
FINANCIAL DEEP LEARNING EXPERIMENT
금융딥러닝 실험환경 구성을 위한 API 설계
권 혁환
QRAFT TECHNOLOGIES, INC.
SEP 09 2019

Qraft Technologies, Inc.
INTRODUCTION
Speaker
권혁환
現 Qraft Technologies
前 Naver
前 Smilegate
AI Product Team
금융딥러닝 실험환경 구성을 위한 API 설계

QRAFT DATA FLOW0
로데이터 적재 QRAFT API 딥러닝/연산
RAW API 활용

1
BR
US
UK
CA
VN
KRCN
DATA IN QRAFT

2 DATA IN QRAFT
EQUITY MACRO ASSET
▪ US 전 종목 (상폐포함)
▪ KR 전 종목 (상폐 포함)
▪ 기타 국가 종목 (상폐 포함)
▪ 재무/시세 데이터
▪ FRED
▪ CPI/PMI
▪ GDP
▪ M1/M2
▪ INDEX
▪ 국내/외 채권
▪ Forex
▪ 기타 자산군
COMMODITY ETC
▪ METAL
▪ OIL
▪ PTA/MEG
▪ NEWS
▪ SENTIMENT

3 API의 필요성
RAW
각자 다른 전처리
데이터 결측치 처리
다양한 종류의 쿼리 숙지
속도 문제
..
…
.

4 API의 필요성
RAW API
중앙 관리 시스템

NORU and KIRIN?
NORU api.v1 KIRIN api.v2

5 QRAFT API 특징
속도정확도 확장성 재활용성
EASE
MASKING
NEW TYPE MEMORY RECORD
VERSION
CACHE
SOCKET
JIT
FITTING
REUSE
접근성

6 QRAFT API 특징
누구나 쉽게접근성

7 QRAFT API 특징
EASE
접근성

8 QRAFT API 특징
EASE
접근성

9 QRAFT API 특징
항상 최신 버전 유지접근성

QRAFT API 특징
VERSION
CONTROL
10
접근성

QRAFT API 특징
첫째, API 항상 최신 버전 보장
둘째, 동일 메소드로 누구나 손쉽게 데이터 로드
셋째, 오류 방지 및 사내 협업 용이
EASE
VERSION
11
접근성

12 QRAFT API 특징
DELIST SPIN-OFF EXCM&A
Corporate Action
정확성

QRAFT API 특징
FITTING
1986-12-01
1987-07-01
1988-02-01
1988-09-01
1989-04-01
1989-11-01
1990-06-01
1991-01-01
1991-08-01
1992-03-01
1992-10-01
1993-05-01
1993-12-01
1994-07-01
1995-02-01
1995-09-01
1996-04-01
1996-11-01
1997-06-01
1998-01-01
1998-08-01
1999-03-01
1999-10-01
2000-05-01
2000-12-01
2001-07-01
2002-02-01
2002-09-01
2003-04-01
2003-11-01
2004-06-01
2005-01-01
2005-08-01
2006-03-01
2006-10-01
2007-05-01
2007-12-01
2008-07-01
2009-02-01
2009-09-01
2010-04-01
2010-11-01
2011-06-01
2012-01-01
2012-08-01
2013-03-01
2013-10-01
2014-05-01
2014-12-01
2015-07-01
2016-02-01
2016-09-01
2017-04-01
2017-11-01
2018-06-01
2019-01-01
2019-08-01
Momentum Before Masking Momentum After Masking S&P 500
13
정확성

QRAFT API 특징
FITTING
1986-12-01
1987-07-01
1988-02-01
1988-09-01
1989-04-01
1989-11-01
1990-06-01
1991-01-01
1991-08-01
1992-03-01
1992-10-01
1993-05-01
1993-12-01
1994-07-01
1995-02-01
1995-09-01
1996-04-01
1996-11-01
1997-06-01
1998-01-01
1998-08-01
1999-03-01
1999-10-01
2000-05-01
2000-12-01
2001-07-01
2002-02-01
2002-09-01
2003-04-01
2003-11-01
2004-06-01
2005-01-01
2005-08-01
2006-03-01
2006-10-01
2007-05-01
2007-12-01
2008-07-01
2009-02-01
2009-09-01
2010-04-01
2010-11-01
2011-06-01
2012-01-01
2012-08-01
2013-03-01
2013-10-01
2014-05-01
2014-12-01
2015-07-01
2016-02-01
2016-09-01
2017-04-01
2017-11-01
2018-06-01
2019-01-01
2019-08-01
Survivorship Bias Alpha
14
정확성

QRAFT API 특징
MASKING
1.103 CRM : 1 DATA
TABLEAU merged INFO changed
PORTFPLIO 반영
출처: W7NEWS
15
정확성

QRAFT API 특징
1.103 CRM : 1 DATA
PORTFPLIO 반영
MASKING
16
정확성

QRAFT API 특징
FITTING
1986-12-01
1987-07-01
1988-02-01
1988-09-01
1989-04-01
1989-11-01
1990-06-01
1991-01-01
1991-08-01
1992-03-01
1992-10-01
1993-05-01
1993-12-01
1994-07-01
1995-02-01
1995-09-01
1996-04-01
1996-11-01
1997-06-01
1998-01-01
1998-08-01
1999-03-01
1999-10-01
2000-05-01
2000-12-01
2001-07-01
2002-02-01
2002-09-01
2003-04-01
2003-11-01
2004-06-01
2005-01-01
2005-08-01
2006-03-01
2006-10-01
2007-05-01
2007-12-01
2008-07-01
2009-02-01
2009-09-01
2010-04-01
2010-11-01
2011-06-01
2012-01-01
2012-08-01
2013-03-01
2013-10-01
2014-05-01
2014-12-01
2015-07-01
2016-02-01
2016-09-01
2017-04-01
2017-11-01
2018-06-01
2019-01-01
2019-08-01
17
OVERFITTING
FORWARD LOOKING 등 방지
정확성

QRAFT API 특징
FITTING
1986-12-01
1987-07-01
1988-02-01
1988-09-01
1989-04-01
1989-11-01
1990-06-01
1991-01-01
1991-08-01
1992-03-01
1992-10-01
1993-05-01
1993-12-01
1994-07-01
1995-02-01
1995-09-01
1996-04-01
1996-11-01
1997-06-01
1998-01-01
1998-08-01
1999-03-01
1999-10-01
2000-05-01
2000-12-01
2001-07-01
2002-02-01
2002-09-01
2003-04-01
2003-11-01
2004-06-01
2005-01-01
2005-08-01
2006-03-01
2006-10-01
2007-05-01
2007-12-01
2008-07-01
2009-02-01
2009-09-01
2010-04-01
2010-11-01
2011-06-01
2012-01-01
2012-08-01
2013-03-01
2013-10-01
2014-05-01
2014-12-01
2015-07-01
2016-02-01
2016-09-01
2017-04-01
2017-11-01
2018-06-01
2019-01-01
2019-08-01
18
OVERFITTING
FORWARD LOOKING 등 방지
정확성

QRAFT API 특징
1.103 CRM : 1 DATA
PORTFPLIO 반영
MASKING
첫째, 정확하고 엄밀한 UNVERSE 마스킹
둘째, 생존편향 오버피팅에서 오는 +알파 방지
셋째, 정확한 데이터 기반 백테스팅 가능
19
정확성

QRAFT API 특징
NEW TYPE
20
확장성

QRAFT API 특징
NEW TYPE
21
확장성

QRAFT API 특징
def get_news_data(self, item: str, filing_type='annual’, domestic_new=True, name=None,
date_from='1980-12-31', date_to='9999-12-31')
NEW TYPE
API 내 간단한 메소드 추가로 해결
22
확장성

QRAFT API 특징24
API
속도

QRAFT API 특징
FILE
SYSTEM
25
좀 더 빠른 FILESYSTEM 확장자 사용
속도

QRAFT API 특징
FILE
SYSTEM
좀 더 빠른 FILESYSTEM 확장자 사용
26
속도

QRAFT API 특징
MEMORY
SERVER MEMORY / SOCKET 통신 활용
27
속도

QRAFT API 특징
CACHE
메소드 + 파라미터 > Key-base Hashing + Cache 활용
28
속도

QRAFT API 특징
JIT
인터프리터 언어의 한계를 극복하기 위한 Just-in-time compilation
29
속도

QRAFT API 특징
JIT
일반 Python vs QRAFT API Numba JIT 속도 비교
Numba JIT
CPython
x8
x39
(단위: 초)
30
속도

QRAFT API 특징
JIT
인터프리터 언어의 한계를 극복하기 위한 Just-in-time compilation
첫째, 빠른 확장자 + Memory + Socket 통신
셋째, Cache 활용하여 불필요한 로딩 제거
둘째, Numba JIT, Vectorization 연산 활용
31
속도

QRAFT API 특징
SACRED
속도
32
실험 학습 결과분석
재활용성

QRAFT API 특징
SACRED
속도
33
재활용성

QRAFT API 특징
SACRED
속도
34
재활용성

QRAFT API 특징
SACRED
속도
첫째, 실험에 사용한 설정, 데이터 파일 전부 기록
셋째, 과거 기록된 결과를 언제든지 재사용 가능
둘째, 실험 도중 발생한 결과/내용/에러 전부 기록
35
재활용성

QRAFT API 특징
쉽고 엄격하고 확장용이하고 빠르게 재활용가능
36
속도정확도 확장성 재활용성접근성

QRAFT DATA FLOW37
로데이터 적재 QRAFT API 딥러닝/연산
RAW API 활용

38
QRAFT SMB
Fama/French SMB
QRAFT HML
Fama/French HML
Corr. 99% Corr. 97%
QRAFT API 활용 – Fama/French Stock Pricing Model SMB, HML

39
4.1
6.5
7.8
12.3
6.3
7.2
8.43
11.5
4.5
5.5
12
10
3
8
4.9
8.9
2008 2011 2015 2019
Tangible Asset Intangible Asset TA-3MR IA-3MR
Quant Back-Test
① 무형자산이 일정수준 이상 증가한 Equity
② 유형자산이 일정수준 이상 증가한 Equity
① 3개월 동안 하락한 Equity
② 3개월 동안 하락한 Equity
단위: %
QRAFT API 활용 – Quant Backtesting

40
Macroeconomic Data
(CHINA PMI, CPI, PPI)
Raw Material Price
(Brent Oil, PTA, MEG)
Global Industry Data
(SINOPEC,
PETROCHINA)
Market/Customer Data
(Fibers, Film, Customer)
AXE for Industry Engine
(Deep Learning Model)
ENGINE
Predict Future
Raw Material Price
Predict Foreign
Currency Price
Demand Forecasting
Predict Future
Cashflow turnover
INPUT DATA OUTPUT ADVICE
Reduce
Raw Material Purchase Cost
Lower
FX exposure Risk
Inventory Risk Management
Cashflow / Liquidity
Management
QRAFT API 활용 – DeepLearning 모델 적용

41 QRAFT API 활용 – DeepLearning 모델 적용
시계열 정보 및 불확실성 예측 모델링
QRAFT INDUSTRY PROJECT

QRAFT API 활용42
NEXT STEP

END43
감사합니다.

[Qraft] database api design for financial deep learning experiment hyukhwankwon

Recommended

Recommended

More Related Content

Similar to [Qraft] database api design for financial deep learning experiment hyukhwankwon

Similar to [Qraft] database api design for financial deep learning experiment hyukhwankwon (20)

More from 형식 김

More from 형식 김 (9)

[Qraft] database api design for financial deep learning experiment hyukhwankwon