제 14회 보아즈(BOAZ) 빅데이터 컨퍼런스 - [주식팀] : 특정 시간대의 주가 변동 패턴을 이용한 실시간 주가 예측
•
0 likes•723 views
The document describes a stock price prediction project carried out by a data science club. The project aimed to predict stock prices for a specific time period (9:00-9:30) by analyzing similar patterns in past stock price movements. The project involved collecting minute-level stock price data, preprocessing the data, clustering the time series data using Gaussian Mixture Models (GMM), classifying new data with GMM and Convolutional Neural Network models, making predictions using a weighted average model, and recommending optimal investment stocks. The results of a mock investment over 5 days showed the model achieving a return of 2.25% compared to -0.69% for the broader market index. Automatic data crawling was implemented using AWS Lambda
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 제 14회 보아즈(BOAZ) 빅데이터 컨퍼런스 - [주식팀] : 특정 시간대의 주가 변동 패턴을 이용한 실시간 주가 예측
Similar to 제 14회 보아즈(BOAZ) 빅데이터 컨퍼런스 - [주식팀] : 특정 시간대의 주가 변동 패턴을 이용한 실시간 주가 예측 (20)
More from BOAZ Bigdata
More from BOAZ Bigdata (19)
Recently uploaded
Recently uploaded (20)
제 14회 보아즈(BOAZ) 빅데이터 컨퍼런스 - [주식팀] : 특정 시간대의 주가 변동 패턴을 이용한 실시간 주가 예측
- 1. # 빅데이터 연합동아리 보아즈 ADV 프로젝트
- 2. 01 프로젝트 배경 02 프로젝트 목표 03 프로젝트 진행 04 최종 결과 INDEX 05 투자 구현
- 3. 01 프로젝트 배경
- 4. 프로젝트 목표 프로젝트 배경 최종 결과 프로젝트 진행 주식과 가상화폐 투자 열풍 사진 출처 : https://wowtale.net/2020/12/05/mobile-securities-and-crypto-currency-app-market-in-korea/ “쥐꼬리만 한 월급 받아서 월세와 생활비 내고 나 면 남는게 없지 않나. 노동에만 의존하면 영원히 가난에서 탈출할 수 없을 것 같아 마이너스 통장 을 만들고, 투자처를 알아보고 있다” 회사원 정 모씨(36) “은행 저축으로 돈을 모으거나 청약통장으로 집을 사는 일은 현실적으로 너무 어렵기 때문에 직장을 그만두고 전업 주식 투자자로 활동을 시작했다” 대학원생 이 씨(30)
- 5. 프로젝트 목표 프로젝트 배경 최종 결과 프로젝트 진행 수많은 기존의 주가 예측 프로젝트
- 6. 프로젝트 목표 프로젝트 배경 최종 결과 프로젝트 진행 수많은 기존의 주가 예측 프로젝트 [ Benjamin Graham ]
- 7. 프로젝트 목표 프로젝트 배경 최종 결과 프로젝트 진행 우리가 가지는 차별성 “ 주가 변동 패턴 ” 기존 프로젝트 방향 우리 프로젝트 방향 o 주가에 영향을 미치는 최대한 많은 변수 생성 o 실시간 이슈를 반영하기 위한 자연어 처리 o RNN, LSTM 등의 인공신경망을 이용한 모델링 o 주가 변동의 기준이 일(day) 이 됨 o 변수에 집중하기 보다, 주가 변동 모양에 집중 o 예측의 근거는 비슷한 변동성을 보인 과거 데이터 o 주가 변동의 기준이 분(min) 이 됨
- 8. 02 프로젝트 목표
- 9. 프로젝트 목표 프로젝트 배경 최종 결과 프로젝트 진행 프로젝트 목표 의 주가 변동 패턴을 이용한 9시부터 9시 30분까지 특정 시간대 주가 예측 9시 35분 실시간 일일 매매 종목 제안
- 10. 03 프로젝트 진행
- 11. 프로젝트 개요 및 방법 프로젝트 목표 프로젝트 배경 최종 결과 프로젝트 진행 ▪ 분별 주가 데이터 수집 ▪ 전처리 ▪ 비슷한 주가 변동 패턴 클러스터링 ▪ 새로운 데이터가 들어왔을 때, 해당 데이터가 속하는 클러스터로 분류 ▪ 분류된 클러스터의 데이터들을 이용 하여 특정 시간의 주가 예측 ▪ 최적의 투자 종목 추천 ▪ 크롤링 (Selenium) ▪ Standard Scale ▪ 시계열 클러스터링 (GMM) ▪ 분류 모델 (GMM+CNN) ▪ 예측 모델 (가중치 모델) ▪ 수익률 한계선 프로젝트 개요 방법
- 12. 데이터 수집 프로젝트 목표 프로젝트 배경 최종 결과 프로젝트 진행 2월 1일 ~ 7월 1일까지 수집된 데이터 13,202 개 [ 종목명_날짜 ] [ 9:00, 9:01, 9:02, …, 9:35 ]
- 13. 전처리 프로젝트 목표 프로젝트 배경 최종 결과 프로젝트 진행 [ Scaled Data] 2월 1일 ~ 7월 1일까지 수집된 데이터 13,202 개
- 14. 시계열 클러스터링 프로젝트 목표 프로젝트 배경 최종 결과 프로젝트 진행 비교결과 GMM모델, 클러스터 수 400의 성능이 가장 좋음 비교 기준 1.MAE(실제값-예측값) 2.CNN과의 일치도 알고리즘 클러스터 수 GMM Time KNN mean shift 그 외 DTW, DBSCAN등 300 MAE: 0.45498 Number: 514 MAE:0.53136 Number: 1554 Quantile:0.01 MAE:0.57159 Number:947 Quantile:0.5 MAE:0.61258 Number:725 1.비교할 필요없이 성능 이 매우 낮은 경우 2.알고리즘이 매우 복잡 하고 데이터 수가 많아 계산에만 하루이상 소요 되는 경우 비교 대상 제외 400 MAE: 0.428578 Number: 412 MAE:0.52393 Number: 1393 500 MAE: 0.40147 Number: 296 MAE: 0.50799 Number: 1107
- 15. 시계열 클러스터링 프로젝트 목표 프로젝트 배경 최종 결과 프로젝트 진행
- 16. 분류 모델 프로젝트 목표 프로젝트 배경 최종 결과 프로젝트 진행 Gaussian Mixture Model + Convolutional Neural Network (보조) GMM model의 predict만을 활용해서 새로운 데이터를 알맞는 그룹에 분류하는 정확성이 낮다. CNN 모델을 활용하는 것이 GMM과의 일치성, 수익률 모두 가장 높게 나왔다. CNN 모델을 GMM 보조로 결정. Random Forest,CNN,RNN,LSTM과 같은 다양한 모델을 활용해 각각의 성능을 비교.(MAE, 수익률, GMM과의 일치성) GMM model외에 다른 분류 모델을 같이 활용해서, 두 모델 모두 같은 그룹을 예측하는 것만 활용하자. 문제점 모델 선정 개선 방향 결과 보조 모델 MAE GMM과의 일치 수 CNN 0.42857 412개 LSTM 0.44943 414개 그 외 (RNN,RF etc) x>0.5 x<400 비교결과
- 17. 분류 모델 프로젝트 목표 프로젝트 배경 최종 결과 프로젝트 진행 CNN layer 구조 Filters : 128 Filters : 64 Filters : 64 Filters : 32 Dense : 64
- 18. 분류 모델 활용 예시 프로젝트 목표 프로젝트 배경 최종 결과 프로젝트 진행
- 19. 예측 모델 프로젝트 목표 프로젝트 배경 최종 결과 프로젝트 진행 학습 데이터 테스트 데이터
- 20. 프로젝트 목표 프로젝트 배경 최종 결과 프로젝트 진행 𝛼 = ∑(log 𝐷+1 −1 ∗𝑎) 𝑁 D = dissimilarity(Euclidean Distance) N = 데이터 수 a = 35분 주가 𝛼 = 35분 가중 평균값 가중치 평균 함수 가중치 조정에 따른 MAE 유사도가 높을수록 높은 가중치 적용 예측 모델 가중치 +1 조정
- 21. 투자 종목 추천 프로젝트 목표 프로젝트 배경 최종 결과 프로젝트 진행 다음 조건을 만족할 시에 투자 종목으로 추천 1. 9시부터 9:30분 사이에 거래가 25분 이상 발생 2. GMM과 CNN의 predict가 일치하는 종목 3. pred_35가 일정 값을 넘을 때 = 실제 조건을 만족시켜 추천해준 종목들
- 22. 04 최종 결과
- 23. 전체 프로세스 예시 프로젝트 목표 프로젝트 배경 최종 결과 프로젝트 진행 921개 데이터 중, GMM과 CNN의 결과가 일치한 412개의 종목 list를 반환. 1 2 412개의 종목 중에서 이윤이 예상되는 조건을 만족한 종목 11개를 추출 3 투자한 11개의 종목에서 얻어낸 이윤을 계산 후 반환 -> 11개의 종목에서 총 수익률 2.2278 달성
- 24. 2021년 7월 19일 ~ 7월23일 모의 투자 결과 프로젝트 목표 프로젝트 배경 최종 결과 프로젝트 진행 7월 19일 7월 20일 7월 21일 7월 22일 7월 23일 추천된 종목 수 1 4 2 1 1 추천된 종목 에이엔피 KC코트렐 TIGER Fn 신재생 광전자 넥센타이어 DL 대림산업 DB금융투자 KTB투자증권 수익률 +11.1392% +0.6876% +0.1248% +0.2894% -0.9889% 코스피 등락률 -1.00% -0.35% -0.52% +1.07% +0.13% 일주일 모델 수익률 : 2.25% 일주일 코스피 수익률 : -0.69%
- 25. 프로젝트 목표 프로젝트 배경 최종 결과 프로젝트 진행 추천된 종목들이 분류된 클러스터 그래프 Clst=2 Clst=186 Clst=108 분류가 잘 된 것을 확인할 수 있다. 전체 프로세스 예시
- 26. 05 투자 구현
- 27. 데이터 자동 크롤링 프로젝트 목표 프로젝트 배경 최종 결과 프로젝트 진행 실시간성 특징 구현 AWS lambda의 trigger를 활용하여 09:30에 자동 크롤링
- 28. 데이터 자동 크롤링 프로젝트 목표 프로젝트 배경 최종 결과 프로젝트 진행 실시간성 특징 구현 Lambda S3