데이터 수집부터
시각화까지
JAVACAFE
최용호
발표자
• 최용호
• 넥슨 코리아
• 자바카페 운영진
• 엘라스틱서치 실무 가이드 저자 중 1인
1. 데이터 수집의 목적
2. 데이터 파이프라인
3. 로그스태시
4. 키바나
사용자 행동 분석
이상징후 탐지
추천 서비스
1. 데이터 수집의 목적
2. 데이터 파이프라인
3. 로그스태시
4. 키바나
데이터 수집
데이터 소스
데이터 수집
데이터 소스
• 수집할 데이터의 대상
• 데이터베이스, 웹, 파일 등등
데이터 수집
데이터 소스
이 때 수집되는 데이터들은
비정형 데이터
데이터 가공
데이터 소스
가공
데이터 가공
데이터 소스
가공
• 필요 없는 데이터 제거
• 데이터 형식 변환
• 데이터 첨가
데이터 저장
데이터 소스
저장소
가공
데이터 저장
데이터 소스
저장소
가공
수집되는 데이터의 양과 속도에 대
응하기 위해 NoSQL 데이터베이스
를 주로 사용
데이터 시각화
데이터 소스
저장소
분석 및 시각화
가공
1. 데이터 활용
2. 데이터 파이프라인
3. 로그스태시
4. 키바나
로그스태시 역할
데이터 소스
저장소
분석 및 시각화
가공
로그스태시 역할
데이터 소스
가공
Input
Plugin
로그스태시 역할
데이터 소스
가공
Input
Plugin
Filter
Plugin
로그스태시 역할
데이터 소스
가공
Input
Plugin
Filter
Plugin
Output
Plugin
ElasticStack 파이프라인
1. 데이터 활용
2. 데이터 파이프라인
3. 로그스태시
4. 키바나
키바나 역할
데이터 소스
저장소
분석 및 시각화
가공
키바나 역할
분석 및 시각화
Demo
http://bit.ly/2XWTP26
ElasticStack 파이프라인
ElasticStack 파이프라인
파일
Kibana로 시각화
Thank you

데이터 수집부터 시각화까지