한컴MDS_Splunk 기반의 빅데이터 활용 사례 소개
•
0 likes•293 views
Splunk 한국 총판 한컴MDS에서 100개국, 10,000개 이상의 고객사들을 통해 검증된 머신데이터 플랫폼인 Splunk를 소개합니다. Splunk란 머신데이터를 아무런 제약 없이 수집 > 저장 > 분석 > 시각화할 수 있는 실시간 분산 플랫폼입니다. 1. 빅데이터 개요 2. Splunk 제품 소개 3. 빅데이터 활용 사례 - 쇼핑몰 웹로그 분석 - 통신사 서비스 분석 - IPTV 서비스 품질 분석 - 콘텐츠 사용자 패턴 분석 - 통합 보안 관제 - 정보보호 규정 준수를 위한 활용 - 네트워크 모니터링 - H사 철분말공장 품질 분석(블레이드 교체 주기 분석) - K사 전력품질 모니터링 - M사 고장코드별 에러데이터 분석 - 문의: 한컴MDS DAS사업부 splunk@hancommds.com
Recommended
Recommended
More Related Content
What's hot
What's hot (20)
Similar to 한컴MDS_Splunk 기반의 빅데이터 활용 사례 소개
Similar to 한컴MDS_Splunk 기반의 빅데이터 활용 사례 소개 (20)
More from HANCOM MDS
More from HANCOM MDS (20)
한컴MDS_Splunk 기반의 빅데이터 활용 사례 소개
- 3. 3
- 4. 4 Big Data Volume | Velocity | Variety | Variability GPS, RFID, 웹 서비스, 하이퍼바이저, 이메일, 메신저, 클릭스트림, 모바일, 통신, IVR, Databases, 센서, 컴퓨터 통신, 서버, 스토리지, 보안 장비, 데스크탑, 네트워크, 제조 설비,
- 5. 5 수많은 소스로부터의 많은 양 빠르게 수집되는 속도 분석 속도 수많은 소스의 다양한 종류그리고 Variability 정형화되지 않은 비구조적 Data
- 6. Social MediaContent Systems, Files, Email Websites Big Data OLTP & ODS Systems Enterprise Applications (Oracle, SAP, Others) Data Warehouse & Data Marts 6 RFIDScriptSensor Network
- 7. 7 Temperature Static Air APU Bleed Isolation Value Close Switch APU Bleed Isolation TBV Position TCORE Nacelle Temperature TOIL Oil Scavenge Temperature Throttle Resolver Angle VBV Demand VSV Demand Vib Broadband N1 #1 Bearing - Engr Units Vib Broadband TF - Engr Units Vibration N1 #1 Bearing - Engr Units Vibration N1 Turbine Frame - Engr Units Vibration N2 #2 Bearing - Engr Units Vibration N2 Turbine Frame - Engr Units A/I valve position Wing Valve Open Switch AVM BB vibration Cockpitunits AVM Fan vibration Cockpitunits AVM High Wins Select Vibration - SS AVM LPT vibration Cockpitunits AVM N2 vibration Cockpitunits Air Speed Calibratd - SS Bleed Flow rate Control System Status Word 4 Control System Status Word 6 Copy Number Core Speed - SS EAI Switch Position - SS EAI Switch Position Open/Closed ECS Pack 1 Flow ECS Pack 1 High/Low Air Speed Calibrated Altitude Carrier Name Core Compartment Cooling Value Position Core Speed Date GE Received Departure Station Destination Station EGT Exhaust Gas Temperature EGT1 EGT2 EGT3 EGT4 EGT5 EGT6 EGT7 EGT8 Engine Serial Number FMV Position FMV Filter Delta Pressure Fuel Flow Ground Speed Mach Number Message Type N1 fan Speed without modifier N1 Indicated Fan Speed N1 Maximum fan Speed Oil Filter Delta Pressure Oil Pressure PS3 Compressor Discharge Pressure AVSV Position Aircraft ID Aircraft Pitch Angle Aircraft Roll Angle Control System Status Word 1 Control System Status Word 2 DMS Cumulative Chip Count DMS Per Flight Chip Count ENGINE_RATING Engine Bump Engine Position FADEC AS Software Version Id FADEC Hardware P/N FSV Demand FSV Main Demand FSV Position Fuel Boost Strainer Delta Pressure Fuel Density Center Tank Fuel Flow Demand Fuel Manifold Pressure Fuel Manifold Temperature HPTACC Demand HPTACC Position LPTACC Demand LPTACC Position MSV Demand MSV Position Minor Airframe Model Word Oil Quantity Aircraft Oil Supply Temperature P0 Ambient Pressure Dark Data IDC Estimates that Only 0.5% Of the World’s Data Is Being Analyzed
- 8. 8 * Source : GE estimates
- 9. 9
- 10. 10 71 75 79도 • 평균온도 : 73도 71 75 80 80 70 7474 79도 • 평균온도 : 74.86도 • 임계치 초과 온도 : 80도 • 온도 편차 : 10도
- 11. 11
- 12. 12 시나리오 정의 – 추상화 Layer Who 인사정보 정보취급 등급 개인정보 취급등급 관심자 정보 When 근무시간 근태정보 평일/휴일 Where 내부/외부 IP What 개인정보 VIP 정보 사내정보 거래처 정보 How 정책 위반 Role 위반 의심행위 유출행위 to Whom 내부/외부 Domain 웹 메일 계정 How much 데이터 Volume 횟수 시나리오 단일 시나리오 시나리오 1 시나리오 2 복합 시나리오 시나리오 1 시나리오 2 시나리오 3 대상 시스템 인사정보 Anti-Virus 통합PC보안 매체 제어 NAC 메일/메신저 Monitoring 인증 시스템 DRM 정보계 처리계 기간계 영업지원
- 13. 13 정형데이터 RDBMS SQL Search Schema at Write Schema at Read 기존 방법 빅데이터 플랫폼 ETL Indexing Volume Velocity Variety 비정형 데이터
- 15. 15 Big Data Platform CRM System Compute Infrastructure Manufacturing System Utility System Financial System Front Office
- 17. 17 교육 헬스케어 기술 에너지 및 공공 제조 통신 정부기관 유통 금융 및 보험 미디어 여행 및 레저 클라우드 및 온라인 서비스 포춘 100대 기업의 80%가 스플렁크 도입 국내 450+ 고객사 스플렁크 도입
- 18. 스플렁크란? = 머신데이터 플랫폼 “머신데이터를 아무런 제약 없이 수집>저장>분석>시각화 할 수 있는 실시간 분산 플랫폼“ 제약 없음 (No Limits) • 비정형/정형 데이터 • 데이터 포맷 무관 • 데이터 용량 무관 • 데이터 속도 무관 • 제약 없이 수용 엔드 투 엔드 (End-to-End) • 별도의 외부 솔루션불필요 • 복잡한 코딩 및 SI 개발이 필요 없음 • 데이터의 생성부터 가치 획득까지 모두 실시간 및 분산 (Real-time) • 모든 데이터 실시간 처리, 즉시 결과 확인 • 분산 저장, 분산 검색 • 성능 및 용량의 선형적 확장 플랫폼 (Platform) • 커스터마이징 용이 • 외부 시스템과 손쉬운 연동 • 앱을 통한 기능 확장 • 개발 프레임워크 머신데이터 (Machine Data) • 서버/NW 로그 • 각종 설비 데이터 • 애플리케이션 로그 • 기타 모든 텍스트 형태의 데이터 18
- 19. 19 온라인 서비스 웹 서비스 서버 보안 GPS 위치정 보 스토리지 데스크탑 네트워크 상용 어플리케이션 사용자 애플리케이션메시징 통신 온라인 장바구니 웹 접속기록 데이터 베이스 에너지 측정센서 고객센터 통화기록 무선단말기 RFID 자체 호스팅 프라이빗 클라우드 퍼블릭 클라우드 애플리케이션 개발 보안, 규정준수, 사기방지 IT 운영 비즈니스 분석 업종 데이터 및 사물인터넷(IoT)
- 20. 20 네트워크 포트 수신 대기 빠르게 데이터를 검색하고 분석을 위한 최적화된 구성 Search Header – 시각화 기능 Splunk Indexer - 데이터베이스 데이터 수집 기능 수행 - 정형화된 데이터(DB, ERP) 추출 - 반정형화된 데이터 (SCADA,센서,기기, 산업용 시스템)를 OPC서버를 통해 실시간으로 수집 수집 데이터 데이터베이스 기능 수행 - 시각화 기능을 위한 원본 데이터 데이터베이스 - 데이터의 형태와 상관없이 데이터 저장이 가능함 검색을 통한 시각화 기능 수행 - 자체 검색어를 통한 시각화 화면 구성 - 검색 속도 향상을 위한 “분산검색 (Distributed Search)기능을 제공함 파일 모니터링 파일 변경 탐지 스크립트 실행 Splunk Forwarder – 데이터 전송 인덱스 데이터 경로 설정, 복제 및 부하 분산 사용자 및 액세스 제어 배포서버 Splunk CLI Splunk Web 인터페이스
- 21. 21 Agent-less Data Input Splunk Forwarder (Agent Data Input) Syslog Compatible Hosts and Network Devices Mounted File System Unix,linux and Window hosts Window hosts VMI Event Logs Performance Active Directory Database Oracle, DB2, MS-SQL Local File Monitoring Log files, config files Dumps and trace file Virtual Host Custom apps and Scripted API connections Script Inputs Shell scripts custom parsers batch loading Scripted Code
- 22. 22 위저드를 통한 신규 로그 인식 기능 필드 추출 위저드 • 신규 로그인식 기능 ➢ Splunk는 로그 포맥과 무관하게 수집하고 인덱싱이 가능합니다. • 신규 로그인식의 필드 추출 ➢ 분석을 위한 필드 추출은 인덱싱 이후에 수행할 수 있으며, 위저드를 통해 원하는 칠드를 드래그 하면 자동으로 추출을 위한 Regular Expression을 정의해 줍니다.
- 23. 23 Splunk 쿼리문 예제 Splunk 쿼리문을 통한 시각화 예제 • 스플렁크 자체 쿼리언어를 이용하여, 데이터를 차트화 및 시각화 표현에 사용 • 화면 개발의 시간을 단축을 통한 효율 증대 • 간편한 자체 Query 문을 통해 개발 생산성 증가됨
- 24. 24 css, script 적용 대시보드 빌더를 이용한 간단한 XML CSS 스타일을 적용한 대시보드 예 고급 분석용 차트 예
- 25. 25 Trend 분석 변동폭, 표준편차, 분산 분석
- 26. 26 measure critical major minor message unit policy enable cpu_usage 99 97 95 CPU 사용율 $v$ 초과 % Max 3/5 Y memory_usage 99 97 95 Memory 사용율 $v$ 초과 % Max 3/5 Y disk_usage 99 97 95 Disk 사용율 $v$ 초과 % Max 3/5 Y Lookup file (CSV) Lookup Editor에서 임계치 정보 설정
- 27. 27 문자 메시지 RSS/ SNMP 전자메일 Security Analysts Customer Support Team Marketing& Business analysts Event 발생
- 29. 29
- 30. 30
- 31. 31
- 32. 32
- 33. 33
- 34. 34
- 35. 35
- 36. 36 해킹 Src IP, Dest IP Top 5 virus / spyware 감염 추이 정보 Geo IP연동을 통한 차단 IP 위치 및 차단 건수 파악 Network Interface Down 정보 해킹 이벤트 추이 정보 NMS 이벤트 발생 정보
- 37. 37 효과 정보 유출 후 추후 수습 유출 근원 실시간 파악 후 신속 차단
- 38. 38 탐지 타입 예제 상세 시나리오 개인정보유출 • 내부직원이 PC에서 시스템에 접속하여 노출된 고객정보를 다운로드 후 암호화 적용되지 않는 파일 형태로 외부 유출 시도 정보유출 • 내부 경영진이 퇴사직전, 사내 1급 경영정보가 포함된 파일을 본인의 외부 메일로 유출 싱글 사인온 (통합계정) • 퇴직 휴가중 사용 이력 또는 퇴직 후 접속 시도 인사정보 연계 (격오지 배치/감봉/불만) • CERT에 따르면 내부 직원에 의한 위협 중 50%정도 이상이 강등, 감봉, 전보 등 인사조치 불만에 의한 행위로 판명 • 불만을 가질 수 있는 인사조치 대상자의 사내 데이터 사용 패턴 분석 Back door 또는 디폴트 계정 사용 • 공유 계정 또는 어플리케이션의 디폴트 계정, 퇴직자 또는 임시 계약직의 계정 사용 모니터링 Infra 접속권한 오남용 • Datacenter Infrastructure 에서의 로그인 및 웹 서핑 탐지 비정상적인 지역 방문 • 인증되지 않은 지역(데이터센터 등)에 대한 물리적 접근
- 39. 39
- 40. 40 센서 데이터 설비정보 비정형 Machine Data 발전설비 운전정보 #1 ~ #n 시험정보 정형 DBMS 구매/설치정보 작업/보전정보 센서 데이터 DBMS
- 42. 42 PQM ∙∙∙ 빅데이터플랫폼 • 웨이블릿 변환 신호 분석 • DWT 변환을 이용한 전력품질 분석 • 대칭성분 실시간 추종 • PQM 장치로부터 데이터 수집 • PQM 데이터를 OPC UA 로 변환 분석 결과 화면 예시 • 실시간 PQM 데이터 수집 • 전력품질 운용시스템 연동 • 품질 문제 원인 검출 IndustrialIoT 플랫폼
- 43. 43 Sag Swell Flicker Harmoics Interruption 평가지표별 신호모델과 파라메터 0 20 40 60 80 100 % Sag Swell Spike Outage 60% 29% 8% 3% 순시외란의 발생빈도
- 44. 44
- 45. Thank you