4. What makes “Big” data ?
“What makes most big data big is repeated observations over time” (ACM)
5. “Big” data vs “Normal” data
Big Data isn’t any different to
normal data,
But It combines unstructured &
multi-structured data
Unstructured data
is not organized or easily
interpreted by traditional methods.
Usually text heavy.
Multi-structured data
is a variety of data formats and types
and can be derived from interactions
between people and machine.
6. Infrastructure
*Big data
Analytics
*Intelligence
Application
어떤 목적으로 어떤 영역에?
어떻게 Processing할 것인가?
어떻게 Construct할 것인가?
Sales, Marketing, CRM, HR, 광고,
보안, Finance, 교육 …
Search, NPL, AI, Social Analytics,
Visualization, Data Science,
Analytics platform, …
Hadoop, Spark, NoSQL, NewSQL,
Graph DB, Management, Storage, ….
Concerns about Big data
7. Big Data
Infrastructure
=
Still Plenty of Innovation
Big Data
Analytics
=
Now with AI
Big Data
Applications
=
A Real Acceleration
Big data technology is in deployment phase
( But, still hard work )
8.
9. Logs Events Alerts
Configuration
information
System
audit trails
External
threat feeds
Network flows
and anomalies
Identity
context
Malware
information
Full packet and
DNS captures
E-mail and
social activityBusiness
process data
전통적 보안 운영과 기술
Big Data
Analytics
Facing the challenges of cyber security, IBM
Big Data in cyber security
10. Security 에서 모든 Data는 연관성이 있습니다. = Big Data
Security context
16. 대응
프로세스
분석
운영
로그수집
1세대 – ESM
수집로그단일분석
2세대 –SIEM
이기종 상관분석
3세대 – Platform
다양한기술/프로그램
이슈사항
Time
보안
솔루션
소규모
Data
단일
장비
단시간
Workflow
IT기기
- 정형
Big
Data
복합
장비
장시간
비정형 –
Big Data
NMS
NMS
탐지
정책
자동
탐지
자동
대응
BPM
I-DB
Deep
Learning
운영 정책 생성/
변경/삭제 관리
자동
격리
자동
치료
Rule
DB
Vul
Scan
1 1세대 ESM
• Data 처리 성능 이슈
• 연동 Device 한계
• 상관분석 처리 부족
• 프로세스 미반영
2 2세대 SIEM
• Rule 관리 어려움
• 자산기반 상관분석 부족
• 프로세스 변경 한계
• 공격 판정 시 리소스 과다
• 솔루션 운영 기능 부족
• 대응 관점 기능 제외
영역확장
Managed Security Tools
17. Operation-NMS
Knowledge
Integration
KNOWLEDGE Response ANALYTICS SIEM
Automation Intelligence
Big Data Engine – Scale Out
DetectionScenario Rule
Threat
Intelligence
Normalization
MSS Process
- BPM
Prevention
Report
MSS Know-How
Asset/Vul Info
Complex Event
Process
Machine
Learning
Workflow
Ticketing
Incident
Management
Big Data based Managed Security
18. 1)Flume: 원본 Data 수집 Agent 2) Kafka: 분산 메시지 Queue 3) Spark 실시간분산처리엔진 4) Drools: Complex Event Processing 엔진(Rule엔진)
5) Hadoop File System: Hadoop 분산파일시스템 6)MapR-DB: Hbase 기반 NoSQL DB 7) Elasticsearch: 검색 엔진
Event
Collector1)
원본 Event
Queue2)
실시간 분석3)
1st
1)정규화
2) BlackIP/URL
저장 Queue
2nd
(정규화된 로그 저장)
Snmptrap
Syslog
대상장비 Data 수집/분석
실시간 분석
2nd
(실시간 탐지)
CEP 분석4)
(복합 분석/탐지)
DBMS
(탐지결과 저장)
분산파일 저장
시스템5)
(보고서 /로그저장)
Data 저장
분산 검색7)
(단기 로그 저장 및 검색)
실시간 처리
3nd
- 저장
Data View
Dashboard
통합관제화면
Rule 엔진
질의
질의
질의
탐지 결과
저장
정규화 로그
저장
FW
IDS
WAF
DDoS
APT
Nagios
(장애
탐지)
Security Infrastructure ( Big Data)
19. 탐지규칙
( Detecting Rule )
- hreshold/Condition/Vul.
연관규칙(Correlating Rule)
- Scenario,
Compound rule
Threat Information DB
정규화 규칙
(Normalizing rule)
유해 정보(Malicious IP)
- Black IP/URL
- C2 IP/URL수집
가용성 모니터링
취약점 스캔
정규화
1차 탐지 ( IP/URL)
2차 탐지 ( Rules )
3차 탐지 ( Advanced
Rules )
수집, 분석 및 탐지
In-Depth 분석 지원
자동 Ticket 및 경고
인시던트 관리
Report
보안관제 흐름
Knowledge Base
2
3
4
Conditional
Detect Rules
Threshold
Detect Rule
Scenario
Detect Rule
Integrated
Detect Rule
자동 Ticket
생성
경보/경고
Mail/SMS
Events
on-the-fly
Analysis
Complex
Correlation
복합 분석/탐지 Threat Intl. 취약점 연계
Reputation
Geologic info.
Historic Info.
Asset Info.
Vulnerability
Big Data Engine
실시간 분석, 탐지 Engine
RBL, C2
detect
공격자
자동 차단
Incident 대응
프로세스
시스템 운영
5
1
Security Analytics (detect)
22. • Real-Time Big Data 기반 보안관제 Platform
• 보안 관제 표준 Business Process Management 적용
• 다년간 축적된 보안 관제 Knowledge 시스템 반영
• 업무 Automation & Orchestration 적용을 통한 업무 효율화
초당 10만 EPS 이상 지원
Real-Time Big Data 엔진
- Apache Spark
CEP 기반 Rule 엔진
- Drools Rule 엔진
검증된 MapR 사용
관제 표준 프로세스 적용
- 통합 탐지 프로세스
- 장애 대응 프로세스
- 정책 변경 프로세스
BPMN 2.0 적용
- 국제 표준 규격
공격 탐지 Rule
- Alarm/상관 탐지
CERT-DB
- Black IP/C2 서버/악성 URL
보안 솔루션 운영
- 정책 변경/장애 대응
통합 공격 탐지
- 자동화 된 공격 탐지 정책
공격 차단
- 방화벽 자동 차단 엔진
보고 자동화
- 침해위협/경고메일/월간
보고