Amazon OpenSearch - Use Cases, Security/Observability, Serverless and Enhancements - 발표자: 김성일, Sr Analytics Specialist, WWSO, AWS ::: AWS Data Roadshow 2023

AWS DATA WEEK 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Sung-il Kim
WWSO DATA Specialist SA
AWS
Amazon OpenSearch Service
Observability, SIEM and Serverless

AWS DATA WEEK 2023
What is observability?
2
감지
조사
해결
Observability는
문제를 효율적으로
감지, 조사, 해결하기 위해
원격 측정 데이터를 수집하여
관찰할 수 있는 시스템의 능력

AWS DATA WEEK 2023
Observability의 기본 요소
3
Metrics Traces
Logs

AWS DATA WEEK 2023
Observability의 일반적인 사용사례
4
AIOps and
DevOps
Microservices
and containers
Digital
experience
monitoring
(DEM)
Data
lakes

AWS DATA WEEK 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Confidential and Trademark.
OpenSearch Service with
Observability
5

© 2022, Amazon Web Services, Inc. or its affiliates. 6
Managed: 널리 사용되는 오픈 소스 솔루션을
사용하여 운영 우수성을 높입니다.
Secure: 데이터 센터와 네트워크 아키텍처,
내장된 인증기능을 활용하여 데이터를
감사하고 보호하십시오.
Observability: 기계 학습, 경고 및 시각화를
위한 오픈 소스 솔루션을 통해 시스템의
상태를 체계적으로 감지하고 잠재적인 위협에
대응하십시오.
Cost conscious: 전략적인 업무에 시간과
자원을 최적화하세요.
Amazon
OpenSearch
Service
Amazon OpenSearch 서비스를 사용하면 운영
데이터의 실시간 검색, 모니터링 및 분석이
안전하게 가능해집니다.

AWS DATA WEEK 2023
© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 7
메인기능
플러그인
관리기능

AWS DATA WEEK 2023
Application analytics
8
커스텀 Observability app 생성
Log event + Trace + metric data = 단일 뷰
Overall system health 확인
데이터 사이를 빠르게 전환하여 문제 원인 파악
Trace group – Latency, Error rate
Service – Latency, Error rate, Throughput

AWS DATA WEEK 2023
Operation panel
9
PPL (Piped Processing Language) 쿼리를
이용하여 생성된 시각화의 모음

AWS DATA WEEK 2023
Piped Processing Language
10
PPL(파이프 처리 언어)은 파이프(|) 구문을 사용하여 OpenSearch에 저장된 데이터를 탐색, 검색 및 쿼리할 수
있는 쿼리 언어입니다.
PPL 구문은 데이터가 각 파이프라인을 통해 왼쪽에서 오른쪽으로 흐르는 파이프 문자(|)로 구분된 명령으로
구성됩니다.
search source=accounts | where age > 18 | fields firstname, lastname
https://opensearch.org/docs/latest/search-plugins/sql/ppl/index/
Commands
• dedup, eval, fields, parse, rename, sort, stats, where, head, rare, top
• ad : 검색 결과에 ML Commons 플러그인의 RCF(Random Cut Forest) 알고리즘을 적용합니다.

AWS DATA WEEK 2023
Notebooks
11
공동으로 보고서 작성
마크다운, SQL, PPL, 다중타임라인, 시각화
라이브 데이터 및 쿼리 지원
스토리를 전달할 수 있는 셀 또는 단락 구성
링크, PDF, PNG 지원
사후 보고서, 데이터 설명, 실시간 인프라 보고서

AWS DATA WEEK 2023
Demo

AWS DATA WEEK 2023
OpenSearch Service with
SIEM
13

AWS DATA WEEK 2023
SIEM?
14
Security Information and Event Management
상관 분석을 통한 위협 탐지, 사고 대응을 지원하기 위해 모든 종류의 장치(예: 보안, 네트워크 장치)의
데이터를 수집하고 중앙에서 관리하는 솔루션

AWS DATA WEEK 2023
보안사고 대응을 위한 로그분석의 어려움
15
다양한 시스템에서 생성된 경고 관리
로그는 여기저기 산재해 있음
많은 로그의 수집, 검색, 분석은 시간 소모적
SIEM

AWS DATA WEEK 2023
SIEM 사용사례
16
Correlation analysis: Network
• GuardDuty로부터 소스 IP 주소를 키로 사용하고
• GuardDuty, CloudTrail, VPC 흐름 로그, 서버 웹/SSH 액세스 로그에서 관련 이벤트를 검색
• 시간 순으로 네트워크 로그를 정렬하고 분석
Correlation analysis: EC2 Instance ID
• GuardDuty로부터 EC2 인스턴스 ID를 키로 사용하고
• GuardDuty, CloudTrail, Inspector, Config/Config Rules에서 관련 이벤트를 검색
• 타임라인에서 인프라 변경과 악성 활동을 비교
Log visualization with dashboards
• CloudTrail 로그 시각화: API 호출 집계 또는 타임라인, 지도기반 소스 IP를 대시보드에 시각화

AWS DATA WEEK 2023
SIEM on Amazon OpenSearch Service
17
CloudFormation/CDK
배포 기반 패키지
빌트인
Security Analytics
직접 생성

AWS DATA WEEK 2023
CloudFormation/CDK 배포 기반 패키지
18
AWS 서비스의 Log를 이용해서 보안 모니터링을 할 수 있도록 미리 만들어 놓은 샘플 스크립트와
대시보드
• Open-sourced at GitHub:
https://github.com/aws-samples/siem-on-amazon-elasticsearch-service
• Developed and maintained by AWS Security SAs
• Features
• 관리형 및 서버리스 서비스로만 구성
• 멀티리전, 멀티 어카운트 시나리오 지원
• AWS 서비스용 ETL 로직 및 대시보드 포함
• 30분 이내에 CloudFormation/CDK로 배포
• 클라우드 서비스 사용량은 종량제 모델로 청구

AWS DATA WEEK 2023
CloudFormation/CDK 배포 기반 패키지
19
Uses only managed and serverless components
Save logs from multiple
accounts and regions in one
centralized bucket

AWS DATA WEEK 2023
Log schema normalization (ETL)
• 스키마 정규화: 동일한 의미를 가진 필드가 동일한 키 이름을 갖도록 다른
스키마의 로그를 변환합니다.
• 정규화는 동일한 스키마를 가진 모든 로그 유형에 대한 참조를 허용하여 검색
효율성을 향상시킵니다.
• OpenSearch Service의 SIEM은 Elastic Common Schema를 준수합니다.
• Elastic Common Schema는 EC2 인스턴스 ID, IAM 액세스 키 ID 등 AWS에서
자주 사용되는 필드로 확장됩니다.

AWS DATA WEEK 2023
Before
(recipientAccountId:111111111111 AND sourceIPAddress:198.51.100.1) OR
( cloud.account.id:111111111111 AND source.ip:198.51.100.1 )
After
• GuardDuty
• VPC Flow Logs
• CloudTrail
• Common schema
(account_id:111111111111 AND srcaddr:198.51.100.1) OR
(accountId:111111111111 AND
(service.action.awsApiCallAction.remoteIpDetails.ipAddressV4:198.51.100.1 OR
service.action.portProbeAction.portProbeDetails.remoteIpDetails.ipAddressV4:198.51.100.1))

AWS DATA WEEK 2023
cloud-trail-logs
vpc-flow-logs
guard-duty-logs
cloud.account.id:111111111111
AND
source.ip:198.51.100.1
vs
로그마다 매번 새로운 키로 필터링

AWS DATA WEEK 2023
AWS Service Log
Security, Identity, & Compliance AWS CloudHSM HSM audit logs
Security, Identity, & Compliance Amazon GuardDuty GuardDuty findings
Security, Identity, & Compliance Amazon Inspector Inspector findings
Security, Identity, & Compliance AWS Directory Service Microsoft AD
Security, Identity, & Compliance AWS WAF
AWS WAF Web ACL traffic
information
AWS WAF Classic Web ACL
traffic information
Security, Identity, & Compliance AWS Security Hub
Security Hub findings
GuardDuty findings
Amazon Macie findings
Amazon Inspector findings
AWS IAM Access Analyzer
findings
Security, Identity, & Compliance AWS Network Firewall
Flow logs
Alert logs
Management & Governance AWS CloudTrail
CloudTrail Log Event
CloudTrail Insight Event
Management & Governance AWS Config
Configuration History
Configuration Snapshot
Config Rules
Management & Governance AWS Trusted Advisor Trusted Advisor Check Result
Networking & Content Delivery Amazon CloudFront
Standard access log
Real-time log
Networking & Content Delivery Amazon Route 53 Resolver VPC DNS query log
Networking & Content Delivery
Amazon Virtual Private Cloud
(Amazon VPC)
VPC Flow Logs (Version5)
Text / Parquet Format
Networking & Content Delivery AWS Transit Gateway
VPC Flow Logs (Version6)
Text / Parquet Format
Networking & Content
Delivery
Elastic Load Balancing
Application Load Balancer access logs
Network Load Balancer access logs
Classic Load Balancer access logs
Networking & Content
Delivery
AWS Client VPN connection log
Storage
Amazon FSx for Windows
File Server
audit log
Storage
Amazon Simple Storage
Service (Amazon S3)
access log
Database
Amazon Relational
Database Service (Amazon
RDS)
(Experimental Support)
Amazon Aurora(MySQL)
Amazon Aurora(PostgreSQL)
Amazon RDS for MariaDB
Amazon RDS for MySQL
Amazon RDS for PostgreSQL
Database Amazon ElastiCache ElastiCache for Redis SLOWLOG
Analytics
Amazon OpenSearch
Service
Audit logs
Analytics
Amazon Managed
Streaming for Apache
Kafka (Amazon MSK)
Broker log
Compute
Linux OS
via CloudWatch Logs
/var/log/messages
/var/log/secure
Compute
Windows Server
2012/2016/2019
via CloudWatch Logs
System event log
Security event log
Containers
Amazon Elastic Container
Service (Amazon ECS)
via FireLens
Framework only
End User Computing Amazon WorkSpaces
Event log
Inventory

AWS DATA WEEK 2023
빌트인 Security Analytics
플러그인
관리기능

AWS DATA WEEK 2023
지원하는 로그타입
• Network events
• DNS logs
• Apache access logs
• Windows logs
• AD/LDAP logs
• System logs
• AWS CloudTrail logs
• Amazon S3 access logs
• Google Workspace logs
• GitHub actions
• Microsoft 365 logs
• Okta events
• Microsoft Azure logs
• Netflow
• DNS logs
• Apache access logs
• Windows logs
• AD/LDAP
• System logs
• AWS CloudTrail logs
• Amazon S3 access logs
Amazon OpenSearch Service 2.5 OpenSearch 2.7

AWS DATA WEEK 2023

AWS DATA WEEK 2023
탐지
탐지기(Detector)가 규칙(Rule)을
로그 이벤트와 일치시키면 탐지(Finding) 결과를 생성

AWS DATA WEEK 2023
규칙
보안 로그에 적용하는 조건과 그 정의
가져오기, 만들기, 커스텀 지원
탐지기가 보안 이벤트 식별을 위해 사용
사전 패키징 된 오픈소스 Sigma 규칙
MITRE ATT&CK 에서 관리하는 최신 규칙 매핑
대시보드, API로 규칙을 생성 가능

AWS DATA WEEK 2023
탐지기
인덱스에서 사이버 보안 위협 식별
스케줄을 생성하여 실행
커스텀 규칙, Sigma 규칙 모두 가능

AWS DATA WEEK 2023
직접 생성
30
https://catalog.us-east-1.prod.workshops.aws/workshops/2ff04db5-bb02-4208-b637-d54a352f7bc6/ko-KR

AWS DATA WEEK 2023
직접 생성
31
https://catalog.us-east-1.prod.workshops.aws/workshops/2ff04db5-bb02-4208-b637-d54a352f7bc6/ko-KR

AWS DATA WEEK 2023
Thank you!

Amazon OpenSearch - Use Cases, Security/Observability, Serverless and Enhancements - 발표자: 김성일, Sr Analytics Specialist, WWSO, AWS ::: AWS Data Roadshow 2023

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to Amazon OpenSearch - Use Cases, Security/Observability, Serverless and Enhancements - 발표자: 김성일, Sr Analytics Specialist, WWSO, AWS ::: AWS Data Roadshow 2023

Similar to Amazon OpenSearch - Use Cases, Security/Observability, Serverless and Enhancements - 발표자: 김성일, Sr Analytics Specialist, WWSO, AWS ::: AWS Data Roadshow 2023 (20)

More from Amazon Web Services Korea

More from Amazon Web Services Korea (20)

Amazon OpenSearch - Use Cases, Security/Observability, Serverless and Enhancements - 발표자: 김성일, Sr Analytics Specialist, WWSO, AWS ::: AWS Data Roadshow 2023