AWS Summit Seoul 2023 | Confluent와 함께하는 실시간 데이터와 클라우드 여정

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved.
Confluent
(Jupil Hwang)
C O N F L U E N T
Solutions Engineer
Confluent Korea

Data-in-Motion

Real-time &
Historical
Data
A Sale
A shipment
A Trade
A Customer Experience
Data in Motion을 위한 새로운 패러다임이 필요합니다.
모든 데이터를모든 활용영역으로..
“우리는 정지된 모든 것에서 움직이는 모든것으로 생각을
전환할 필요가 있었다.” —
Real-TimeStreamProcessing
RichFront-EndCustomer
Experiences
Real-TimeBackendOperations

.
Kafka .
1:1
- - -
1:N
- - -

.
. .
" .
.
10
."
● Architecture planning
● Cluster sizing
● Cluster provisioning
● Broker settings
● Zookeeper management
● Partition placement & data durability
● Source/sink connectors development
& maintenance
● Monitoring & reporting tools setup
● Software patches and upgrades
● Security controls and integrations
● Failover design & planning
● Mirroring & geo-replication
● Streaming data governance
● Load rebalancing & monitoring
● Expansion planning & execution
● Utilization optimization & visibility
● Cluster migrations
● Infrastructure & performance
upgrades / enhancements
I N V E S T M E N T & T I M E
V
A
L
U
E
1
2
3
4
5
Experimentation /
Early Interest
Central Nervous
System
Mission critical,
disparate LOBs
Identify a
Project
Mission-critical,
connected LOBs
Key challenges:

Confluent Cloud
AWS Apache Kafka
Stream Processing/ ksqlDB
Stream Governance
AWS PrivateLink ready partner
Marketplace Integration
Certified ready on AWS Outpost
Cluster Linking
130+ Pre-built Connectors
Flexible Payment Term
AWS
TCO
, , AWS AWS Marketplace
, ,
build. connect. integrate.
75% TCO 60% .
Multi-language Development
Monitoring with CloudWatch by fully
managed connectors
Infinite storage

AWS
AWS
AWS Native Services
Kinesis
Redshift
DynamoDB
SQS
Cloudwatch
S3
Top-5 Global ISV for S3 Data Volume
3rd-Party ISV Services AWS
AWS
AWS PrivateLink AWS
CloudWatch Confluent

Confluent Cloud:
Cloud-native, Connect, Everywhere

Confluent
Everywhere
Cloud-Native
Kafka
Complete
개발
,

Cloud-Native: 완전 관리형으로 재설계 된 Apache Kafka©
Confluent에 데이터를 무제한
으로 저장하여 더 광범위한 데
이터 세트로 실시간 앱과 사용
사례를 개선한다
모든 요청을 충족하기 위해 즉
시 확장하고 인프라 과잉 프로
비저닝을 피하기 위해 축소할
수 있어야 한다
다양한 환경의 클러스터를 연
결하여 조직 전체에서 일관된
데이터 패브릭을 생성한다.
Elastic Global Infinite

Everywhere: 모든 환경을 아우르는 배포 유연성을 제공
SELF-MANAGED SOFTWARE
Confluent Platform
Apache Kafka 의 엔터프라이즈 배포판
On-Prem, Private / Public Cloud에 배포
VM
FULLY MANAGED SERVICE
Confluent Cloud
Apache Kafka를 위한 Cloud-native 서비스
주요 퍼블릭 클라우드에서 사용 가능
Cloud Provider

Confluent Cloud

1. 연결
Cluster Linking, 커넥터

Cluster Linking
on-prem(anyplace)에서 클라우드로 손쉽게 미러링하기
Cluster Link
미러링된 토픽
바이트(byte) 단위 복사
동일한 오프셋
동일한 설정
동일한 이름
읽기 전용
Source
Topics
Consumer Group
Offsets
Filter by name
ACLs
Filter by name
Destination
Mirror Topics
Consumer Group
Offsets
(optional)
ACLs
(optional)
몇 분안에 시작
CLI 또는 API 호출로 연결 및 미러
링
안정성과 성능
카프카의 브로커 간 프로
토콜 사용
(Optional)
양방향 “active-
active” 를 위한 두 번
째 링크
Link
AK 2.4+ CP 5.4+ Confluent
Cloud
connection
(today)

Amazon Web Services
On-Prem
Oracle HDFS Teradata,
Netezza
Mainframe
Kinesis
Redshift
S3
Glue
Studio
Lambda
SageMaker
DynamoDB
Amazon
EMR
Fargate
KSQL
App
Confluent Platform Confluent Cluster Linking
OSS Kafka Confluent Cluster Linking
Oracle HDFS Teradata,
Netezza
Mainframe
App
Cloud Apps
3rd party data
기타 CSPs
Confluent Cluster Linking
: AWS
?
QuickSight

다양한 소프트웨어 시스템을 사용하는 기업
Data Diode

다양한 소프트웨어 시스템을 사용하는 기업

Confluent Cloud
완전 관리형 커넥터
• 수 많은 커넥터의 중요 커넥터
일부
• 별도의 인프라 관리 없이 탄력
적인 확장 가능
• 클러스터 네트워킹에 따라 달라
지는 커넥터 네트워킹 구성
• 제한된 구성 옵션 제공
• 특정 커넥터에 안정적인 소스
IP 사용 가능

70
fully
managed
connectors
Amazon S3
Amazon Redshift
Amazon
DynamoDB
AWS Lambda
Amazon SQS
Amazon Kinesis
Azure Service Bus
Azure Event Hubs
Azure Blob
Storage
Azure Functions Azure Data Lake
70 + BYOC(Bring Your Own Connector)
Custom Connector
BYOC(Bring Your Own
Connector)
Connect
, Confluent
, OSS
Single Message Transforms Data Output Preview Connect Log Events

2. 프로세스
ksqlDB, Flink

Confluent를 사용한 3가지 스트림 프로세싱 방식
Kafka clients Kafka Streams ksqlDB
ConsumerRecords<String, String> records = consumer.poll(100);
Map<String, Integer> counts = new DefaultMap<String, Integer>();
for (ConsumerRecord<String, Integer> record : records) {
String key = record.key();
int c = counts.get(key)
c += record.value()
counts.put(key, c)
}
for (Map.Entry<String, Integer> entry : counts.entrySet()) {
int stateCount;
int attempts;
while (attempts++ < MAX_RETRIES) {
try {
stateCount = stateStore.getValue(entry.getKey())
stateStore.setValue(entry.getKey(), entry.getValue() + stateCount)
break;
} catch (StateStoreException e) {
RetryUtils.backoff(attempts);
}
}
}
builder
.stream("input-stream",
Consumed.with(Serdes.String(), Serdes.String()))
.groupBy((key, value) -> value)
.count()
.toStream()
.to("counts", Produced.with(Serdes.String(), Serdes.Long()));
SELECT x, count(*) FROM stream GROUP BY x EMIT CHANGES;
유연성 단순성 Low Code

ksqlDB 개요
What is it?
ksqlDB : 스트림과 데이터 테이블
작업을 위한 이벤트 스트리밍 처리
엔진
최신 스트리밍 솔루션의 모든 주요 기능
Compute Storage
ksqlDB Kafka
Aggregations Joins
Windowing
Event-Time
Dual Query
Support
Exactly-Once
Semantics
Out-of-Order
Handling
User-Defined
Functions
CREATE TABLE activePromotions AS
SELECT rideId,
qualifyPromotion(distanceToDst) AS promotion
FROM locations
WINDOW HOPPING (size 30 seconds)
GROUP BY rideId
EMIT CHANGES
어떻게 동작하나?
컴퓨팅과 스토리지를 분리하고 내결함성 방식으로 탄력적
으로 확장할 수 있는 완전 관리형 클라우드 서비스
서버 중 하나가 장애가 발생하더라도 중단 없이 높은 가용
성을 유지
클러스터,확장,업그레이드,운영,모니터링 부담없이 바로 사
용가능

Confluent
Flink Kafka Streams ksqlDB
Fully managed on Confluent Cloud
Self-managed on Confluent Cloud and
Confluent Platform
Fully managed on Confluent Cloud, Self-
managed on Confluent Platform
SQL at GA, Java and Python to follow Java SQL
Simple Secure Scalable

3. 거버넌스
Stream Governance

스트림 거버넌스는 Confluent Cloud 에서 제공하는 완벽 관리형 거버넌스 서비스다
Stream Quality
신뢰할 수 있는 고품질 데이터 스트림을 비즈
니스에 전달
Stream Catalog
데이터 검색을 위한 셀프서비스로 협업 및 생산
성 향상
Stream Lineage
복잡한 데이터 관계 이해 및 더 많은 인사이트
발견
(Schema Registry & Validation)
Apache Kafka®를 위한 업계 유일의 완전 관리형 거버넌스 제품군으로
데이터 스트림을 확인하고 이해하며 신뢰할 수 있도록 한다.

- Stream Designer
Easy. Extensible. Extra-fast.

Cloud-native, Complete, Everywhere
Kafka 기반의 완전 관리형 서비스 Confluent
무제한 데이터 보관
보안 &
데이터 거버넌스
ksqlDB & Flink
스트림 프로세싱, 분석, ML
커넥터
APIs, UIs, CLIs
Cloud 에서 사용할 수 있는
완전 관리형 ‘NoOps’
30

Confluent Cloud 무료체험 신청하세요!
Confluent Cloud
confluent.io/ko-kr/get-started
신규 계정 생성시
60일간 $400 무료 크레딧 사용 가능

Confluent에 대해 자세히 알고 싶으신가요?
Contact us!
confluent.io/ko-kr
Confluent로부터 관련 자료를 받고 무료 상담을 받으시기 바랍니다!

Thank you!
Jhwang@confluent.io
@jupil_hwang
github.com/jupilhwang

AWS Summit Seoul 2023 | Confluent와 함께하는 실시간 데이터와 클라우드 여정

Recommended

Recommended

More Related Content

What's hot

What's hot (20)

Similar to AWS Summit Seoul 2023 | Confluent와 함께하는 실시간 데이터와 클라우드 여정

Similar to AWS Summit Seoul 2023 | Confluent와 함께하는 실시간 데이터와 클라우드 여정 (20)

More from Amazon Web Services Korea

More from Amazon Web Services Korea (20)

AWS Summit Seoul 2023 | Confluent와 함께하는 실시간 데이터와 클라우드 여정