AWS Summit Seoul 2023 | Confluent와 함께하는 실시간 데이터와 클라우드 여정

1. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Confluent (Jupil Hwang) C O N F L U E N T Solutions Engineer Confluent Korea

3. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Real-time & Historical Data A Sale A shipment A Trade A Customer Experience Data in Motion을 위한 새로운 패러다임이 필요합니다. 모든 데이터를모든 활용영역으로.. “우리는 정지된 모든 것에서 움직이는 모든것으로 생각을 전환할 필요가 있었다.” — Real-TimeStreamProcessing RichFront-EndCustomer Experiences Real-TimeBackendOperations

5. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. . . . " . . 10 ." ● Architecture planning ● Cluster sizing ● Cluster provisioning ● Broker settings ● Zookeeper management ● Partition placement & data durability ● Source/sink connectors development & maintenance ● Monitoring & reporting tools setup ● Software patches and upgrades ● Security controls and integrations ● Failover design & planning ● Mirroring & geo-replication ● Streaming data governance ● Load rebalancing & monitoring ● Expansion planning & execution ● Utilization optimization & visibility ● Cluster migrations ● Infrastructure & performance upgrades / enhancements I N V E S T M E N T & T I M E V A L U E 1 2 3 4 5 Experimentation / Early Interest Central Nervous System Mission critical, disparate LOBs Identify a Project Mission-critical, connected LOBs Key challenges:

6. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Confluent Cloud AWS Apache Kafka Stream Processing/ ksqlDB Stream Governance AWS PrivateLink ready partner Marketplace Integration Certified ready on AWS Outpost Cluster Linking 130+ Pre-built Connectors Flexible Payment Term AWS TCO , , AWS AWS Marketplace , , build. connect. integrate. 75% TCO 60% . Multi-language Development Monitoring with CloudWatch by fully managed connectors Infinite storage

7. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS AWS AWS Native Services Kinesis Redshift DynamoDB SQS Cloudwatch S3 Top-5 Global ISV for S3 Data Volume 3rd-Party ISV Services AWS AWS AWS PrivateLink AWS CloudWatch Confluent

8. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Confluent Cloud: Cloud-native, Connect, Everywhere

10. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Cloud-Native: 완전 관리형으로 재설계 된 Apache Kafka© Confluent에 데이터를 무제한 으로 저장하여 더 광범위한 데 이터 세트로 실시간 앱과 사용 사례를 개선한다 모든 요청을 충족하기 위해 즉 시 확장하고 인프라 과잉 프로 비저닝을 피하기 위해 축소할 수 있어야 한다 다양한 환경의 클러스터를 연 결하여 조직 전체에서 일관된 데이터 패브릭을 생성한다. Elastic Global Infinite

11. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Complete: 데이터 스트리밍 플랫폼을 위한 모든 필수 도구 제공 Enterprise-grade Security RBAC | Audit Logs | Encryption | BYOK | Private Networking Stream Governance Schema Registry | Schema Validation | Stream Lineage | Stream Catalog Complete Engagement Model Data in Motion Blueprint Business Case Justification TCO | ROI | Risk Management & Monitoring Cloud UI | Metrics API | Control Center | Health+ Flexible DevOps Automation Admin REST APIs | Terraform APIs | Confluent for K8s | Ansible Playbooks 규모에따른효율적인운영 운영을염두에둔전제조건 비즈니스성공을위한파트너십 Rich Pre-built Ecosystem Connectors | Non-Java Clients | REST Proxy | MQTT Proxy Stream Processing ksqlDB, Flink 제한없는개발자생산성 High Availability 99.99% SLA | Multi-AZ Clusters | Multi-Region Clusters Infinite Storage Infinite Storage | Tiered Storage Elastic Scalability Expand | Shrink | Self-Balancing Clusters Cloud Native: 클 라 우 드 의 기 능 을 최 대 한 잘 활 용 하 기 위 한 완 전 관 리 형 으 로 재 설 계 된 Apache Kafka© Hybrid and Multicloud Cluster Linking | Replicator Self-managed software Kubernetes | VMs | Bare Metal Fully managed cloud service AWS | Azure | GCP Com m itter-driven Expertise Training Partners Professional Services Enterprise Support 운영자 개발자 아키텍트 경영진 Com plete: 완전한데이터스트리밍플랫폼을위한모든필수도구를사용하여Kafka 에코시스템구축 Everyw here: 온프레미스에서클라우드및클라우드전반에걸친플랫폼으로데이터를실시간으로연결

12. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Everywhere: 모든 환경을 아우르는 배포 유연성을 제공 SELF-MANAGED SOFTWARE Confluent Platform Apache Kafka 의 엔터프라이즈 배포판 On-Prem, Private / Public Cloud에 배포 VM FULLY MANAGED SERVICE Confluent Cloud Apache Kafka를 위한 Cloud-native 서비스 주요 퍼블릭 클라우드에서 사용 가능 Cloud Provider

15. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Cluster Linking on-prem(anyplace)에서 클라우드로 손쉽게 미러링하기 Cluster Link 미러링된 토픽 바이트(byte) 단위 복사 동일한 오프셋 동일한 설정 동일한 이름 읽기 전용 Source Topics Consumer Group Offsets Filter by name ACLs Filter by name Destination Mirror Topics Consumer Group Offsets (optional) ACLs (optional) 몇 분안에 시작 CLI 또는 API 호출로 연결 및 미러 링 안정성과 성능 카프카의 브로커 간 프로 토콜 사용 (Optional) 양방향 “active- active” 를 위한 두 번 째 링크 Link AK 2.4+ CP 5.4+ Confluent Cloud connection (today)

16. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Web Services On-Prem Oracle HDFS Teradata, Netezza Mainframe Kinesis Redshift S3 Glue Studio Lambda SageMaker DynamoDB Amazon EMR Fargate KSQL App Confluent Platform Confluent Cluster Linking OSS Kafka Confluent Cluster Linking Oracle HDFS Teradata, Netezza Mainframe App Cloud Apps 3rd party data 기타 CSPs Confluent Cluster Linking : AWS ? QuickSight

19. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Confluent Cloud 완전 관리형 커넥터 • 수 많은 커넥터의 중요 커넥터 일부 • 별도의 인프라 관리 없이 탄력 적인 확장 가능 • 클러스터 네트워킹에 따라 달라 지는 커넥터 네트워킹 구성 • 제한된 구성 옵션 제공 • 특정 커넥터에 안정적인 소스 IP 사용 가능

20. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 70 fully managed connectors Amazon S3 Amazon Redshift Amazon DynamoDB AWS Lambda Amazon SQS Amazon Kinesis Azure Service Bus Azure Event Hubs Azure Blob Storage Azure Functions Azure Data Lake 70 + BYOC(Bring Your Own Connector) Custom Connector BYOC(Bring Your Own Connector) Connect , Confluent , OSS Single Message Transforms Data Output Preview Connect Log Events

22. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Confluent를 사용한 3가지 스트림 프로세싱 방식 Kafka clients Kafka Streams ksqlDB ConsumerRecords<String, String> records = consumer.poll(100); Map<String, Integer> counts = new DefaultMap<String, Integer>(); for (ConsumerRecord<String, Integer> record : records) { String key = record.key(); int c = counts.get(key) c += record.value() counts.put(key, c) } for (Map.Entry<String, Integer> entry : counts.entrySet()) { int stateCount; int attempts; while (attempts++ < MAX_RETRIES) { try { stateCount = stateStore.getValue(entry.getKey()) stateStore.setValue(entry.getKey(), entry.getValue() + stateCount) break; } catch (StateStoreException e) { RetryUtils.backoff(attempts); } } } builder .stream("input-stream", Consumed.with(Serdes.String(), Serdes.String())) .groupBy((key, value) -> value) .count() .toStream() .to("counts", Produced.with(Serdes.String(), Serdes.Long())); SELECT x, count(*) FROM stream GROUP BY x EMIT CHANGES; 유연성 단순성 Low Code

23. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. ksqlDB 개요 What is it? ksqlDB : 스트림과 데이터 테이블 작업을 위한 이벤트 스트리밍 처리 엔진 최신 스트리밍 솔루션의 모든 주요 기능 Compute Storage ksqlDB Kafka Aggregations Joins Windowing Event-Time Dual Query Support Exactly-Once Semantics Out-of-Order Handling User-Defined Functions CREATE TABLE activePromotions AS SELECT rideId, qualifyPromotion(distanceToDst) AS promotion FROM locations WINDOW HOPPING (size 30 seconds) GROUP BY rideId EMIT CHANGES 어떻게 동작하나? 컴퓨팅과 스토리지를 분리하고 내결함성 방식으로 탄력적 으로 확장할 수 있는 완전 관리형 클라우드 서비스 서버 중 하나가 장애가 발생하더라도 중단 없이 높은 가용 성을 유지 클러스터,확장,업그레이드,운영,모니터링 부담없이 바로 사 용가능

25. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Confluent Flink Kafka Streams ksqlDB Fully managed on Confluent Cloud Self-managed on Confluent Cloud and Confluent Platform Fully managed on Confluent Cloud, Self- managed on Confluent Platform SQL at GA, Java and Python to follow Java SQL Simple Secure Scalable

27. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 스트림 거버넌스는 Confluent Cloud 에서 제공하는 완벽 관리형 거버넌스 서비스다 Stream Quality 신뢰할 수 있는 고품질 데이터 스트림을 비즈 니스에 전달 Stream Catalog 데이터 검색을 위한 셀프서비스로 협업 및 생산 성 향상 Stream Lineage 복잡한 데이터 관계 이해 및 더 많은 인사이트 발견 (Schema Registry & Validation) Apache Kafka®를 위한 업계 유일의 완전 관리형 거버넌스 제품군으로 데이터 스트림을 확인하고 이해하며 신뢰할 수 있도록 한다.

29. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Cloud-native, Complete, Everywhere Kafka 기반의 완전 관리형 서비스 Confluent 무제한 데이터 보관 보안 & 데이터 거버넌스 ksqlDB & Flink 스트림 프로세싱, 분석, ML 커넥터 APIs, UIs, CLIs Cloud 에서 사용할 수 있는 완전 관리형 ‘NoOps’ 30

32. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Thank you! © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Jhwang@confluent.io @jupil_hwang github.com/jupilhwang

AWS Summit Seoul 2023 | Confluent와 함께하는 실시간 데이터와 클라우드 여정

AWS Summit Seoul 2023 | Confluent와 함께하는 실시간 데이터와 클라우드 여정

Recommended

More Related Content

What's hot

What's hot(20)

Similar to AWS Summit Seoul 2023 | Confluent와 함께하는 실시간 데이터와 클라우드 여정

Similar to AWS Summit Seoul 2023 | Confluent와 함께하는 실시간 데이터와 클라우드 여정(20)

More from Amazon Web Services Korea

More from Amazon Web Services Korea(20)

AWS Summit Seoul 2023 | Confluent와 함께하는 실시간 데이터와 클라우드 여정