Kafka 알아보기

ⓒSaebyeol Yu. Saebyeol’s PowerPoint
세션 3
Kafka

목차
1 WhatisKafka?
2 Architecture
3 Producer
4 Broker
table of contents
5 Consumer
6 T
opic&Partition
7 Replication
8 비교및사례

1
What is Kafka?

Part 1
WhatisKafka?
오픈소스
Pub-Sub Messaging Platform

Part 1
WhatisKafka?
분산 스트리밍
실시간 스트리밍

2
Architecture

Part 2
Architecture

3
Producer

- 브로커에 특정 토픽을 지정하여 메세지를 전달하는 역할 담당.
- Kafka Producer API와 이로 구성된 Application.
Part 3
Producer란?

Part 3
Producer-메세지구조
토픽
파티션위치
메시지생성시간
메세지키
메시지값
Topic
Partition
Timestamp
Key
Value

Part 3
Producer-메세지전달과정
>> >> >>
직렬화 파티셔닝 압축 메세지 배치 >> 전달

Part 3
>> >> >>
* org.apache.kafka.clients.producer.KafkaProducer class
doSend 메서드 - 직렬화 파트

Part 3
>> >> >>
partition 메서드 - 파티셔닝 파트
 토픽의어떤파티션에저장될
지결정
 키가없는경우Round-Robin
방식으로결정

Part 3
>> >> >>
* org.apache.kafka.common.record.CompressionType enum
압축 타입 파트
 압축이설정된경우,포맷에맞춰메세지압축
 Accumulator가buffer에append하기전에압축

Part 3
>> >> >>
 지정된만큼메세지를저장했
다가한번에브로커로전달.
 RA는각토픽파티션에대응하
는배치큐(deque)를구성하고,
메세지들을레코드배치형태
로묶어큐에저장

Part 3
>> >> >>
doSend 메서드 - 배치 파트

Part 3
>> >> >>

4
Broker

 프로듀서로부터 메세지를 전달 받아 저장하고,
컨슈머로 전달.
 Kafka 서버 1대가 1대의 브로커
Part 4
Broker란?

Part 4
Broker-
Controller
 컨트롤러는 하나의 클러스터에서 하나의 브로커에 부여되는 역할.
 브로커들의 생존 여부(liveness)를 체크

Part 4
Broker-Controlled
shutdown

Part 4
Broker-메세지저장과파일관
리
 메세지를 로그(log) 자료구조 형태로 디스크에 저장.
 로그 자료구조: 새로운 쓰기 작업이 중간에 삽입되지 않고
끝에서만 되는 append-only 특징을 가짐

Part 4
Broker-Zerocopy
 Zero Copy
브로커가 세그먼트 파일로부터 메시지를 읽고, 이를 네트워크로 전달하는 과정에서
context switch가 없도록 하는 기술 (CPU 작업을 메모리로 대체)

5
Consumer

 파티션에 연결하여 메세지들이 쓰여진 순서대로
메세지를 읽음.
Part 5
Consumer란?

Part 5
Consumer-Offset
 메세지의Offset을추적하고,소
비한메세지를저장.
 ConsumerApplication에서는자
동/수동으로Offset을커밋한다.

Part 5
Consumer-Group
 파티션내의메세지는그룹내의
Consumer중하나에의해서만소비되
는것을보장.
 병렬적으로메세지소비

6
Topic & Partition

 이벤트(메세지) 스트림이 저장됨.
 Producer는 Topic에 메세지를 저장 => Push
 Consumer는 Topic의 메세지를 읽음 => Pull
Part 6
Topic이란?

 토픽에 속한 레코드를 실제 저장소에 저장하는 가장
작은 단위
 Append-Only
Part 6
Partition이란?

Part 6
Partition이란?

Part 6
Partition-Offset
 파티션내에서는순서가보장되지만,
파티션간에는순서가보장되지않음.
=>순서보장X
 레코드가항상맨뒤에쓰여지고,다
음순서의Offset값을갖게된다.

Part 6
Partition-분배방식
 Partition Key (Hash)
 Round-Robin
 Customer Partitioner

7
Replication

Part 7
Replication
 Replication Factor
토픽에 파티션의 복제본을 몇 개 생성할 것인지 설정

Part 7
Replication-Leader&Follower
 Read/Write
Topic으로 통하는 모든 데이터의 Read/Write는 Leader로 수행

Part 7
Replication-ISR(In-SyncReplication)

Part 7
Replication-ISRBreakdown

Part 7
Replication-ISRBreakdown(1node)

Part 7
Replication-ISRBreakdown(2node)

Part 7
Replication-ISR규칙
 Leader
자신보다 일정 기간 뒤쳐진 팔로워가 발생 => 해당 팔로워가 리더가 될 자격이 없다고 판
단 => ISR 에서 제외
 Follower
리더와 동일한 내용을 유지하기 위해 일정 주기마다 리더로부터 데이터를 가져온다.

8
비교 및 사례

Part 8
KafkaVSRabbitMQ
 Kafka는 대용량의 분산 로그 트래픽을 처리한다는 점이 유리
 RabbitMQ는 높은 처리량 대신 지정된 수신인에게 원하는 방식으로 메세지를 신뢰성 있게 전
달하는데 초점.
요약

Part 8
활용사례
Data Pipe Line - Netflix
 데이터 버퍼링 - Kafka는 복제된 영구 메시지 대기열 역할을 함
 데이터 라우팅 - s3, Elastic, 보조 kafka 데이터 이동하는 역할을 합니다.
비디오 시청 활동 / 사용 빈도 / 에러로그 등 모든 이벤트는 데이터 파
이프라인을 통해 전달

Part 8
Reference
 https://ggop-n.tistory.com/m/91
 https://always-kimkim.tistory.com/entry/kafka101-producer?category=876258
 https://www.linkedin.com/pulse/kafka-producer-overview-sylvester-Daniel
 https://developer.ibm.com/articles/j-zerocopy/
Reference links
 https://github.com/sapcy/kafka-example
Sample code

Thank you.

Kafka 알아보기

Kafka 알아보기

Recommended

More Related Content

Featured

Featured(20)

Kafka 알아보기