Downloaded 78 times
![[2000-00-00 00:00:00,001] INFO Partition [__consumer_offsets,19] on broker 5: Shrinking ISR for
partition [__consumer_offsets,19] from 3,4,5 to 5 (kafka.cluster.Partition)
[2000-00-00 00:00:00,002] INFO Partition [__consumer_offsets,29] on broker 5: Shrinking ISR for
partition [__consumer_offsets,29] from 4,5,6 to 5 (kafka.cluster.Partition)
[2000-00-00 00:00:00,003] INFO Partition [__consumer_offsets,9] on broker 5: Shrinking ISR for
partition [__consumer_offsets,9] from 3,5,2 to 5 (kafka.cluster.Partition)](https://image.slidesharecdn.com/2018-r4-11-180906045711/75/slide-19-2048.jpg)
Uploaded byif kakao
카프카, 산전수전 노하우
고승범(peter.ko) / kakao corp.(인프라2팀) --- 카카오에서는 빅데이터 분석, 처리부터 모든 개발 플랫폼을 이어주는 솔루션으로 급부상한 카프카(kafka)를 전사 공용 서비스로 운영하고 있습니다. 전사 공용 카프카를 직접 운영하면서 경험한 트러블슈팅과 운영 노하우 등을 공유하고자 합니다. 특히 카프카를 처음 접하시는 분들이나 이미 사용 중이신 분들이 많이 궁금해하는 프로듀서와 컨슈머 사용 시의 주의점 등에 대해서도 설명합니다.
![[Main Session] 카프카, 데이터 플랫폼의 최강자](https://cdn.slidesharecdn.com/ss_thumbnails/180519-kafka-oraclefin-180521125323-thumbnail.jpg?width=640&height=640&fit=bounds)
![Naver속도의, 속도에 의한, 속도를 위한 몽고DB (네이버 컨텐츠검색과 몽고DB) [Naver]](https://cdn.slidesharecdn.com/ss_thumbnails/naver-190916181334-thumbnail.jpg?width=640&height=640&fit=bounds)
![[오픈소스컨설팅]Kafka message system 맛보기](https://cdn.slidesharecdn.com/ss_thumbnails/kafkamessagesystem-180730044904-thumbnail.jpg?width=640&height=640&fit=bounds)
![[Td 2015]개발하기 바쁜데 푸시서버와 메시지큐는 있는거 쓸래요(김영재)](https://cdn.slidesharecdn.com/ss_thumbnails/td2015-151104051535-lva1-app6891-thumbnail.jpg?width=640&height=640&fit=bounds)
![[테크데이즈2015] 개발하기 바쁜데 푸시와 메시지큐는 있는거 쓸래요](https://cdn.slidesharecdn.com/ss_thumbnails/20151027techdaysazurepushandeventbus-160210062525-thumbnail.jpg?width=640&height=640&fit=bounds)
![[월간 슬라이드] 단기완성 Apache kafka](https://cdn.slidesharecdn.com/ss_thumbnails/monthlyslideapachekafka-190302052656-thumbnail.jpg?width=640&height=640&fit=bounds)
카프카, 산전수전 노하우
- 1. 카프카, 산전수전 노하우 발표자(peter.ko) kakaocorp.(인프라2팀)
- 2. - 카카오 인프라팀소속 - 페이스북 KAFKA 한국 사용자 그룹 개설자 (facebook.com/groups/kafkakorea/) - <카프카, 데이터 플랫폼의 최강자> 저자 예스24 IT 분야 1위(이틀..;) - Popit.kr 저자, 개인 브런치 운영 중 고승범 (peter.ko)
- 3. ‣ 카프카의 현황 ‣트러블 슈팅 ‣ Shrinking ISR ‣ Rack Power ‣ 프로듀서와 컨슈머 ‣ 운영 오늘 나눌 이야기
- 4.
- 6.
- 7. 2 클러스터 /10EA 7 클러스터 / 130EA
- 8. 7 클러스터 /130EA B IDC 카프카 카프카 카프카 카프카 주키퍼 A IDC 카프카 카프카카프카 주키퍼 추천 카카오스토어 다음검색 카카오톡 다음메일 카카오스토리 카카오톡치즈 카카오TV 다음웹툰 카카오선물하기 카카오내비 카카오버스 카카오맵 카카오게임 카카오i
- 9.
- 10. 240 TB /day 370 TB / day
- 11.
- 12.
- 13.
- 14. ISR이란? ‣ In-Sync Replicas(ISR) ‣리플리케이션 구성원은 리더와 팔로워 ‣ 리더만 읽고 쓰기 ‣ 팔로워들은 리더를 주기적으로 동기화 ‣ ISR의 구성원만이 리더의 자격을 갖는다.
- 15. 카프카 클러스터 peter-topic partition-0 peter-topic partition-0 peter-topic partition-0 ISR &RF3 ISR ISR Broker1 Broker2 Broker3
- 16.
- 17.
- 18. 카프카 클러스터 Broker5Broker4Broker3 Broker6Broker7 topic01 topic01 topic01 topic02 topic02 topic02 topic03 topic03 topic03 topic04topic04 topic05 topic05
- 19. [2000-00-00 00:00:00,001] INFOPartition [__consumer_offsets,19] on broker 5: Shrinking ISR for partition [__consumer_offsets,19] from 3,4,5 to 5 (kafka.cluster.Partition) [2000-00-00 00:00:00,002] INFO Partition [__consumer_offsets,29] on broker 5: Shrinking ISR for partition [__consumer_offsets,29] from 4,5,6 to 5 (kafka.cluster.Partition) [2000-00-00 00:00:00,003] INFO Partition [__consumer_offsets,9] on broker 5: Shrinking ISR for partition [__consumer_offsets,9] from 3,5,2 to 5 (kafka.cluster.Partition)
- 20.
- 21.
- 22. 카프카 버전 업그레이드 ‣다운타임을 가질 수 있는 환경 ‣ 전체 브로커 종료 후 버전 업그레이드 진행 ‣ 다운타임을 가질 수 없는 환경 ‣ 클러스터내 브로커 한대씩 버전 업그레이드를 진행 ‣ 카카오에서는.. ‣ 크리티컬 이슈가 발생하거나 신규 기능이 추가되는 경우 다운타임없이 버전 업그레이드 진행
- 23.
- 24.
- 25. 카프카 클러스터 RACK1 RACK2RACK3 Broker1 Web1 Broker2 Web2 Broker3
- 26.
- 27. 카프카 클러스터 RACK1 RACK2RACK3 Broker1 Broker2 Broker3 peter-topic message: A peter-topic message: A peter-topic message: A
- 28. 카프카 클러스터 RACK1 RACK2RACK3 Broker1 Broker2 Broker3 peter-topic message: A peter-topic message: A peter-topic message: A
- 29. 카프카 클러스터 RACK1 RACK2RACK3 Broker1 Broker2 Broker3 peter-topic message: A peter-topic message: A peter-topic message: A
- 30. 카프카 클러스터 RACK1 RACK2RACK3 Broker1 Broker2 Broker3 peter-topic message: A peter-topic message: A peter-topic message: A peter-topic message: B peter-topic message: B
- 31. 카프카 클러스터 RACK1 RACK2RACK3 Broker1 Broker2 Broker3 peter-topic message: A peter-topic message: A peter-topic message: A peter-topic message: B peter-topic message: B
- 32. 카프카 클러스터 RACK1 RACK2RACK3 Broker1 Broker2 Broker3 peter-topic message: A peter-topic message: A peter-topic message: A peter-topic message: B peter-topic message: B
- 33. 카프카 클러스터 RACK1 RACK2RACK3 Broker1 Broker2 Broker3 peter-topic message: A peter-topic message: A peter-topic message: A peter-topic message: B peter-topic message: B peter-topic message: C
- 34. 카프카 클러스터 RACK1 RACK2RACK3 Broker1 Broker2 Broker3 peter-topic message: A peter-topic message: A peter-topic message: A peter-topic message: B peter-topic message: B peter-topic message: C
- 35. 카프카 클러스터 RACK1 RACK2RACK3 Broker1 Broker2 Broker3 peter-topic message: A peter-topic message: A peter-topic message: A peter-topic message: B peter-topic message: B peter-topic message: C
- 36. 카프카 클러스터 RACK1 RACK2RACK3 Broker1 Broker2 Broker3 peter-topic message: A peter-topic message: A peter-topic message: A peter-topic message: B peter-topic message: B peter-topic message: C peter-topic message: D
- 37. 카프카 클러스터 RACK1 RACK2RACK3 Broker1 Broker2 Broker3 peter-topic message: A peter-topic message: A peter-topic message: A peter-topic message: B peter-topic message: C peter-topic message: D peter-topic message: B peter-topic message: C peter-topic message: D peter-topic message: B peter-topic message: C peter-topic message: D
- 38. 카프카 클러스터 RACK1 RACK2RACK3 Broker1 Broker2 Broker3 peter-topic message: A peter-topic message: A peter-topic message: A peter-topic message: B peter-topic message: B peter-topic message: C
- 39. 카프카 클러스터 RACK1 RACK2RACK3 Broker1 Broker2 Broker3 peter-topic message: A peter-topic message: A peter-topic message: A peter-topic message: B peter-topic message: B peter-topic message: C peter-topic message: D
- 40. 카프카 클러스터 RACK1 RACK2RACK3 Broker1 Broker2 Broker3 peter-topic message: A peter-topic message: A peter-topic message: A peter-topic message: D peter-topic message: D peter-topic message: D
- 41. 카프카 클러스터 RACK1 RACK2RACK3 Broker1 Broker2 Broker3 peter-topic message: A peter-topic message: A peter-topic message: A peter-topic message: D peter-topic message: D peter-topic message: D 서비스의 영속성, 데이터 정합성
- 42.
- 43.
- 44. 프로듀서 ‣ 프로듀서는 파티션의리더로 직접 메시지를 전송 ‣ 특정 파티션 또는 랜덤 파티션으로 전송 ‣ 빠른 전송 속도 보장 ‣ 효율성이 좋은 배치 처리 가능 ‣ 설정을 통해 배치 크기나 지연시간 조정
- 45. 프로듀서 ACKS ‣ ACKS= 0 ‣ 매우 빠르게 전송할 수 있지만, 파티션의 리더가 받았는지 알 수 없음 ‣ ACKS = 1(Strongly Recommend) ‣ 메시지 전송도 빠른편이고, 파티션의 리더가 받았는지 확인 ‣ 가장 많이 사용되고, 최근 대부분의 기본값으로 사용 ‣ ACKS = ALL ‣ 메시지 전송 속도는 가장 느리지만, 손실 없는 메시지 전송 가능
- 46. Broker1 Broker2 Broker3 프로듀서ack=1 peter-topic peter-topic peter-topic RF3
- 47. Broker1 Broker2 Broker3 프로듀서ack=1 peter-topic peter-topic peter-topic message: A
- 48. Broker1 Broker2 Broker3 프로듀서ack=1 peter-topic peter-topic peter-topic message: A
- 49. Broker1 Broker2 Broker3 프로듀서ack=1 peter-topic peter-topic peter-topic message: A ack
- 50. Broker1 Broker2 Broker3 프로듀서ack=1 peter-topic peter-topic peter-topic message: A message: A message: A
- 51. Broker1 Broker2 Broker3 프로듀서ack=1 peter-topic peter-topic peter-topic message: A message: A message: A message: B
- 52. Broker1 Broker2 Broker3 프로듀서ack=1 peter-topic peter-topic peter-topic message: A message: A message: A message: B ack
- 53. Broker1 Broker2 Broker3 프로듀서ack=1 peter-topic peter-topic peter-topic message: A message: A message: A message: B ack
- 54. Broker1 Broker2 Broker3 프로듀서ack=1 peter-topic peter-topic peter-topic message: A message: A message: A message: B ack
- 55. Broker1 Broker2 Broker3 프로듀서ack=1 peter-topic peter-topic peter-topic message: A message: B message: Amessage: A
- 56. Broker1 Broker2 Broker3 프로듀서ack=1 peter-topic peter-topic peter-topic message: A message: B message: Amessage: A message: C
- 57. Broker1 Broker2 Broker3 프로듀서ack=1 peter-topic peter-topic peter-topic message: A message: B message: Amessage: A message: C ack message: C
- 58. Broker1 Broker2 Broker3 프로듀서ack=1 peter-topic peter-topic peter-topic message: A message: B message: Amessage: A message: Cmessage: C message: D
- 59. Broker1 Broker2 Broker3 프로듀서ack=1 peter-topic peter-topic peter-topic message: A message: C message: Amessage: A message: Cmessage: C message: Dmessage: Dmessage: D
- 60.
- 61.
- 62. Topic: peter-topic, Partition:1, Offset: 33, Key: a, Received message: Apache Kafka is 1 Topic: peter-topic, Partition: 1, Offset: 34, Key: a, Received message: Apache Kafka is 2 Topic: peter-topic, Partition: 1, Offset: 35, Key: a, Received message: Apache Kafka is 3 Topic: peter-topic, Partition: 1, Offset: 36, Key: a, Received message: Apache Kafka is 4 Topic: peter-topic, Partition: 1, Offset: 37, Key: a, Received message: Apache Kafka is 5
- 63. Topic: peter-topic, Partition:1, Offset: 31, Key: None, Received message: Apache Kafka is 9 Topic: peter-topic, Partition: 1, Offset: 32, Key: None, Received message: Apache Kafka is 10 Topic: peter-topic, Partition: 0, Offset: 23, Key: None, Received message: Apache Kafka is 1 Topic: peter-topic, Partition: 0, Offset: 24, Key: None, Received message: Apache Kafka is 4 Topic: peter-topic, Partition: 0, Offset: 25, Key: None, Received message: Apache Kafka is 7
- 65.
- 66. 컨슈머 ‣ 컨슈머는 파티션의리더에게 "fetch" 요청을 하는 역할 ‣ 컨슈머는 위치를 기록하고 있는 오프셋으로부터 메시지를 가져온다. ‣ 컨슈머의 목적은 컨슈머가 가능한 최대 속도로 가져갈 수 있도록 하는 것
- 67.
- 68.
- 69. 컨슈머 그룹 ‣ 하나의토픽을 여러 컨슈머들이 구독 ‣ 컨슈머 그룹으로 그룹핑하여 컨슈머를 확장할 수 있다. ‣ 프로듀서가 토픽으로 보내는 메시지 비율을 높인다면? ‣ 컨슈머는 프로듀서의 속도를 따라가지 못하게 된다.
- 70. 하나의 파티션에는 하나의컨슈머만 가능
- 71. 하나의 파티션에는 하나의컨슈머만 가능
- 72. 컨슈머 그룹을 이용한멀티 컨슈머
- 73.
- 75. Burrow ‣ 카프카 컨슈머Lag Checking ‣ HTTP ‣ Go ‣ https://github.com/linkedin/Burrow Consumer group
- 76.
- 77.
- 78. 토픽 수가 늘기만하는데, 좋은 방법은 없을까?
- 79. JMX로 토픽 상태값을수집 저장 후 조건에 일치하는 토픽 삭제
- 80.
- 81. ‣ 브로커의 로그 ‣서비스 영속성, 데이터 정합성 ‣ 프로듀서 ‣ 컨슈머 ‣ 좋은 애플리케이션인 카프카를 적극 활용!! 마무리
- 82.