Apache kafka 모니터링을 위한 Metrics 이해 및 최적화 방안SANG WON PARK
Apache Kafak의 빅데이터 아키텍처에서 역할이 점차 커지고, 중요한 비중을 차지하게 되면서, 성능에 대한 고민도 늘어나고 있다.
다양한 프로젝트를 진행하면서 Apache Kafka를 모니터링 하기 위해 필요한 Metrics들을 이해하고, 이를 최적화 하기 위한 Configruation 설정을 정리해 보았다.
[Apache kafka 모니터링을 위한 Metrics 이해 및 최적화 방안]
Apache Kafka 성능 모니터링에 필요한 metrics에 대해 이해하고, 4가지 관점(처리량, 지연, Durability, 가용성)에서 성능을 최적화 하는 방안을 정리함. Kafka를 구성하는 3개 모듈(Producer, Broker, Consumer)별로 성능 최적화를 위한 …
[Apache Kafka 모니터링을 위한 Metrics 이해]
Apache Kafka의 상태를 모니터링 하기 위해서는 4개(System(OS), Producer, Broker, Consumer)에서 발생하는 metrics들을 살펴봐야 한다.
이번 글에서는 JVM에서 제공하는 JMX metrics를 중심으로 producer/broker/consumer의 지표를 정리하였다.
모든 지표를 정리하진 않았고, 내 관점에서 유의미한 지표들을 중심으로 이해한 내용임
[Apache Kafka 성능 Configuration 최적화]
성능목표를 4개로 구분(Throughtput, Latency, Durability, Avalibility)하고, 각 목표에 따라 어떤 Kafka configuration의 조정을 어떻게 해야하는지 정리하였다.
튜닝한 파라미터를 적용한 후, 성능테스트를 수행하면서 추출된 Metrics를 모니터링하여 현재 업무에 최적화 되도록 최적화를 수행하는 것이 필요하다.
Understanding of Apache kafka metrics for monitoring SANG WON PARK
2019 kafka conference seould에서 발표한 "Apache Kafka 모니터링을 위한 Metrics 이해" 슬라이드 자료
기존 2018년 자료에서 모니터링 관점에서 중요한 metrcis를 중심으로 정리하였고, 2019년 기준으로 추가/변경된 metrics를 반영하였다.
주용 내용은
- 업무에 최적화된 apache kafka 모니터링을 하려면?
- 어떤 정보를 모니터링 해야 할까?
- 적시성 관점의 모니터링 지표 (TotalTimeMs에 대한 세부 구조 이해)
- 안정성 관점의 모니터링 지표 (데이터 유실이 없이 중단없는 서비스)
- 언제 apache kafka 클러스터를 확장해야 할까? (어떤 지표를 봐야 할까?)
위 모든 지표는 producer/broker/consumer 3가지 측면에서 검토하였다.
컨퍼런스 영상 링크 : https://www.youtube.com/watch?v=p2RGsTOCHAg
[NDC18] 야생의 땅 듀랑고의 데이터 엔지니어링 이야기: 로그 시스템 구축 경험 공유 (2부)Hyojun Jeon
NDC18에서 발표하였습니다. 현재 보고 계신 슬라이드는 2부 입니다.(총 2부)
- 1부 링크: https://goo.gl/3v4DAa
- 2부 링크: https://goo.gl/wpoZpY
(SlideShare에 슬라이드 300장 제한으로 2부로 나누어 올렸습니다. 불편하시더라도 양해 부탁드립니다.)
El documento presenta las "7 verdades para triunfar en el mundo de Internet" según NetConsulting. Estas verdades incluyen la importancia de comenzar con un objetivo claro, rodearse de un equipo experto, trabajar con proveedores experimentados que usen estándares técnicos, promocionar el proyecto en Internet, mantener el control sobre el contenido, y asegurarse de tener soporte técnico para el servidor. El objetivo es guiar a las empresas a lograr el éxito con sus proyectos en Internet.
Apache kafka 모니터링을 위한 Metrics 이해 및 최적화 방안SANG WON PARK
Apache Kafak의 빅데이터 아키텍처에서 역할이 점차 커지고, 중요한 비중을 차지하게 되면서, 성능에 대한 고민도 늘어나고 있다.
다양한 프로젝트를 진행하면서 Apache Kafka를 모니터링 하기 위해 필요한 Metrics들을 이해하고, 이를 최적화 하기 위한 Configruation 설정을 정리해 보았다.
[Apache kafka 모니터링을 위한 Metrics 이해 및 최적화 방안]
Apache Kafka 성능 모니터링에 필요한 metrics에 대해 이해하고, 4가지 관점(처리량, 지연, Durability, 가용성)에서 성능을 최적화 하는 방안을 정리함. Kafka를 구성하는 3개 모듈(Producer, Broker, Consumer)별로 성능 최적화를 위한 …
[Apache Kafka 모니터링을 위한 Metrics 이해]
Apache Kafka의 상태를 모니터링 하기 위해서는 4개(System(OS), Producer, Broker, Consumer)에서 발생하는 metrics들을 살펴봐야 한다.
이번 글에서는 JVM에서 제공하는 JMX metrics를 중심으로 producer/broker/consumer의 지표를 정리하였다.
모든 지표를 정리하진 않았고, 내 관점에서 유의미한 지표들을 중심으로 이해한 내용임
[Apache Kafka 성능 Configuration 최적화]
성능목표를 4개로 구분(Throughtput, Latency, Durability, Avalibility)하고, 각 목표에 따라 어떤 Kafka configuration의 조정을 어떻게 해야하는지 정리하였다.
튜닝한 파라미터를 적용한 후, 성능테스트를 수행하면서 추출된 Metrics를 모니터링하여 현재 업무에 최적화 되도록 최적화를 수행하는 것이 필요하다.
Understanding of Apache kafka metrics for monitoring SANG WON PARK
2019 kafka conference seould에서 발표한 "Apache Kafka 모니터링을 위한 Metrics 이해" 슬라이드 자료
기존 2018년 자료에서 모니터링 관점에서 중요한 metrcis를 중심으로 정리하였고, 2019년 기준으로 추가/변경된 metrics를 반영하였다.
주용 내용은
- 업무에 최적화된 apache kafka 모니터링을 하려면?
- 어떤 정보를 모니터링 해야 할까?
- 적시성 관점의 모니터링 지표 (TotalTimeMs에 대한 세부 구조 이해)
- 안정성 관점의 모니터링 지표 (데이터 유실이 없이 중단없는 서비스)
- 언제 apache kafka 클러스터를 확장해야 할까? (어떤 지표를 봐야 할까?)
위 모든 지표는 producer/broker/consumer 3가지 측면에서 검토하였다.
컨퍼런스 영상 링크 : https://www.youtube.com/watch?v=p2RGsTOCHAg
[NDC18] 야생의 땅 듀랑고의 데이터 엔지니어링 이야기: 로그 시스템 구축 경험 공유 (2부)Hyojun Jeon
NDC18에서 발표하였습니다. 현재 보고 계신 슬라이드는 2부 입니다.(총 2부)
- 1부 링크: https://goo.gl/3v4DAa
- 2부 링크: https://goo.gl/wpoZpY
(SlideShare에 슬라이드 300장 제한으로 2부로 나누어 올렸습니다. 불편하시더라도 양해 부탁드립니다.)
El documento presenta las "7 verdades para triunfar en el mundo de Internet" según NetConsulting. Estas verdades incluyen la importancia de comenzar con un objetivo claro, rodearse de un equipo experto, trabajar con proveedores experimentados que usen estándares técnicos, promocionar el proyecto en Internet, mantener el control sobre el contenido, y asegurarse de tener soporte técnico para el servidor. El objetivo es guiar a las empresas a lograr el éxito con sus proyectos en Internet.
동영상 by 서명덕 - http://itviewpoint.com/
http://www.youtube.com/watch?v=Rdc3-uZhCT4&list=PLZ9uJh6mO6seUbnHC7MtVGctVHGalncyN
http://www.youtube.com/watch?v=O2TAm6-0pNw&list=PLZ9uJh6mO6seUbnHC7MtVGctVHGalncyN
http://www.youtube.com/watch?v=XQ6zsB6tLgQ&list=PLZ9uJh6mO6seUbnHC7MtVGctVHGalncyN
http://www.youtube.com/watch?v=yA-zSPdVP6w&list=PLZ9uJh6mO6seUbnHC7MtVGctVHGalncyN
http://www.youtube.com/watch?v=i2_z5HJIwL4&list=PLZ9uJh6mO6seUbnHC7MtVGctVHGalncyN
Apache kafka performance(latency)_benchmark_v0.3SANG WON PARK
Apache Kafka를 이용하여 이미지 데이터를 얼마나 빠르게(with low latency) 전달 가능한지 성능 테스트.
최종 목적은 AI(ML/DL) 모델의 입력으로 대량의 실시간 영상/이미지 데이터를 전달하는 메세지 큐로 사용하기 위하여, Drone/제조공정 등의 장비에서 전송된 이미지를 얼마나 빨리 AI Model로 전달 할 수 있는지 확인하기 위함.
그래서 Kafka에서 이미지를 전송하는 간단한 테스트를 진행하였고,
이 과정에서 latency를 얼마나 줄여주는지를 확인해 보았다.(HTTP 프로토콜/Socket과 비교하여)
[현재 까지 결론]
- Apache Kafka는 대량의 요청 처리를 위한 throughtput에 최적화 된 솔루션임.
- 현재는 producer의 몇가지 옵션만 조정하여 테스트한 결과이므로,
- 잠정적인 결과이지만, kafka의 latency를 향상을 위해서는 많은 시도가 필요할 것 같음.
- 즉, 단일 요청의 latency는 확실히 느리지만,
- 대량의 처리를 기준으로 평균 latency를 비교하면 평균적인 latency는 많이 낮아짐.
Test Code : https://github.com/freepsw/kafka-latency-test
이준영 (현 소프트웨어인라이프 연구원)
OpenShfit와 CSB.IO
인프라 비용을 절감하고 애플리케이션 개발속도를 향상 시킬 수 있는 방안으로 PaaS와 레드햇의 오픈 소스 솔루션인 OpenShift에 대하여 설명한다.
그리고, CSB.IO와 OpenShift의 미래 모습에 대해서도 소개한다.
- The Cloud Life Seminar 2014 발표 내용
Terraform을 기반한 AWS 기반 대규모 마이크로서비스 인프라 운영 노하우 - 이용욱, 삼성전자 :: AWS Summit Seoul ...Amazon Web Services Korea
Terraform을 기반한 AWS 기반 대규모 마이크로서비스 인프라 운영 노하우
이용욱, 삼성전자
EC2 및 ECS/EKS 등 다양한 컴퓨팅 환경 및 다양한 AWS 서비스를 활용하는 수십 종의 Microservice로 구성된 대규모 서비스 인프라를 Terraform 모듈을 이용하여 구성하고, 이를 원활하게 운영 관리하기 위해 필요한 terraform코드 구성 방법 및 Kitchen을 이용한 terraform 코드 테스팅 경험을 공유합니다.
[야생의 땅: 듀랑고] 서버 아키텍처 - SPOF 없는 분산 MMORPG 서버Heungsub Lee
NDC14에서 발표한 "[야생의 땅: 듀랑고] 서버 아키텍처" 세션의 슬라이드입니다.
슬라이드에 설명이 많지 않은데, 디스이즈게임에서 발표 내용을 잘 정리해주었습니다. 기사도 함께 보시면 좋을 것 같습니다.
http://www.thisisgame.com/webzine/news/nboard/4/?n=54955
5. About
Me
• 두살배기 딸아이의 아빠
• 자바 및 성능 엔지니어
• 저자
• 자바 성능을 결정짓는 코딩 습관과 튜닝 이야기, 자바 개발자도 쉽고 즐겁게 배우는 테스팅 이야기, 자바 개발자와 시스템 운영자를 위한 트러블 슈팅 이야기
• 강사
• 성능 테스트, 자바 튜닝, 자바 GC 튜닝,
자바 트러블 슈팅 등등
7. About
ApacheCon
• 11/7~8
• Training (Not Free)
• Hackathon
• 11/9~11 : Sessions & Meet up
• 11/8, 12 : BarCamp
8. Special
Events
• Hackathon
• Hack
+
Marathon
• BarCamp
Apache
• Share
and
learn
in
a
open
environment
• The
Fast
Feather
Track
• 20
min
session
about
new
technology
• Lightning
Talks
• Free
5
min
talk
9. Sessions
• Session
• Each
talk
is
50
min
• Speaker
:
Apache
Committers
• Over
80
sessions
17. Apache
Incubator
• 그렇다면
나도
Apache
Incubator에
내가
만든것을
올릴
수
있을까?
• 네
가능하죠.
(영어만
잘하면...)
• 다른
사람도
관심이
있는
주제라면~
18. Apache
Incubator
• 관심있는
Apache
Incubator
프로젝
트가
있는데
나도
Committer가
될수
있을까?
• 네
가능한거
같아요.
(영어만
잘하
면...)
• 모든
인큐베이터에서는
지원자를
모
집한다고...
19. Trend
of
Apache
Projects
• 새로
만들어지는
Core
프로젝트
보다
는
조합된
프로젝트가
많았음.
• 여기서
Core프로젝트는
Tomcat,
httpd,
Hadoop,
ZooKeeper와
같이
기반이
되는
프로젝트를
말함.
• Rave,
Kafka,
Wookie등
23. Apache
httpd
2.4
• Overview
• Improvements
• Reverse
proxy
improvements
• Release
date
• Currently
in
final
beta
release
24. Apache
httpd
2.4
• What’s
new
?
• Bandwidth
control
is
standard
• Finer
timeout
control
• Finer
logging
control
• Support
for
async
I/O
• Embedded
Admin
25. Apache
httpd
2.4
• Reverse
Proxy
Improvements
• Supports
FastCGI,
SCGI
in
balancer
• Additional
load
balancing
mechanisms
• Runtime
changing
of
clusters
w/o
restarts
• Support
for
dynamic
configuration
27. Apache
Traffic
server
• What’s
Apache
Traffic
server
?
• incubating
• Fast,
scalable
and
extensible
HTTP/1.1
compliant
caching
proxy
server
• Formerly
a
commercial
product,
Yahoo!
donated
it
to
the
Apache
Foundation
32. Apache
Traffic
server
“If you are not using SSDs, you are wasting your
life”
Artur Bergman
“If you are not using a caching proxy server, you
are wasting your SSDs”
me == Apache Traffic Server committer
39. Rave
• What’s
Rave
?
(incubating)
• Lightweight
and
extensible
Web
and
Social
Mashup
engine
• To
host,
serve
and
aggregate
Gadgets,
Widgets
and
general
(social)
network
and
web
services
with
customizable
Web
2.0
53. Tomcat
Meet
up
• 참석
인원
• Hadoop의
경우
30
명
정도
참가
• Tomcat의
경우
10명
남짓
참가
• Committer
5,
Attendee
5
• 뭘
했나?
• Web
Socket
프로젝트
관련
협의
➜
각자
자기
소개
➜
열띈
협의
및
종료
54. Tomcat
Meet
up
• 본인
소개시
별
관심
없었음
• 회사의
규모에
대해서
살짝
이야기하
자
관심
급상승
• 그
다음에
Tomcat
관련
이슈들을
이야기하자
모두
관심있게
생각하고
답변해
줬음
55. Tomcat
Meet
up
• 나의
마지막
질문
-‐
Tomcat
8은
언제
나오냐?
• 그제서야
Servlet
3.1
Spec
살펴
봤음.
• JDK
7에
최적화
된
Tomcat
임.
• Release
예상
:
2013년
?
56. Tomcat
Meet
up
• Tomcat
committer
지원을
받았음.
• 등록자는
25명
내외지만,
실제
참여
자는
10명
남짓
• Meet
up
끝난
후에
일본
커미터와
저
녁을
먹었는데...
• 50
번
try
끝에
합격
되었다고
함.