아파치 카프카 입문과 활용 강의자료

•

6 likes•3,574 views

원

https://github.com/AndersonChoi/tacademy-kafka Apache Kafka는 대용량 실시간 로그처리에 특화된 분산 메시징 시스템으로, 대용량/대규모의 스트리밍 메시지 데이터를 빠르게 처리하도록 개발되었습니다. 이번 강의에서는 Kafka Producer/Consumer 등 기본 개념을 익히고, 설치부터 기본적인 애플리케이션 개발 실습을 통해 빅데이터 파이프라인에서 Kafka가 어떤 핵심적인 역할을 수행하는 지 알아보는 시간을 갖습니다.

Technology

오늘날 빅데이터 분석, 처리부터 모든 개발 플랫폼을 연결해주는 카프카의 등장 배경과 의미를 살펴보고, 실무에서 적용한 경험을 바탕으로 적절한 카프카 사용 사례를 정비해 보겠습니다. 또한 카프카의 내부 구동 방식에 대하여 소개하는 시간을 갖겠습니다. 마지막으로 실무에서 카프카를 운영하면서 경험한 구성, 운영 및 모니터링 등 경험을 공유하는 시간입니다. (by. 카카오 고승범) * 본 세션은 “입문자/초급자/중급자” 분들께 두루 적합한 세션입니다.

ksqlDB로 실시간 데이터 변환 및 스트림 처리

confluent

카프카, 산전수전 노하우

if kakao

고승범(peter.ko) / kakao corp.(인프라2팀) --- 카카오에서는 빅데이터 분석, 처리부터 모든 개발 플랫폼을 이어주는 솔루션으로 급부상한 카프카(kafka)를 전사 공용 서비스로 운영하고 있습니다. 전사 공용 카프카를 직접 운영하면서 경험한 트러블슈팅과 운영 노하우 등을 공유하고자 합니다. 특히 카프카를 처음 접하시는 분들이나 이미 사용 중이신 분들이 많이 궁금해하는 프로듀서와 컨슈머 사용 시의 주의점 등에 대해서도 설명합니다.

[오픈소스컨설팅] EFK Stack 소개와 설치 방법

Open Source Consulting

Amazon OpenSearch Deep dive - 내부구조, 성능최적화 그리고 스케일링

Amazon Web Services Korea

OpenSearch는 배포형 오픈 소스 검색과 분석 제품군으로 실시간 애플리케이션 모니터링, 로그 분석 및 웹 사이트 검색과 같이 다양한 사용 사례에 사용됩니다. OpenSearch는 데이터 탐색을 쉽게 도와주는 통합 시각화 도구 OpenSearch와 함께 뛰어난 확장성을 지닌 시스템을 제공하여 대량 데이터 볼륨에 빠르게 액세스 및 응답합니다. 이 세션에서는 실제 동작 구조에 대한 설명을 바탕으로 최적화를 하기 위한 방법과 운영상에 발생할 수 있는 이슈에 대해서 알아봅니다.

차곡차곡 쉽게 알아가는 Elasticsearch와 Node.js

HeeJung Hwang

오픈소스 검색엔진인 Elasticsearch 어떻게 저장하고 조회하는지 검색엔진의 개념에 대해서 간단히 살펴보고, Node.js 로 구현된 아주 간단한 예제를 소개합니다. - 검색엔진과 Elasticsearch 소개 - Elasticsearch에서의 색인 - Elasticsearch에서의 조회 - Node.js 로 구현된 예제 소개 * 자바카페 자바카페 페이스북 : https://www.facebook.com/groups/javacafe/ 자바카페 기술 블로그 : http://tech.javacafe.io/

대량의 트랜잭션을 빠르고 유연하게 처리하기 위해서는, 데이터 처리 및 저장 방식에 대한 변화를 고려해야 합니다. 본 세션에서는 어플리케이션이 요구하는 다양한 사용 패턴 및 성능 요구사항을 살펴보고, NoSQL(Elasticache Redis, DynamoDB)을 기반으로 이를 효율적으로 처리하기 위한 디자인 및 쿼리 패턴을 포함한 기술적 고려사항을 알아봅니다.

GitLab과 Kubernetes를 통한 CI/CD 구축

철구 김

이벤트 기반 분산 시스템을 향한 여정

Arawn Park

배민찬(https://www.baeminchan.com) 서비스의 백엔드 시스템 중 일부가 지난 1년간 어떤 고민과 아이디어, 결과물을 만들어냈는지 공유하려고 합니다. 발표 중 언급되는 용어나 도구에 대해 일반적인 정의나 간단한 설명은 언급되나 자세히 다루지 않습니다. 사용된 도구들로 어떻게 이벤트 기반 분산 시스템을 만들었는지에 대한 이야기가 중심입니다.

Kafka Intro With Simple Java Producer Consumers

Jean-Paul Azar

Apache kafka performance(throughput) - without data loss and guaranteeing dat...

SANG WON PARK

Apache Kafak의 성능이 특정환경(데이터 유실일 발생하지 않고, 데이터 전송순서를 반드시 보장)에서 어느정도 제공하는지 확인하기 위한 테스트 결과 공유 데이터 전송순서를 보장하기 위해서는 Apache Kafka cluster로 partition을 분산할 수 없게되므로, 성능향상을 위한 장점을 사용하지 못하게 된다. 이번 테스트에서는 Apache Kafka의 단위 성능, 즉 partition 1개에 대한 성능만을 측정하게 된다. 향후, partition을 증가할 경우 본 테스트의 1개 partition 단위 성능을 기준으로 예측이 가능할 것 같다.

Consumer offset management in Kafka

Joel Koshy

Elastic Stack & Data pipeline

Jongho Woo

Introduction to ELK

YuHsuan Chen

Manage Add-On Services with Apache Ambari

DataWorks Summit

Cutting-edge Hadoop clusters are bound to need custom (add-on) services that are not available in the Hadoop distribution of their choice. Agility is crucial for companies to integrate any service into existing large-scale Hadoop clusters with ease. Apache Ambari manages the Hadoop cluster and solves this problem by extending the stack with add-on services, which can be a new Apache project, different Hadoop file system, or internal tool. This talk covers how to create a service definition in Ambari to manage lifecycle commands and configs, plus advanced topics like packaging, installing from multiple repositories, recommending and validating configs using Service Advisor, running custom commands, defining dependencies on configs and other services, and more. We will also cover how to create custom metrics and dashboards using Ambari Metric System and Grafana, generating alerts, and enabling security by authenticating with Kerberos. Further, we will discuss the future of service definitions and how Ambari 3.0 will support custom services through Management Packs to enable Hadoop vendors to release software faster. Speaker Jayush Luniya, Principal Software Engineer, Hortonworks

Kafka 101

Aparna Pillai

AWS로 사용자 천만 명 서비스 만들기 (윤석찬)- 클라우드 태권 2015

Amazon Web Services Korea

AWS 클라우드를 활용하면 사용자의 트래픽에 따라 IT 인프라 아키텍처를 확장할 수 있습니다. 이번 강연에서는 서비스 초기의 작은 트래픽에 대응할 수 있는 단순한 아키텍처로 시작해 사업 성장 후의 수백만 사용자에 달하는 대규모 트래픽을 지탱할 수 있는 고확장성 아키텍처에 이르기까지의 단계별 아키텍처 구성 방법에 대해 소개해 드리고 컴퓨팅 및 데이터베이스 선택 및 사용자 증가에 따른 트래픽 경감 방법, 오토스케일링 및 모니터링과 자동화, DB 부하 분산, 고가용성 확보 등에 대한 다양한 모범사례를 알려드릴 예정입니다.

Kafka monitoring using Prometheus and Grafana

wonyong hwang

[Confluent] 실시간 하이브리드, 멀티 클라우드 데이터 아키텍처로 빠르게 혀...

confluent

[오픈소스컨설팅] 프로메테우스 모니터링 살펴보고 구성하기

Ji-Woong Choi

기존에 저희 회사에서 사용하던 모니터링은 Zabbix 였습니다. 컨테이너 모니터링 부분으로 옮겨가면서 변화가 필요하였고, 이에 대해서 프로메테우스를 활용한 모니터링 방법을 자연스럽게 고민하게 되었습니다. 이에 이영주님께서 테크세션을 진행하였고, 이에 발표자료를 올립니다. 5개의 부분으로 구성되어 있으며, 세팅 방법에 대한 내용까지 포함합니다. 01. Prometheus? 02. Usage 03. Alertmanager 04. Cluster 05. Performance

Wait! What’s going on inside my database?

Jeremy Schneider

PostgreSQL 9.6 introduced wait events and PostgreSQL 10 progressed them, but what are they? What do they mean? How do I find them and how do I make them go away? Wait events are one of the most significant advancements in observability for PostgreSQL databases; their usefulness is unparalleled in troubleshooting performance. This talk will go into all that and more as we explore the world of PostgreSQL wait events.

webservice scaling for newbie

DaeMyung Kang

우아한 객체지향

Young-Ho Cho

[XECon2016] A-4 조정현 GitHub + Jenkins + Docker로 자동배포 시스템 구축하기

XpressEngine

Rich domain modelYoung-Ho Cho