O documento discute a aplicação de arquitetura baseada em eventos e microserviços usando Kafka para resolver os desafios de um gestor financeiro pessoal. Ele explica como Kafka permite a comunicação assíncrona e de baixo acoplamento entre microserviços, permitindo que eles processem grandes volumes de dados de forma escalonável e tolerante a falhas.

1. Globalcode – Open4education
Microservices – Aplicando Event Driven Architecture
com microserviços e Kafka
Davi de Lima Gardin / Fabio Margarito
Arquitetura de solução

2. Globalcode – Open4education
Agenda
Recapitulando Microserviços
The case “Gestor Financeiro”
Aplicando Microserviços/Event Driven Architecture para a solução do problema
Utilizando o Kafka como peça que habilita (EDA)
Fechando

3. Globalcode – Open4education
Recapitulando Microserviços

4. Globalcode – Open4education
Microserviço é um estilo arquitetural, uma abordagem para desenvolver uma única aplicação como um
conjunto de “pequenos serviços”, cada serviço rodando em seu próprio processo e comunicando entre
eles através de um protocolo leve, frequentemente construção de APIs (Interface de programação de
aplicações) sobre HTTP.
Definição

5. Globalcode – Open4education
o Componentização via serviços
o Organizado em torno de capacidades de negócio
o Produtos e não projetos
o Endpoints inteligentes e fluxo de comunicação simples
o Governança descentralizada
o Governança de dados descentralizada
o Automação de infraestrutura
o Projetar para falha
o Projeto evolucionário
Características

6. Globalcode – Open4education
o Componentização via serviços
o Organizado em torno de capacidades de negócio
o Produtos e não projetos
o Endpoints inteligentes e fluxo de comunicação simples
o Governança descentralizada
o Governança de dados descentralizada
o Automação de infraestrutura
o Projetar para falha
o Projeto evolucionário
Características

7. Globalcode – Open4education
Premissas  Nossa Visão
Pré-requisitos  Nossa visão
1. Cloud Native
2. Monitoramento
3. DevSecOps
4. Domain Driven Design
1.Bounded Context
5. Cultura Organizacional
1.Mudança na forma de organizar os times – Conways Law

8. Globalcode – Open4education
Premissas  Nossa Visão
Pré-requisitos  Nossa visão
1. Cloud Native
2. Monitoramento
3. DevSecOps
4. Domain Driven Design
1.Bounded Context
5. Cultura Organizacional
1.Mudança na forma de organizar os times – Conways Law

9. Globalcode – Open4education
The case “Gestor Financeiro”

10. Globalcode – Open4education
O Problema
Construir um gestor financeiro pessoal para o Cliente objetivando:
1. Melhorar a experiência do usuário
2. Criando uma ”categorizar” automaticamente de cada lançamento
3. Diminuindo o consumo de MIP’s através de Offload de dados do
Mainframe

11. Globalcode – Open4education
O Problema
Construir um gestor financeiro pessoal para o Cliente objetivando:
1. Melhorar a experiência do usuário

12. Globalcode – Open4education
O Problema
Construir um gestor financeiro pessoal para o Cliente objetivando:
2. Criando uma ”categorizar” automaticamente de cada lançamento

13. Globalcode – Open4education
O Problema
Construir um gestor financeiro pessoal para o Cliente objetivando:
3. Diminuindo o consumo de MIP’s através de Offload de dados do
Mainframe

14. Globalcode – Open4education
Desafio
1. 59 milhões de contas.
2. 70 milhões de lançamentos Batch e 40 milhões de lançamento On-Line
3. 60 GB de dados diários de carga de dados Batch
4. 15 minutos de janela para processamento batch
5. Manter a mesma arquitetura para Batch e OnLine
6. Efetuar repacking do texto do da literal do extrato
7. Categorizar automaticamente para o cliente
8. Democratização dos dados

15. Globalcode – Open4education
Old Fashion

16. Globalcode – Open4education
Aplicando Microserviços para a
solução do problema

17. Globalcode – Open4education
Certo

18. Globalcode – Open4education
Certo? Conway’s Law

19. Globalcode – Open4education
Request / Response

20. Globalcode – Open4education
Request / Response
ACOPLAMENTO
REDUÇÃO DE REQUISIÇÕES

21. Globalcode – Open4education
Event Driven way
É um padrão de arquitetura de software promovendo a produção, detecção, consumo e reação a eventos
Características:
“Real time”
Assíncrono
Reação imediata
Informacionais
Vantagens:
Baixo acoplamento
Arquitetura flexível
Performance / Escalabilidade
Desvantagens:
Complexidade

22. Globalcode – Open4education
1 - Pedir
Café
2 – Efetuar a
cobrança
3 – Preparar o
café
4 – Receber o
café

23. Globalcode – Open4education
Estratégia Event Driven

24. Globalcode – Open4education
Estratégia Event Driven

25. Globalcode – Open4education
Visão de Deploy

26. Globalcode – Open4education
Utilizando o Kafka como peça
que habilita Event Driven

27. Globalcode – Open4education
O que é Kafka?
Uma plataforma de streaming(transmissão) distribuído
Características:
Persistência de mensagens
Alto throughput (LinkedIn > 1 trilhão de eventos)
Fault-tolerant
Sequência de mensagens ordenadas(log)

28. Globalcode – Open4education
O que é Kafka?
Uma plataforma de streaming(transmissão) distribuído

29. Globalcode – Open4education
O que é Kafka?
Uma plataforma de streaming(transmissão) distribuído

30. Globalcode – Open4education
O que é Kafka?
Uma plataforma de streaming(transmissão) distribuído

31. Globalcode – Open4education
Demo

32. Globalcode – Open4education
FECHANDO

33. Globalcode – Open4education
O que aprendemos ?
1. A cultura engole a inovação, seja persistente
1. Utilize Microserviços e arquitetura baseada em eventos, se realmente
houver a necessidade, pois a complexidade é grande
2. Prática do Domain Driven Design foi fundamental para modelar os
serviços
3. Sempre necessário um objetivo claro e um case

34. Globalcode – Open4education
O que vem pela frente?
1. Governança de Microservices
2. Service Discovery
3. Conteinerização
4. Governança do eventos / Linhagem / Democratização de dados
5. Segurança (Producer / Consumer)
6. Kafka como HUB central de dados
7. Consumidores Idempotentes

35. Globalcode – Open4education
Referências
Microservices
1. https://martinfowler.com/articles/microservices.html
2. https://en.wikipedia.org/wiki/Conway%27s_law
Cloud Native
1. https://12factor.net/pt_br/
Event Driven Architecture
1. https://www.confluent.io/blog/build-services-backbone-events/
Kafka
1. https://kafka.apache.org/documentation/
2. https://www.confluent.io/blog/stream-data-platform-1/

36. Globalcode – Open4education
> Obrigado ;-)
Davi Gardin
davi.gardin@gmail.com
Fabio Margarito
fabiomargarito@gmail.com
Twitter: @fabiomargarito