SlideShare a Scribd company logo
1 of 16
Copyright © 2014 Splunk Inc.
Ricardo Lazaro – Software Engineer na 99Taxis
Agilidade e Informação
2
Agenda
• Sobre a 99Taxis
• Desafios que levaram ao Splunk
• Troubleshooting: análise de errors / performance
• Monitoramento de métricas de sistema
• Monitoramento de métricas de negócio
3
Agenda
• Sobre a 99Taxis
• Desafios que levaram ao Splunk
• Troubleshooting: análise de errors / performance
• Monitoramento de métricas de sistema
• Monitoramento de métricas de negócio
Drag image to add client logo
4
 Aplicativo líder nacional para chamar táxi
 Aplicativo melhor avaliado na categoria transporte –
mundo!
 Disponível para iOS, Android e WP
 Presente em mais de 300 cidades
 100k+ taxistas cadastrados
 20M+ corridas realizadas
 2M+ corridas/mês
 400k+ requisições por minuto
5
Ricardo Lazaro
• Formado em ciências da computação – turma 2002 USP
• Programador Scala, Java, Ruby
• Adepto ao “Keep it simple”
• Atende ao nome de Ricardo, Lazaro e Jack!
6
Troubleshooting
• Empresa ~= 1 máquina rodando
• O que aconteceu com essa chamada de táxi? “hum...Let's grep it”
Pouco mais de um ano atrás
7
Troubleshooting
10+ sistemas interconectados
Impossível entrar em todos os sistemas/todas as máquina/todos os arquivos
Cada aplicação contendo de 3 a n máquinas
~100GB de logs por dia
O que aconteceu com essa chamada de táxi? X...
hoje
8
Troubleshooting
10+ sistemas interconectados
Impossível entrar em todos os sistemas/todas as máquina/todos os arquivos
Cada aplicação contendo de 3 a n máquinas
~100GB de logs por dia
O que aconteceu com essa chamada de táxi? X...
hoje
9
Splunk
• Centralizando logs: Todas as máquinas da 99Taxis conectadas ao splunk
Benefícios:
• Busca cross-system: Possibilidade de acompanhar o ciclo de cada requisição,
passando por diferentes sistemas, independente da máquina
• Unificação de busca: Splunk search language para qualquer sistema
• Busca temporal: o que aconteceu em HH:mm:ss.SSS?...easy!
• Monitoramento/Alarmes unificados
10
Splunk Enterprise na 99Taxis
Forwarder- Linux Forwarder- Linux Forwarder- Linux Forwarder- Linux
11
Exemplo busca
Cross System Search
12
Monitoramento/Dashboards
“Overview de métricas importantes praticamente real time, conta com inúmeros gráficos: como se você tivesse
contratado um time inteiro, só que usando 2, 3 cliques.”
13
Monitoramento/Inteligência/ABC...Test
Como testar que algoritmo é melhor? (por dia/hora/estado/cidade/....)
( ) Contratar engenheiros da Nasa e juntar n bases de dados
(V) Splunk, com instruções tão simples quanto … | stats count by city version ...
15
Benefícios
• Visibilidade sobre comportamento de ambos, sistemas e processos
• Não trabalhamos com suposições - olhamos gráficos
• Agilidade no entendimento e solução de problemas
Agilidade em tomadas de decisão – testes ABC...
Foco 100% no negócio, com bootstrap simplificado e de baixa
manutenção
16
Próximos passos
• Deixar o Splunk ainda mais próximo do time de BI, usando apps como
db connector para relacionar dados de banco com dados de log
• Usar API para exportar principalmente métricas realtime para taxistas e
passageiros
• Segunrança
• Outros...
FIM!!

More Related Content

What's hot

What's hot (7)

Elastic @ The Ministry of Health/Datasus (P)
Elastic @ The Ministry of Health/Datasus (P)Elastic @ The Ministry of Health/Datasus (P)
Elastic @ The Ministry of Health/Datasus (P)
 
Processamento e Análise de Dados em Tempo Real com Python, Kafka e ElasticSearch
Processamento e Análise de Dados em Tempo Real com Python, Kafka e ElasticSearchProcessamento e Análise de Dados em Tempo Real com Python, Kafka e ElasticSearch
Processamento e Análise de Dados em Tempo Real com Python, Kafka e ElasticSearch
 
Processamento e Análise de Dados em Tempo Real com Kafka, ElasticSearch e PyS...
Processamento e Análise de Dados em Tempo Real com Kafka, ElasticSearch e PyS...Processamento e Análise de Dados em Tempo Real com Kafka, ElasticSearch e PyS...
Processamento e Análise de Dados em Tempo Real com Kafka, ElasticSearch e PyS...
 
Stream de dados e Data Lake com Debezium, Delta Lake e EMR
Stream de dados e Data Lake com Debezium, Delta Lake e EMRStream de dados e Data Lake com Debezium, Delta Lake e EMR
Stream de dados e Data Lake com Debezium, Delta Lake e EMR
 
Big Data na prática: como construir um Data Lake para análise de dados
Big Data na prática: como construir um Data Lake para análise de dadosBig Data na prática: como construir um Data Lake para análise de dados
Big Data na prática: como construir um Data Lake para análise de dados
 
Big Data e seu fiel companheiro Spark
Big Data e seu fiel companheiro SparkBig Data e seu fiel companheiro Spark
Big Data e seu fiel companheiro Spark
 
IoT Frameworks
IoT FrameworksIoT Frameworks
IoT Frameworks
 

Viewers also liked

Splunk live introdução
Splunk live introduçãoSplunk live introdução
Splunk live introdução
Splunk
 
BVMF and Splunk
BVMF and SplunkBVMF and Splunk
BVMF and Splunk
Splunk
 
Entendendo o Uber: Histórico, Serviços, Modelo de Negócio, Tarifas
Entendendo o Uber: Histórico, Serviços, Modelo de Negócio, TarifasEntendendo o Uber: Histórico, Serviços, Modelo de Negócio, Tarifas
Entendendo o Uber: Histórico, Serviços, Modelo de Negócio, Tarifas
Magda Rêgo Barros
 
Splunk live produban
Splunk live produbanSplunk live produban
Splunk live produban
Splunk
 
SplunkLive! São Paulo 2014 - Overview by markus zirn
SplunkLive! São Paulo 2014 -  Overview by markus zirnSplunkLive! São Paulo 2014 -  Overview by markus zirn
SplunkLive! São Paulo 2014 - Overview by markus zirn
Splunk
 
Splunk live! Inteligência operacional em um mundo de bigdata
Splunk live! Inteligência operacional em um mundo de bigdataSplunk live! Inteligência operacional em um mundo de bigdata
Splunk live! Inteligência operacional em um mundo de bigdata
Splunk
 

Viewers also liked (11)

Splunk live introdução
Splunk live introduçãoSplunk live introdução
Splunk live introdução
 
Deploying Splunk. Arquitetura e dimensionamento do Splunk
Deploying Splunk. Arquitetura e dimensionamento do SplunkDeploying Splunk. Arquitetura e dimensionamento do Splunk
Deploying Splunk. Arquitetura e dimensionamento do Splunk
 
Visibilidade de negócios em impressão de nota fiscal
Visibilidade de negócios em impressão de nota fiscalVisibilidade de negócios em impressão de nota fiscal
Visibilidade de negócios em impressão de nota fiscal
 
BVMF and Splunk
BVMF and SplunkBVMF and Splunk
BVMF and Splunk
 
Vtex - Splunk live! 2014 São Paulo
Vtex - Splunk live! 2014 São Paulo Vtex - Splunk live! 2014 São Paulo
Vtex - Splunk live! 2014 São Paulo
 
Entendendo o Uber: Histórico, Serviços, Modelo de Negócio, Tarifas
Entendendo o Uber: Histórico, Serviços, Modelo de Negócio, TarifasEntendendo o Uber: Histórico, Serviços, Modelo de Negócio, Tarifas
Entendendo o Uber: Histórico, Serviços, Modelo de Negócio, Tarifas
 
Splunk live produban
Splunk live produbanSplunk live produban
Splunk live produban
 
Caso de Sucesso Vodafone e Splunk
Caso de Sucesso Vodafone e SplunkCaso de Sucesso Vodafone e Splunk
Caso de Sucesso Vodafone e Splunk
 
Exxon - SplunkLive! São Paulo 2015
Exxon - SplunkLive! São Paulo 2015Exxon - SplunkLive! São Paulo 2015
Exxon - SplunkLive! São Paulo 2015
 
SplunkLive! São Paulo 2014 - Overview by markus zirn
SplunkLive! São Paulo 2014 -  Overview by markus zirnSplunkLive! São Paulo 2014 -  Overview by markus zirn
SplunkLive! São Paulo 2014 - Overview by markus zirn
 
Splunk live! Inteligência operacional em um mundo de bigdata
Splunk live! Inteligência operacional em um mundo de bigdataSplunk live! Inteligência operacional em um mundo de bigdata
Splunk live! Inteligência operacional em um mundo de bigdata
 

Similar to 99 Taxi - SplunkLive! São Paulo 2015

Guia para inteligência operacional
Guia para inteligência operacionalGuia para inteligência operacional
Guia para inteligência operacional
Splunk
 
Eiti Kimura - Analisador de dados automatizado utilizando machine learning
Eiti Kimura - Analisador de dados automatizado utilizando machine learningEiti Kimura - Analisador de dados automatizado utilizando machine learning
Eiti Kimura - Analisador de dados automatizado utilizando machine learning
DevCamp Campinas
 
Planejamento E Gerenciamento de Capacidade Para Sistemas Distribuídos
Planejamento E Gerenciamento de Capacidade Para Sistemas DistribuídosPlanejamento E Gerenciamento de Capacidade Para Sistemas Distribuídos
Planejamento E Gerenciamento de Capacidade Para Sistemas Distribuídos
Rodrigo Campos
 
Planejamento e Gerenciamento de Capacidade para Sistemas Distribuídos
Planejamento e Gerenciamento de Capacidade para Sistemas DistribuídosPlanejamento e Gerenciamento de Capacidade para Sistemas Distribuídos
Planejamento e Gerenciamento de Capacidade para Sistemas Distribuídos
luanrjesus
 
Fábrica de Software da Procempa - Palestra no 6o Fórum Internacional Software...
Fábrica de Software da Procempa - Palestra no 6o Fórum Internacional Software...Fábrica de Software da Procempa - Palestra no 6o Fórum Internacional Software...
Fábrica de Software da Procempa - Palestra no 6o Fórum Internacional Software...
Éberli Cabistani Riella
 
Financial services overview and customer (2014)
Financial services   overview and customer (2014)Financial services   overview and customer (2014)
Financial services overview and customer (2014)
Sidnir Vieira
 
Planejamento de Capacidade Técnicas e Ferramentas
Planejamento de Capacidade Técnicas e FerramentasPlanejamento de Capacidade Técnicas e Ferramentas
Planejamento de Capacidade Técnicas e Ferramentas
luanrjesus
 

Similar to 99 Taxi - SplunkLive! São Paulo 2015 (20)

Transformando Grandes Volumes de Dados em Insight em Tempo Real usando Fast D...
Transformando Grandes Volumes de Dados em Insight em Tempo Real usando Fast D...Transformando Grandes Volumes de Dados em Insight em Tempo Real usando Fast D...
Transformando Grandes Volumes de Dados em Insight em Tempo Real usando Fast D...
 
Introdução Splunk Brasil
Introdução Splunk BrasilIntrodução Splunk Brasil
Introdução Splunk Brasil
 
Guia para inteligência operacional
Guia para inteligência operacionalGuia para inteligência operacional
Guia para inteligência operacional
 
Eiti Kimura - Analisador de dados automatizado utilizando machine learning
Eiti Kimura - Analisador de dados automatizado utilizando machine learningEiti Kimura - Analisador de dados automatizado utilizando machine learning
Eiti Kimura - Analisador de dados automatizado utilizando machine learning
 
Contr avali engenharia de software-introdução
Contr avali   engenharia de software-introduçãoContr avali   engenharia de software-introdução
Contr avali engenharia de software-introdução
 
EasyTaxi e MongoDB - Showcase
EasyTaxi e MongoDB - ShowcaseEasyTaxi e MongoDB - Showcase
EasyTaxi e MongoDB - Showcase
 
Planejamento E Gerenciamento de Capacidade Para Sistemas Distribuídos
Planejamento E Gerenciamento de Capacidade Para Sistemas DistribuídosPlanejamento E Gerenciamento de Capacidade Para Sistemas Distribuídos
Planejamento E Gerenciamento de Capacidade Para Sistemas Distribuídos
 
Planejamento e Gerenciamento de Capacidade para Sistemas Distribuídos
Planejamento e Gerenciamento de Capacidade para Sistemas DistribuídosPlanejamento e Gerenciamento de Capacidade para Sistemas Distribuídos
Planejamento e Gerenciamento de Capacidade para Sistemas Distribuídos
 
Do monolito aos microserviços com Docker (PHPSP+IMA)
Do monolito aos microserviços com Docker (PHPSP+IMA)Do monolito aos microserviços com Docker (PHPSP+IMA)
Do monolito aos microserviços com Docker (PHPSP+IMA)
 
Fábrica de Software da Procempa - Palestra no 6o Fórum Internacional Software...
Fábrica de Software da Procempa - Palestra no 6o Fórum Internacional Software...Fábrica de Software da Procempa - Palestra no 6o Fórum Internacional Software...
Fábrica de Software da Procempa - Palestra no 6o Fórum Internacional Software...
 
Estaleiro o uso de kubernetes no serpro
Estaleiro   o uso de kubernetes no serproEstaleiro   o uso de kubernetes no serpro
Estaleiro o uso de kubernetes no serpro
 
Financial services overview and customer (2014)
Financial services   overview and customer (2014)Financial services   overview and customer (2014)
Financial services overview and customer (2014)
 
DNAD 2015 - Como a arquitetura emergente de sua aplicação pode jogar contra ...
DNAD 2015  - Como a arquitetura emergente de sua aplicação pode jogar contra ...DNAD 2015  - Como a arquitetura emergente de sua aplicação pode jogar contra ...
DNAD 2015 - Como a arquitetura emergente de sua aplicação pode jogar contra ...
 
Big data para programadores convencionais
Big data para programadores convencionaisBig data para programadores convencionais
Big data para programadores convencionais
 
Big Data como Serviço: da captura à visualização de dados com alto desempenho
Big Data como Serviço: da captura à visualização de dados com alto desempenhoBig Data como Serviço: da captura à visualização de dados com alto desempenho
Big Data como Serviço: da captura à visualização de dados com alto desempenho
 
Planejamento de Capacidade Técnicas e Ferramentas
Planejamento de Capacidade Técnicas e FerramentasPlanejamento de Capacidade Técnicas e Ferramentas
Planejamento de Capacidade Técnicas e Ferramentas
 
Arquitetura de dados em stream - TDC SP 2016
Arquitetura de dados em stream - TDC SP 2016Arquitetura de dados em stream - TDC SP 2016
Arquitetura de dados em stream - TDC SP 2016
 
11 gigas por dia e um milhão de possibilidades (meetup bh)
11 gigas por dia e um milhão de possibilidades (meetup bh)11 gigas por dia e um milhão de possibilidades (meetup bh)
11 gigas por dia e um milhão de possibilidades (meetup bh)
 
Ufs na nuvem gp 2017-2
Ufs na nuvem   gp 2017-2 Ufs na nuvem   gp 2017-2
Ufs na nuvem gp 2017-2
 
Arquitetura de dados em stream
Arquitetura de dados em streamArquitetura de dados em stream
Arquitetura de dados em stream
 

Recently uploaded

Recently uploaded (9)

Programação Orientada a Objetos - 4 Pilares.pdf
Programação Orientada a Objetos - 4 Pilares.pdfProgramação Orientada a Objetos - 4 Pilares.pdf
Programação Orientada a Objetos - 4 Pilares.pdf
 
ATIVIDADE 1 - LOGÍSTICA EMPRESARIAL - 52_2024.docx
ATIVIDADE 1 - LOGÍSTICA EMPRESARIAL - 52_2024.docxATIVIDADE 1 - LOGÍSTICA EMPRESARIAL - 52_2024.docx
ATIVIDADE 1 - LOGÍSTICA EMPRESARIAL - 52_2024.docx
 
ATIVIDADE 1 - CUSTOS DE PRODUÇÃO - 52_2024.docx
ATIVIDADE 1 - CUSTOS DE PRODUÇÃO - 52_2024.docxATIVIDADE 1 - CUSTOS DE PRODUÇÃO - 52_2024.docx
ATIVIDADE 1 - CUSTOS DE PRODUÇÃO - 52_2024.docx
 
Luís Kitota AWS Discovery Day Ka Solution.pdf
Luís Kitota AWS Discovery Day Ka Solution.pdfLuís Kitota AWS Discovery Day Ka Solution.pdf
Luís Kitota AWS Discovery Day Ka Solution.pdf
 
ATIVIDADE 1 - SISTEMAS DISTRIBUÍDOS E REDES - 52_2024.docx
ATIVIDADE 1 - SISTEMAS DISTRIBUÍDOS E REDES - 52_2024.docxATIVIDADE 1 - SISTEMAS DISTRIBUÍDOS E REDES - 52_2024.docx
ATIVIDADE 1 - SISTEMAS DISTRIBUÍDOS E REDES - 52_2024.docx
 
Boas práticas de programação com Object Calisthenics
Boas práticas de programação com Object CalisthenicsBoas práticas de programação com Object Calisthenics
Boas práticas de programação com Object Calisthenics
 
ATIVIDADE 1 - ESTRUTURA DE DADOS II - 52_2024.docx
ATIVIDADE 1 - ESTRUTURA DE DADOS II - 52_2024.docxATIVIDADE 1 - ESTRUTURA DE DADOS II - 52_2024.docx
ATIVIDADE 1 - ESTRUTURA DE DADOS II - 52_2024.docx
 
Padrões de Projeto: Proxy e Command com exemplo
Padrões de Projeto: Proxy e Command com exemploPadrões de Projeto: Proxy e Command com exemplo
Padrões de Projeto: Proxy e Command com exemplo
 
ATIVIDADE 1 - GCOM - GESTÃO DA INFORMAÇÃO - 54_2024.docx
ATIVIDADE 1 - GCOM - GESTÃO DA INFORMAÇÃO - 54_2024.docxATIVIDADE 1 - GCOM - GESTÃO DA INFORMAÇÃO - 54_2024.docx
ATIVIDADE 1 - GCOM - GESTÃO DA INFORMAÇÃO - 54_2024.docx
 

99 Taxi - SplunkLive! São Paulo 2015

  • 1. Copyright © 2014 Splunk Inc. Ricardo Lazaro – Software Engineer na 99Taxis Agilidade e Informação
  • 2. 2 Agenda • Sobre a 99Taxis • Desafios que levaram ao Splunk • Troubleshooting: análise de errors / performance • Monitoramento de métricas de sistema • Monitoramento de métricas de negócio
  • 3. 3 Agenda • Sobre a 99Taxis • Desafios que levaram ao Splunk • Troubleshooting: análise de errors / performance • Monitoramento de métricas de sistema • Monitoramento de métricas de negócio
  • 4. Drag image to add client logo 4  Aplicativo líder nacional para chamar táxi  Aplicativo melhor avaliado na categoria transporte – mundo!  Disponível para iOS, Android e WP  Presente em mais de 300 cidades  100k+ taxistas cadastrados  20M+ corridas realizadas  2M+ corridas/mês  400k+ requisições por minuto
  • 5. 5 Ricardo Lazaro • Formado em ciências da computação – turma 2002 USP • Programador Scala, Java, Ruby • Adepto ao “Keep it simple” • Atende ao nome de Ricardo, Lazaro e Jack!
  • 6. 6 Troubleshooting • Empresa ~= 1 máquina rodando • O que aconteceu com essa chamada de táxi? “hum...Let's grep it” Pouco mais de um ano atrás
  • 7. 7 Troubleshooting 10+ sistemas interconectados Impossível entrar em todos os sistemas/todas as máquina/todos os arquivos Cada aplicação contendo de 3 a n máquinas ~100GB de logs por dia O que aconteceu com essa chamada de táxi? X... hoje
  • 8. 8 Troubleshooting 10+ sistemas interconectados Impossível entrar em todos os sistemas/todas as máquina/todos os arquivos Cada aplicação contendo de 3 a n máquinas ~100GB de logs por dia O que aconteceu com essa chamada de táxi? X... hoje
  • 9. 9 Splunk • Centralizando logs: Todas as máquinas da 99Taxis conectadas ao splunk Benefícios: • Busca cross-system: Possibilidade de acompanhar o ciclo de cada requisição, passando por diferentes sistemas, independente da máquina • Unificação de busca: Splunk search language para qualquer sistema • Busca temporal: o que aconteceu em HH:mm:ss.SSS?...easy! • Monitoramento/Alarmes unificados
  • 10. 10 Splunk Enterprise na 99Taxis Forwarder- Linux Forwarder- Linux Forwarder- Linux Forwarder- Linux
  • 12. 12 Monitoramento/Dashboards “Overview de métricas importantes praticamente real time, conta com inúmeros gráficos: como se você tivesse contratado um time inteiro, só que usando 2, 3 cliques.”
  • 13. 13 Monitoramento/Inteligência/ABC...Test Como testar que algoritmo é melhor? (por dia/hora/estado/cidade/....) ( ) Contratar engenheiros da Nasa e juntar n bases de dados (V) Splunk, com instruções tão simples quanto … | stats count by city version ...
  • 14. 15 Benefícios • Visibilidade sobre comportamento de ambos, sistemas e processos • Não trabalhamos com suposições - olhamos gráficos • Agilidade no entendimento e solução de problemas Agilidade em tomadas de decisão – testes ABC... Foco 100% no negócio, com bootstrap simplificado e de baixa manutenção
  • 15. 16 Próximos passos • Deixar o Splunk ainda mais próximo do time de BI, usando apps como db connector para relacionar dados de banco com dados de log • Usar API para exportar principalmente métricas realtime para taxistas e passageiros • Segunrança • Outros...
  • 16. FIM!!