Monitoração de Infraestrutura e Serviços - Sensu

1. Monitoramento de Infraestrutura e Serviços – Sensu 05/08/2015 Roberto Scudeller roberto.scudeller@oi.net.br beto.rvs@gmail.com

2. Monitoramento de Infraestrutura e Serviços – Sensu Objetivos: ● Atualizar a ferramenta; ● Geração de gráficos; ● Compartilhar a função de monitoramento com todas as equipes; ● Abertura automática de incidentes; ● Integração com Gerenciamento de configurações; ● Envio em multiplos canais de comunicação se algo não “vai bem”.

3. Monitoramento de Infraestrutura e Serviços – Sensu ● Sem cluster ativo-ativo (não é fácil ativo passivo); ● Restart após adicionar um host; ● Difícil de manejar e configurar; ● Nagios Master executa os checks; ● Primeira versão em 14/03/1999;

4. Monitoramento de Infraestrutura e Serviços – Sensu ● Cluster ativo-ativo; ● Clientes se registram automaticamente; ● Escrito em ruby; ● Clientes executam os testes; ● Configurações em arquivos json; ● Compativel com scripts do nagios; Recursos: ● O cliente reune os checks; ● Servidor toma a ação; ● REST API para consulta (ou uma interface); ● Todo cliente possui um keepalived;

5. Monitoramento de Infraestrutura e Serviços – Sensu Check Result V Event Handler Checks: ● Envia a saída para STDOUT ou STDERR; ● Usa o “exit status” para indicar severidade; ● 0: OK ● 1: WARNING ● 2: CRITICAL ● >3: UNKNOWN ou customizado. ● Mais: metric, data. Handler: ● Toma uma ação por evento recebido; ● Diversos tipos: script, socket, etc;

6. Monitoramento de Infraestrutura e Serviços – Sensu Origens dos checks: Execute uma coletanea de checks nos clientes: “Subscriptions”: [“linux”,”httpd”,”bd”] Check Standalone: Somente executado e agendado no cliente. Socket Local (localhost:3030): O cliente tem uma porta tcp/udp para input de checks. Exemplo: {“name”: ”foo”, “output”:”bar”,”status”:1} Todo check é inspecionado!!! Teve saída diferente de zero? Primeira saída de status zero da série? Esta marcado como métrica (metric)? Event!!!!

7. Monitoramento de Infraestrutura e Serviços – Sensu Handlers

8. Monitoramento de Infraestrutura e Serviços – Sensu Class profile::sensu::client { include '::sensu' } Use um gerenciador de configurações para facilitar! Exemplo no puppet:

9. Monitoramento de Infraestrutura e Serviços – Sensu Class profile::basicmonitors { sensu::plugin { 'check-puppet-last-run.rb': install_path => '/etc/sensu/plugins' } sensu::check { 'check-puppet-last-run': command => '/etc/sensu/plugins/check-puppet-last-run.rb --summary-file /var/lib/puppet/state/last_run_summary.yaml --warn- age 3600 --crit-age 7200', handlers => ['debug','graphite_event','slack_event','logstash_event'], subscribers => 'basic', standalone => false, occurrences => 3, } }

10. Monitoramento de Infraestrutura e Serviços – Sensu

11. Monitoramento de Infraestrutura e Serviços – Sensu Class profile::confluencemonitor { sensu::plugin { 'check-procs.rb': install_path => '/etc/sensu/plugins' } sensu::check { 'check_confluence': command => '/etc/sensu/plugins/check-procs.rb -p confluence', standalone => true, } } Exemplo de check standalone

12. Monitoramento de Infraestrutura e Serviços – Sensu Class profile::basic { sensu::check { 'cpu-pcnt-usage-metrics': type => 'metric', command => '/etc/sensu/plugins/cpu-pcnt-usage-metrics.rb', handlers => 'graphite', subscribers => 'basic', standalone => false, } } Exemplo de monitoração com métrica

13. Monitoramento de Infraestrutura e Serviços – Sensu Class profile::basic { sensu::check { 'metrics-snmp-if_10.0.100.201': type => 'metric', command => '/etc/sensu/plugins/metrics-snmp-if.rb -h 10.0.100.201 -C newdc-col07 -s network_10.0.100.201', handlers => 'graphite', standalone => true, custom => { source => 'router_02' } } } Just in time clientes

14. Monitoramento de Infraestrutura e Serviços – Sensu “Dead man's switch” “é um interruptor que automaticamente para o que o operador humano fazia caso se torne incapacitado” BACKUP: echo '{"name": "backup_mysql", "ttl": 25200, "output": "failed to backup mysql", "status": 1}' | nc localhost 3030 Aplicação envia um json para localhost 3030 por minuto: {"name": "app_MuitoImportante", "ttl": 90, "output": "Everything is OK", "status": 0}'

15. Monitoramento de Infraestrutura e Serviços – Tools

19. Monitoramento de Infraestrutura e Serviços – Sensu Próximos passos: ● Integração com o ITSM da empresa; ● Implantação de estrutura em produção; ● Criação de profiles de monitoração padrão; ● Testar um software para checks externos da aplicação; ● Customizar a interface uchiwa; ● Customizar dashboards no grafana; ● Gerenciamento de logs centralizado com ELK; ● Testar check-data, aggregates, check-aggregates; ● E muito mais...

20. Monitoramento de Infraestrutura e Serviços – Sensu Referências: https://sensuapp.org/docs/0.20/ http://slides.sensuapp.org/#1 http://www.slideshare.net/jallspaw/ops-metametrics-the-currency-you-pay-for-change http://pt.slideshare.net/miquelruizm/monitoring-with-sensu https://en.wikipedia.org/wiki/Dead_man%27s_switch http://www.rampmeupscotty.com/blog/2013/01/20/why-use-sensu/ https://robbydyer.wordpress.com/2014/08/25/highly-available-sensu/ https://github.com/sensu-plugins Casos para estudo: https://github.com/fzaninotto/uptime http://anatolijd.blogspot.co.uk/2014/07/scripting-grafana-dashboards.html http://anatolijd.blogspot.com.br/2015/02/just-enough-angular-for-uchiwa.html http://www.roblayton.com/2014/12/a-grafana-dashboard-for-graphite-and.html