O documento discute técnicas e desafios do planejamento e gerenciamento de capacidade para sistemas distribuídos. Ele aborda motivações históricas como o alto custo do mainframe e o crescimento desordenado com PCs, e técnicas como aquisição de métricas, consolidação, visualização e previsão. Também discute os impactos da virtualização, nuvem e métodos ágeis no planejamento de capacidade.

1. Planejamento e Gerenciamento
de Capacidade para Sistemas
Distribuídos
Rodrigo Campos
camposr75@uol.com.br

2. Agenda
• Motivações
• A Internet e o Linux
• Técnicas
– Aquisição
– Consolidação e Visualização
– Forecasting
• Impacto dos Métodos Ágeis
• Virtualização e Cloud Computing

3. Motivações
• Nos tempos do mainframe, cada dólar
investido tinha uma relação direta com a
capacidade necessária, cada MIP deveria
ser contabilizado e justificado
• Qualquer investimento em hardware tinha
de ser minuciosamente estudado já que
implicava muitas vezes em milhões de
dólares

4. Motivações
• Com o advento da baixa plataforma os
parâmetros de avaliação de desempenho
foram menosprezados
• O baixo custo de hardware e a facilidade
para entrega em produção desse tipo de
equipamento fez com que os parques de
máquinas crescessem de forma
desordenada

5. Motivações

6. Motivações

7. Motivações

8. Motivações

9. Motivações
• Altos custos de manutenção de infra-
estrutura
• Inviabilidade econômica e/ou física de
construção de novos datacenters
• Necessidade contínua de expansão
• Necessidade de alinhamento pelo pico
(lead strategy) para o mercado de internet
• Green Data Centers

10. Motivações
Guerrilla maxim 1.10: Capacity planning is
not just about the future anymore. Today,
there is a serious need to squeeze more
out of your current capital equipment.
Neil J. Gunther
More bang for the buck.

11. A Internet e o Linux
“I think there is a world market for maybe
five computers”
Thomas J. Watson (?)

12. A Internet e o Linux
• Abertura comercial da internet: circa 1988
• Anúncio da primeira versão do kernel
Linux: 1991
“I'm doing a (free) operating system (just a
hobby, won't be big and professional like
gnu) for 386(486) AT clones.”
Linus Torvalds – 26 de Agosto de 1991 –
comp.os.minix

13. A Internet e o Linux
Total Sites across All Domains August 1995 – July 2009
Source: http://news.netcraft.com/archives/web_server_survey.html

14. A Internet e o Linux
Totals for Active Servers across all Domains
Source: http://news.netcraft.com/archives/web_server_survey.html

15. A Internet e o Linux
Web Server Julho de 2009 Percentual
Apache 39,371,318 51.12%
Microsoft 18,476,487 23.99%
Google 10,862,216 14.10%
nginx 3,496,153 4.54%
Sun 159,585 0.21%
qq.com 122,959 0.16%
Active Sites across all Domains
Source: http://news.netcraft.com/archives/2009/07/28/july_2009_web_server_survey.html

16. Técnicas de Aquisição
• Até pouco tempo as ferramentas de
análise de desempenho da plataforma
Intel foram usadas apenas para
diagnóstico de falha
• Os contadores para CaP e diagnóstico de
falha muitas vezes são idênticos
• A diferença está em como a informação é
utilizada

17. Técnicas de Aquisição
• Run queue ou Load Average
• Provavelmente a informação mais importante
que é ignorada com a maior frequência
“The load average tries to measure the number
of active processes at any time. As a measure of
CPU utilization, the load average is simplistic,
poorly defined, but far from useless.”
Tim O'Reilly – Unix Power Tools

18. Técnicas de Aquisição
• Pacote sysstat (http://bit.ly/VegQO) inclui
ferramentas para avaliação de:
– Taxa de I/O global, por dispositivo, por partição e por
task
– Estatísticas de uso de CPU global, por CPU ou por
task
– Uso de memória e swap
– Memória Virtual, paging, faults
– Estatísticas de disparo de processos
– Interrupções
– Rede
– Run Queue and System Load

19. Técnicas de Aquisição
• Para a plataforma Microsoft, o Windows
Performance Monitor oferece as
ferramentas necessárias para a coleta de
dados de praticamente todo o sistema (
http://bit.ly/1241G9)

20. Consolidação e Visualização
Guerrilla maxim 2.2: Monitoring vs.
Modeling
The difference between performance
modeling and performance monitoring
is like the difference between weather
prediction and simply watching a
weather-vane twist in the wind.

21. Consolidação e Visualização
• Objetivos da consolidação e visualização:
– Análise de tendência
– Constatação de sazonalidades
– Análise do perfil de uso
– Modelagem e validação do modelo

22. Consolidação e Visualização
• Armazenamento dos dados raw:
– Permite análise detalhada a longo prazo
– Maior precisão possível dentro do que foi
especificado na coleta
– Pode exigir alto consumo de espaço
– Pode haver necessidade de pré-
processamento devido ao grande volume de
dados

23. Consolidação e Visualização
• Armazenamento dos dados consolidados:
– Limita a quantidade de informação que pode
ser extraída
– Pode haver perda de precisão
– Permite planejamento do espaço ocupado
– Minimiza a necessidade de pré-
processamento
– Exemplo: Round-Robin Databases como as
usadas no MRTG (http://oss.oetiker.ch/mrtg/)

24. Consolidação e Visualização
• O pacote sysstat oferece ferramentas
para armazenar e exportar os dados
coletados
– sar - http://bit.ly/sdBlo
– sadf - http://bit.ly/30IjqT
• O Windows Performance Monitor também
oferece a opção de armazenamento e
exportação dos dados

25. Consolidação e Visualização
• Ferramentas frequentemente usadas para
visualização:
– Ganglia (http://ganglia.info/)
– Cacti (http://www.cacti.net/)

26. Consolidação e Visualização

27. Consolidação e Visualização

28. Forecasting
• A previsão de desempenho e capacidade
de um sistema pode ser feita (inclusive):
– Trending: usamos uma massa de dados já
coletados e se extrapola
• O sistema tem de existir
• Alguém lembrou de coletar os dados...
– Modeling: Se cria um modelo do sistema para
o qual se deseja fazer a análise
• Maior complexidade
• Não exige sistemas em produção

29. Forecasting
• Trending: O Microsoft Excel ou o R
(http://www.r-project.org/) permite que se
criem trends a partir de séries com
facilidade
• Modeling: O pacote Pretty Damn Quick
(PDQ) resolve diversos modelos de fila
(http://bit.ly/xOf4b).

30. Impacto dos métodos ágeis
“O futuro não é mais como era antigamente”
Renato Russo

31. Impacto dos métodos ágeis
• Os ciclos de desenvolvimento de software
tem sido cada vez mais curtos
• É necessário que os processos de análise
e modelagem acompanhem a evolução
nos processos de desenvolvimento de
software
“Unnecessary detail means wasted time.
Lacking the proper detail can be fatal”
John Allspaw – The art of capacity planning

32. Virtualização e Cloud Computing
• Virtualização se tornou onipresente em
sistemas distribuídos nos últimos anos
– Os desafios para o planejamento de
capacidade serão o de considerar cargas
diferentes no mesmo host e otimizar o uso do
host por essas cargas, além de escolher
quais cargas heterogeneas farão melhor uso
do equipamento

33. Virtualização e Cloud Computing
• Cloud Computing
– Também conhecido como: terceirizar a sua infra-
estrutura para alguém quem tem máquinas a vontade
para você usar quando precisar. (polêmica intencional)
– Variáveis novas para o planejamento de capacidade:
• Latência
• Capacidade real de processamento
• Concorrência
– Mesmo que seja “barato” ninguém quer alugar 1000
máquinas na nuvem quando apenas 200 fariam o
trabalho

34. Livros e Referências
• John Allspaw – The art of capacity
planning
– http://bit.ly/17cAg9
• Neil J. Gunther – Analyzing
Computer System Performance
with Perl::PDQ
– http://bit.ly/KVC2o
• Michael J. Crawley - The R Book
– http://bit.ly/KVC2o
• Daniel Menasce – Performance by
Design
– http://bit.ly/fc7vH

35. Perguntas ?

36. Obrigado