• Like
Planejamento E Gerenciamento de Capacidade Para Sistemas Distribuídos
Upcoming SlideShare
Loading in...5
×

Thanks for flagging this SlideShare!

Oops! An error has occurred.

Planejamento E Gerenciamento de Capacidade Para Sistemas Distribuídos

  • 1,601 views
Published

 

Published in Technology , News & Politics
  • Full Name Full Name Comment goes here.
    Are you sure you want to
    Your message goes here
    Be the first to comment
    Be the first to like this
No Downloads

Views

Total Views
1,601
On SlideShare
0
From Embeds
0
Number of Embeds
2

Actions

Shares
Downloads
33
Comments
0
Likes
0

Embeds 0

No embeds

Report content

Flagged as inappropriate Flag as inappropriate
Flag as inappropriate

Select your reason for flagging this presentation as inappropriate.

Cancel
    No notes for slide
  • Data center do Google
  • Datacenter da Dupont ACC5 - DELIVERY Q3 2009 Ashburn, VA Located at the Ashburn Corporate Campus in Ashburn Virginia, ACC5 is designed to be built in two phases for an aggregate of 36.4 MW of critical IT load capacity. Ground up development began in 2008 and is targeted for completion in September 2009. Prospective tenants can lease one or multiple combinations of dedicated rooms with 568.75 kW, 1,137.5 kW, or 2,275 kW of critical power. ACC5 will be a 360,000 square foot facility that offers more than 176,200 square feet of raised floor space.
  • O mercado de internet continua crescendo porém chegou em um ponto onde a demanda de recursos não é acompanhada pela disponibilidade de dinheiro, logo existe a necessidade de se oferecer uma capacidade cada vez maior com investimentos menores. A necessidade da lead strategy se dá pelo fato de que na internet, quando um serviço está lento ele pode ser facilmente substituído por outro, além do que muitas vezes as demandas são imprevisíveis.
  • Thomas Watson in 1917 Watson joined the  Computing Tabulating Recording Corporation (CTR)  on May 1, 1914. When Watson took over as general manager, the company had fewer than 400 employees. In 1924, he renamed the company  International Business Machines . Watson built IBM into such a powerful force that the federal government filed a civil antitrust suit against them in 1952. IBM owned and leased more than 90 percent of all tabulating machines in the United States at the time.

Transcript

  • 1. Planejamento e Gerenciamento de Capacidade para Sistemas Distribuídos Rodrigo Campos [email_address]
  • 2. Agenda
    • Motivações
    • A Internet e o Linux
    • Técnicas
      • Aquisição
      • Consolidação e Visualização
      • Forecasting
    • Impacto dos Métodos Ágeis
    • Virtualização e Cloud Computing
  • 3. Motivações
    • Nos tempos do mainframe, cada dólar investido tinha uma relação direta com a capacidade necessária, cada MIP deveria ser contabilizado e justificado
    • Qualquer investimento em hardware tinha de ser minuciosamente estudado já que implicava muitas vezes em milhões de dólares
  • 4. Motivações
    • Com o advento da baixa plataforma os parâmetros de avaliação de desempenho foram menosprezados
    • O baixo custo de hardware e a facilidade para entrega em produção desse tipo de equipamento fez com que os parques de máquinas crescessem de forma desordenada
  • 5. Motivações
  • 6. Motivações
  • 7. Motivações
  • 8. Motivações
  • 9. Motivações
    • Altos custos de manutenção de infra-estrutura
    • Inviabilidade econômica e/ou física de construção de novos datacenters
    • Necessidade contínua de expansão
    • Necessidade de alinhamento pelo pico ( lead strategy ) para o mercado de internet
    • Green Data Centers
  • 10. Motivações
    • Guerrilla maxim 1.10: Capacity planning is not just about the future anymore. Today, there is a serious need to squeeze more
    • out of your current capital equipment.
    • Neil J. Gunther
    • More bang for the buck .
  • 11. A Internet e o Linux
    • “ I think there is a world market for maybe five computers”
    • Thomas J. Watson (?)
  • 12. A Internet e o Linux
    • Abertura comercial da internet: circa 1988
    • Anúncio da primeira versão do kernel Linux: 1991
    • “ I'm doing a (free) operating system (just a hobby, won't be big and professional like gnu) for 386(486) AT clones.”
    • Linus Torvalds – 26 de Agosto de 1991 – comp.os.minix
  • 13. A Internet e o Linux Total Sites across All Domains August 1995 – July 2009 Source: http://news.netcraft.com/archives/web_server_survey.html
  • 14. A Internet e o Linux Totals for Active Servers across all Domains Source: http://news.netcraft.com/archives/web_server_survey.html
  • 15. A Internet e o Linux Active Sites across all Domains Source: http://news.netcraft.com/archives/2009/07/28/july_2009_web_server_survey.html 0.16% 122,959 qq.com 0.21% 159,585 Sun 4.54% 3,496,153 nginx 14.10% 10,862,216 Google 23.99% 18,476,487 Microsoft 51.12% 39,371,318 Apache Percentual Julho de 2009 Web Server
  • 16. Técnicas de Aquisição
    • Até pouco tempo as ferramentas de análise de desempenho da plataforma Intel foram usadas apenas para diagnóstico de falha
    • Os contadores para CaP e diagnóstico de falha muitas vezes são idênticos
    • A diferença está em como a informação é utilizada
  • 17. Técnicas de Aquisição
    • Run queue ou Load Average
    • Provavelmente a informação mais importante que é ignorada com a maior frequência
    • “ The load average tries to measure the number of active processes at any time. As a measure of CPU utilization, the load average is simplistic, poorly defined, but far from useless.”
    • Tim O'Reilly – Unix Power Tools
  • 18. Técnicas de Aquisição
    • Pacote sysstat ( http://bit.ly/VegQO ) inclui ferramentas para avaliação de:
      • Taxa de I/O global, por dispositivo, por partição e por task
      • Estatísticas de uso de CPU global, por CPU ou por task
      • Uso de memória e swap
      • Memória Virtual, paging, faults
      • Estatísticas de disparo de processos
      • Interrupções
      • Rede
      • Run Queue and System Load
  • 19. Técnicas de Aquisição
    • Para a plataforma Microsoft, o Windows Performance Monitor oferece as ferramentas necessárias para a coleta de dados de praticamente todo o sistema ( http://bit.ly/1241G9 )
  • 20. Consolidação e Visualização Guerrilla maxim 2.2: Monitoring vs. Modeling The difference between performance modeling and performance monitoring is like the difference between weather prediction and simply watching a weather-vane twist in the wind.
  • 21. Consolidação e Visualização
    • Objetivos da consolidação e visualização:
      • Análise de tendência
      • Constatação de sazonalidades
      • Análise do perfil de uso
      • Modelagem e validação do modelo
  • 22. Consolidação e Visualização
    • Armazenamento dos dados raw :
      • Permite análise detalhada a longo prazo
      • Maior precisão possível dentro do que foi especificado na coleta
      • Pode exigir alto consumo de espaço
      • Pode haver necessidade de pré-processamento devido ao grande volume de dados
  • 23. Consolidação e Visualização
    • Armazenamento dos dados consolidados:
      • Limita a quantidade de informação que pode ser extraída
      • Pode haver perda de precisão
      • Permite planejamento do espaço ocupado
      • Minimiza a necessidade de pré-processamento
      • Exemplo: Round-Robin Databases como as usadas no MRTG ( http://oss.oetiker.ch/mrtg/ )
  • 24. Consolidação e Visualização
    • O pacote sysstat oferece ferramentas para armazenar e exportar os dados coletados
      • sar - http://bit.ly/sdBlo
      • sadf - http://bit.ly/30IjqT
    • O Windows Performance Monitor também oferece a opção de armazenamento e exportação dos dados
  • 25. Consolidação e Visualização
    • Ferramentas frequentemente usadas para visualização:
      • Ganglia ( http://ganglia.info/ )
      • Cacti ( http://www.cacti.net/ )
  • 26. Consolidação e Visualização
  • 27. Consolidação e Visualização
  • 28. Forecasting
    • A previsão de desempenho e capacidade de um sistema pode ser feita (inclusive):
      • Trending : usamos uma massa de dados já coletados e se extrapola
        • O sistema tem de existir
        • Alguém lembrou de coletar os dados...
      • Modeling : Se cria um modelo do sistema para o qual se deseja fazer a análise
        • Maior complexidade
        • Não exige sistemas em produção
  • 29. Forecasting
    • Trending : O Microsoft Excel ou o R ( http://www.r-project.org/ ) permite que se criem trends a partir de séries com facilidade
    • Modeling : O pacote Pretty Damn Quick (PDQ) resolve diversos modelos de fila ( http://bit.ly/xOf4b ).
  • 30. Impacto dos métodos ágeis “ O futuro não é mais como era antigamente” Renato Russo
  • 31. Impacto dos métodos ágeis
    • Os ciclos de desenvolvimento de software tem sido cada vez mais curtos
    • É necessário que os processos de análise e modelagem acompanhem a evolução nos processos de desenvolvimento de software
    • “ Unnecessary detail means wasted time.
    • Lacking the proper detail can be fatal”
    • John Allspaw – The art of capacity planning
  • 32. Virtualização e Cloud Computing
    • Virtualização se tornou onipresente em sistemas distribuídos nos últimos anos
      • Os desafios para o planejamento de capacidade serão o de considerar cargas diferentes no mesmo host e otimizar o uso do host por essas cargas, além de escolher quais cargas heterogeneas farão melhor uso do equipamento
  • 33. Virtualização e Cloud Computing
    • Cloud Computing
      • Também conhecido como: terceirizar a sua infra-estrutura para alguém quem tem máquinas a vontade para você usar quando precisar. (polêmica intencional)
      • Variáveis novas para o planejamento de capacidade:
        • Latência
        • Capacidade real de processamento
        • Concorrência
      • Mesmo que seja “barato” ninguém quer alugar 1000 máquinas na nuvem quando apenas 200 fariam o trabalho
  • 34. Livros e Referências
    • John Allspaw – The art of capacity planning
      • http://bit.ly/17cAg9
    • Neil J. Gunther – Analyzing Computer System Performance with Perl::PDQ
      • http://bit.ly/KVC2o
    • Michael J. Crawley - The R Book
      • http://bit.ly/KVC2o
    • Daniel Menasce – Performance by Design
      • http://bit.ly/fc7vH
  • 35. Perguntas ?
  • 36. Obrigado