O documento discute experimentação com clusters instantâneos, listando distribuições como ClusterKnoppix, Quantian e Chaos. Ele também descreve ferramentas como openMosixview para monitoramento de clusters e sugere benchmarks como renderização de imagens com Povray e multiplicação de matrizes com Octave.
IES GF - Ciência da Computação - Desenvolvimento de Sistemas Distribuídos - Parte 2 Cluster Instantâneos
1. Desenvolvimento de Sistemas Distribuídos
Prof. Ramon Mayor Martins , M.Sc. Eng.
mayor@linuxmail.org
Parte 2
São José – 2015 – 2
Instituto de Ensino Superior da Grande Florianópolis
2. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
Projetos e Experimentos com Clusters:
• 1 – Análise e Experimentação de Clusters Instantâneos
• Distribuições
• Ferramenta de análise
• Sugestão de Benchmarking
3. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
• 1 – Experimentação de Clusters Instantâneos
Clusters Instantâneos (Flash mob computing)
Utilizando Live-CDs com as distribuições pode-se fazer estudos para saber como funcionam os Sistemas
Operacionais com Funções de Cluster.
Autoconfiguração, agregador automático, baseados em sua maioria no kernel OpenMosix
As principais distribuições a serem analisadas são:
• ClusterKnoppix
• Quantian
• CHAOS
• PlumpOS
• eucaristOS
• BCCD
• PelicanHPC
4. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
• 1 – Experimentação de Clusters Instantâneos
Distro: ClusterKnoppix
Desenvolvedor: Wim Vandersmissen
Baseado na distribuição: Linux Knoppix/ Debian (distribuição modificada utilizando kernel
openmosix)
Kernel: OpenMOSIX
A distribuição possui um sistema de autoconfiguração onde computadores rodando o ClusterKnoppix
são agregados automaticamente.
funciona como um terminal server para máquinas clientes com boot remoto pela rede.
Início do projeto: 2003
Projeto: Descontinuado
Download ISO: http://mmc.geofisica.unam.mx/Replicas/knoppix/Cluster/
5. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
• 1 – Experimentação de Clusters Instantâneos
Distro: ClusterKnoppix
6. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
• 1 – Experimentação de Clusters Instantâneos
Distro: Quantian
Desenvolvedor: Dirk Eddelbuettel
Baseado na distribuição: Linux Knoppix (distribuição modificada utilizando kernel openmosix)
Kernel: OpenMOSIX
Extensão da distribuição Knoppix e clusterKnoppix
Para fins científicos (Scientific Computing Environment).
Ideal para Linguagem R (Mineração, Estatística) e Simulações Matemática (Octave)
Ambiente auto-configurável
Início do Projeto: 2006
Ultima versão: 7.9.2
Site do projeto: http://dirk.eddelbuettel.com/quantian.html
Download ISO: http://quantian.alioth.debian.org
7. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
• 1 – Experimentação de Clusters Instantâneos
Distro: Quantian
8. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
• 1 – Experimentação de Clusters Instantâneos
Distro: Chaos
Desenvolvedor: Midnight Code / Ian Latter / Universidade de McQuarie.
Baseado na distribuição: própria
Kernel: OpenMOSIX
Finalidade: Primeiro cluster Linux voltado para aumentar a segurança da rede.
Pequeno tamanho: 6 Mb – wallet cluster
Início do Projeto: 2003 – como ferramenta para grupo de segurança de TI da
Ultima versão: 1.5
Site do projeto: http://midnightcode.org/projects/chaos/
Download ISO: http://midnightcode.org/projects/chaos/
Documento: http://www.midnightcode.org/papers/How%20To%20-
%20Heterogeneous%20Clusters.pdf
9. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
• 1 – Experimentação de Clusters Instantâneos
Distro: PlumpOS
Desenvolvedor: Peter Willis / projeto experimental.
Baseado na distribuição: OpenMosix
Finalidade: estudos iniciais em cluster.
Se você quiser um sem frescuras openMosix CD inicializável para adicionar instantaneamente os
nós para o cluster existente, PlumpOS é tão bom uma opção como qualquer outro.
Início do Projeto: 2004 / Finalizado: 2008
Ultima versão: 2.9
Site do projeto: http://plumpos.sourceforge.net/index.html
Download ISO: http://sourceforge.net/projects/plumpos/files/PlumpOS/7.0-pre2/
10. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
• 1 – Experimentação de Clusters Instantâneos
Distro: eucaristOS
Desenvolvedor: Simone Vellei
Baseado na distribuição: OpenMosix
Finalidade: experimental para rodar em Hardware Obsoleto
Spontaneous OpenMosix
Início do Projeto: 2003 / Finalizado: 2004
Ultima versão: 0.0.4
Site do projeto: http://eucaristos.sourceforge.net/index.html
Download ISO: http://eucaristos.sourceforge.net/download.html
11. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
• 1 – Experimentação de Clusters Instantâneos
Distro: BCCD – Bootable Cluster CD
Desenvolvedor: Paul Gray / Universidade de Northern Iowa
Baseado na distribuição: própria
Kernel: OpenMOSIX
Finalidade: Focado em educação/introdução a clusters - computação de alto desempenho (HPC)
Início do Projeto: 2014
Ultima versão: 3.3.3 64-bit
Site do projeto: http://bccd.net
Download ISO: http://bccd.net/downloads
Documentação: http://bccd.net/wiki/index.php/Main_Page
12. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
• 1 – Experimentação de Clusters Instantâneos
Distro: PelicanHPC GNU Linux
Desenvolvedor: Heilbronn University (Alemanha)
Baseado na distribuição: Debian
Finalidade: computação de alto desempenho (HPC) – permite que faça uso de computação paralela
MPI (Message Passing Interface - padrão de comunicação entre os nós).
Início do Projeto: 2013
Ultima versão: 2.9
Site do projeto: http://pelicanhpc.awict.net
Download ISO: https://download.mi.hs-heilbronn.de/pelicanhpc/
*Interesses acadêmicos.
13. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
• 1 – Experimentação de Clusters Instantâneos
Distro: PelicanHPC GNU Linux
14. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
Projetos e Experimentos com Clusters:
• 1 – Análise e Experimentação de Clusters Instantâneos
• Distribuições
• Ferramenta de análise
• Sugestão de Benchmarking
15. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
• 1 – Experimentação de Clusters Instantâneos
Ferramentas: openMosixview
GUI de gerenciamento de cluster para cluster openMosix:
Contem 8 aplicações úteis para monitorar e administrar cluster openMosix
16. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
• 1 – Experimentação de Clusters Instantâneos
Ferramentas:
openMosixview
openMosixview -> o principal aplicativo de monitoramento + admistração
openMosixprocs -> um process-box para o gerenciamento de processos
openMosixcollector -> registro de informações de nós no cluster
openMosixanalyzer -> Analise os dados recolhidos pela openMosixcollector
openMosixhistory -> historico para o cluster
openMosixmigmon -> para a migração de processo
openMosixpidlog -> para monitorar processos individuais
3dmosmon -> vista 3D para monitorar o cluster
17. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
• 1 – Experimentação de Clusters Instantâneos
Ferramentas:
openMosixview
openMosixview ->
o principal aplicativo de
monitoramento + admistração
Uma das características é influenciar no balanceamento de carga
Pode manipular os recursos requisitados e utilizados em cada nó
18. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
• 1 – Experimentação de Clusters Instantâneos
Ferramentas:
openMosixview
openMosixview ->
19. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
• 1 – Experimentação de Clusters Instantâneos
Ferramentas:
openMosixview
openMosixprocs -> um process-box para o gerenciamento de processos
Gestão dos processos em execução
no cluster
Essa ferramenta deve ser instalada em
cada nó do cluster (Ex: nó 4)
Da uma visão geral do que está sendo
executado.
20. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
• 1 – Experimentação de Clusters Instantâneos
Ferramentas:
openMosixview
openMosixcollector -> registro de informações de nós no cluster
É criado arquivos de log de informações de carga e memória para cada nó.
21. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
• 1 – Experimentação de Clusters Instantâneos
Ferramentas:
openMosixview
openMosixanalyzer -> Analise os dados recolhidos pela openMosixcollector
Análise do log de carga
Linhas vermelhas representa a carga
Provê informações estatísticas
22. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
• 1 – Experimentação de Clusters Instantâneos
Ferramentas:
openMosixview
openMosixanalyzer -> Analise os dados recolhidos pela openMosixcollector
Informações estatísticas sobre um nó do cluster
Pode comparar valores de carga em um determinado momento.
23. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
• 1 – Experimentação de Clusters Instantâneos
Ferramentas:
openMosixview
openMosixanalyzer -> Analise os dados recolhidos pela openMosixcollector
Visão geral de memória
Similar ao gráfico de carga, só que para memória
A Linha azul significa pontos de controle
24. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
• 1 – Experimentação de Clusters Instantâneos
Ferramentas:
openMosixview
openMosixmigmon ->
Monitora as migração de processos
Cada processo tem um PID
É possível arrastar os processos para outros nós
(drag’n gota)
A linha significa a migração.
Verde o processo atual (possível obter
Informação sobre ele).
25. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
• 1 – Experimentação de Clusters Instantâneos
Ferramentas:
openMosixview
3dmosmon -> vista 3D para monitorar o cluster
26. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
• 1 – Experimentação de Clusters
Instantâneos
Ferramentas: Sistema Painel de
Controle Gráficos InterWorx
Gerenciar clusters de servidor,
também fornece uma grande
quantidade de feedback e dados
sobre o seu desempenho e utilização.
Cada sistema executando
inclui um conjunto de gráficos de
desempenho
27. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
Projetos e Experimentos com Clusters:
• 1 – Análise e Experimentação de Clusters Instantâneos
• Distribuições
• Ferramenta de análise
• Sugestão de Benchmarking
28. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
• 1 – Experimentação de Clusters Instantâneos
Benchmarking
Programas/Testes padrões
Benchmarking é um aspecto extremamente importante de gerir adequadamente e configurar
clusters de computadores e servidores.
O conhecimento sobre como o cluster está realizando processos fornece a base de quaisquer
ajustes e reconfigurações futuras.
É também muito útil para saber exatamente o que um cluster é capaz.
29. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
• 1 – Experimentação de Clusters Instantâneos
Benchmarking
Sugestão:
Renderização de imagens: Software Povray (chess2.pov)
http://www.unifafibe.com.br/revistasonline/arquivos/revistafafibeonline/sumario/11/19042010141539.
pdf
30. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
• 1 – Experimentação de Clusters Instantâneos
Benchmarking
Sugestão:
Renderização de imagens:
Software Povray (chess2.pov)
31. Desenvolvimento de Sistemas Distribuídos
1- INTRODUÇÂO
• 1 – Experimentação de Clusters Instantâneos
Benchmarking
Sugestão:
Multiplicação de matrizes (Octave)