Campus partybrasil2011 v2

Grid Computing:
Conceitos e Arquiteturas

Francisco Brasileiro
fubica@silibrina.com

Silibrina Tecnologia Ltda
(membro da Comunidade OurGrid)

Campus Party 2011
CloudCamp, CONSEGI 2010 1/5 Brasília, August 18th, 2010

O resumo da nossa conversa

•  Combinar o poder de processamento de vários
computadores ligados em rede para conseguir
rodar tarefas impossíveis de executar utilizando
um único computador. Parece uma boa ideia,
não? Pois nesta palestra, será feita uma
introdução aos conceitos da computação em
grade, um verdadeiro exemplo da aplicação da
máxima popular "a união faz a força" no mundo
da computação.

São Paulo, 19/01/2011, Campus Party 2011, © Copyright Silibrina Tecnologia Ltda

Mas, o que são essas “tarefas impossíveis”?

Quem se arrisca a dar
exemplos?


Aplicações “saco-de-tarefas” (BoT, bag-of-tasks)

•  São aplicações trivialmente paralelizáveis
•  A aplicação pode ser dividida em tarefas
que executam de forma independente
–  Não há comunicação entre tarefas
•  Escalonamento é trivial
•  Tolerância a falhas também


Quebrando códigos de criptografia


Busca paralela

•  Dividindo o espaço de busca

{aaaa, aaab, ..., zzzz} Grupo Soluções
0 [0, k ‐ 1]
1 [k, 2k ‐ 1]
... ...
N [j, N]

{0, 1, ..., N}


Busca paralela

Grupo Soluções (grupo=0, cifra)
0 [0, k ‐ 1]
1 [k, 2k ‐ 1]
(false, “”)
... ... cript (aaaa) != cifra
N [j, N] cript (aaab) != cifra
....

(grupo=1, cifra) (true, “ufcg”)

cript (cccc) != cifra
cript (ufcg) == cifra


Busca paralela

•  Isso é viável?
num. horas (1
num. num. testes por grupo (100 milhão de testes por
carac. num. possibilidades milhões de processadores) segundo)
1 47 0 0
2 2.209 0 0
3 103.823 0 0
4 4.879.681 5 0
5 229.345.007 229 0
6 10.779.215.329 10.779 0
7 506.623.120.463 506.623 0
8 23.811.286.661.761 23.811.287 0
9 1.119.130.473.102.770 1.119.130.473 0
10 52.599.132.235.830.000 52.599.132.236 15
11 2.472.159.215.084.010.000 2.472.159.215.084 687
12 116.191.483.108.949.000.000 116.191.483.108.949 32.275
13 5.460.999.706.120.580.000.000 5.460.999.706.120.580 1.516.944
14 256.666.986.187.667.000.000.000 256.666.986.187.667.000 71.296.385
15 12.063.348.350.820.400.000.000.000 12.063.348.350.820.400.000 3.350.930.097
16 566.977.372.488.557.000.000.000.000 566.977.372.488.557.000.000 157.493.714.580


Processamento de imagens

•  Blender: renderização de filmes
–  Cada frame pode ser renderizado de forma
independente dos outros


Processamento de imagens

•  Filtro de imagens
–  Imagens podem ser representadas como
matrizes e facilmente divisíveis


Filtro de imagens como uma BoT


Bioinformática

•  Projeto de novos medicamentos
–  A atividade de uma droga está relacionada
com a afinidade entre moléculas


Drug screening

•  Afinidade geométrica e química entre as
moléculas das drogas estudadas e
proteínas receptoras
–  Tipicamente milhões de possibilidades
precisam ser testadas


Auxílio à tomada de decisão

•  Exemplo: diagnóstico médico através de
exames de imagens


Detecção de casos similares

Ranking
...


•  Agora que talvez eu tenha convencido
vocês que há o que se fazer com qualquer
processador no qual se possa colocar as
mãos ...

•  Como é que podemos ter acesso a
milhares ou até milhões de processadores
para executar aplicações BoT?


Federando recursos de domínios administrativos
diferentes

•  Grid computing
–  Tecnologia que possibilita o compartilhamento
de recursos, pertencentes a diferentes
domínios administrativos, permitindo:
•  Acesso a dados de terceiros
•  Acesso a equipamentos sofisticados
•  Aumentar o acesso a recursos computacionais


Computação voluntária

•  Se apóia na existência de uma enorme
quantidade de poder computacional ocioso
nas “pontas” da Internet
–  SETI@home (Berkley)
–  Folding@home (Stanford)
–  World Community Grid (IBM)
–  Ibercivis (Espanha e Portugal)
•  Esses projetos se mostraram capazes de
capturar uma quantidade significativa de
poder computacional

BOINC

TeraFLOPS = RAC/100,000

Arquitetura de um serviço de computação voluntária


Mas isso resolve o problema de
todo mundo que precisa
executar aplicações BoT?


Computação Voluntária

•  Barreira de entrada é muito grande,
pois requer:
–  do usuário
•  Aplicações com alto impacto e visibilidade
–  do provedor
•  Grande esforço de marketing e disseminação
•  Provedor de aplicações com prestígio
•  Time de suporte qualificado para gerenciar o
“servidor”


Grids peer-to-peer (P2P)
•  Cada peer do sistema contribui com seus
recursos ociosos (1 ou mais processadores)
Utilização da CPU pelo peer 1

1
tempo
Utilização da cpu pelo peer 2

1
tempo

Utilização da CPU pelo grid P2P
1

tempo

Grids P2P

•  Peers juntam-se à grade por vontade
própria
–  Sem burocracia
–  Sem uma autoridade central
•  Grade aberta para provedores e consumidores de
recursos
•  Custos de implantação e manutenção são
compartilhados
•  Isso torna a solução acessível para a
maior parte dos usuários

Grades P2P

•  Mas ...
–  O fato de não termos confiança entre os
pares trás implicações em relação à
segurança do grid
•  Proteção contra aplicações não confiáveis
•  Proteção contra recursos não confiáveis
–  Possibilidade de pares “caloteiros” (free
riders)


O OurGrid: Grid Computing made in Brazil

•  Middleware software livre para dar suporte
a grids P2P
•  Desenvolvido pela UFCG (LSD/DSC) com
financiamento da HP Brasil P&D (lei de
Informática)
•  Atualmente usado por vários grids no
mundo


Princípios de design do OurGrid
•  Os peers podem, gratuitamente, juntar-se ao
sistema sem negociação humana
–  Não há necessidade de reunião e papelada a ser
preenchida
•  Incentivo claro para juntar-se ao sistema
–  Ninguém se prejudica ao juntar-se ao sistema
–  Resistente a free riders
•  Propriedades básicas
–  Oferece um nível mínimo de segurança
–  É tolerante a falhas
•  Fácil de instalar, configurar e programar
–  Não há necessidade de um corpo técnico de suporte
muito especializado

Arquitetura do OurGrid

Gerência do site e
compartilhamento global de
CloudCamp, CONSEGI 2010 28/5
recursos Brasília, August 18th, 2010


Serviço de
rendezvous

Gerência do site e


Serviço de
rendezvous

Segurança e política de
compartilhamento local Gerência do site e


Interface do
usuário,
Escalonamento e
monitoramento
de aplicações


O GridUFCG


Site oficial do OurGrid


Developer’s corner


Popularidade do Web Site

•  Mais de 8.000 visitantes de 904 cidades no último ano
•  Mais de 15.000 downloads desde dezembro de 2004

Obrigado pela atenção! Perguntas?

•  Um bom lugar para começar a conhecer
mais sobre o OurGrid é:

–  Labs of the world, unite!!! W. Cirne, F. Brasileiro, N.
Andrade, L. Costa, A. Andrade, R. Novaes, M. Mowbray.
Journal of Grid Computing 4 (3) (2006) 225-246.

E visitem http://www.ourgrid.org/!

Campus partybrasil2011 v2

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (9)

Similar to Campus partybrasil2011 v2

Similar to Campus partybrasil2011 v2 (17)

More from Campus Party Brasil

More from Campus Party Brasil (20)

Campus partybrasil2011 v2