Computação Grid e infra-estruturas para e-ciência

1,894 views
1,828 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
1,894
On SlideShare
0
From Embeds
0
Number of Embeds
13
Actions
Shares
0
Downloads
30
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide
  • Computação Grid e infra-estruturas para e-ciência

    1. 1. Computação Grid e Infra-estruturas para e-Ciência Grid computing and e-Infrastructures ( Cyberinfrastructures) Leandro N. Ciuffo [email_address] Juiz de Fora, 12.06.2008
    2. 2. O Problema Bioinformática Astronomia Clima / previsões
    3. 3. <ul><li>Search for Extraterrestrial Intelligence </li></ul><ul><li>http://setiathome.berkeley.edu/ </li></ul><ul><li>Screensaver </li></ul><ul><ul><li>Ciclos ociosos </li></ul></ul><ul><li>“ volunteer computing“ </li></ul>Seti@Home (1999)
    4. 4. <ul><li>Frequentemente, um único computador ou mesmo supercomputadores não são suficientes para esses tipos de cálculos, tornando muito difícil, caro e às vezes impossível alcançar determinados objetivos </li></ul>O Problema
    5. 5. <ul><li>O maior experimento científico do mundo </li></ul>Um problema maior ainda! E -infrastructure shared between E urope and L atin A merica
    6. 6. <ul><li>~100m abaixo da terra </li></ul><ul><li>Túnel de 27 Km </li></ul>LHC - Large Hadron Collider
    7. 7. <ul><li>40.000.000 de colisões por segundo em cada detector </li></ul><ul><li>15 Petabytes de dados por ano ( ~15.000.000 GB) </li></ul><ul><ul><li>~ 21 milhões de CDROMs </li></ul></ul><ul><ul><li>41TB por dia </li></ul></ul><ul><ul><li>150 vezes todo conteúdo publicado anualmente na WWW * </li></ul></ul>LHC - Large Hadron Collider (*) Baseado em uma extimativa do vice-presidene de operações do Google CMS LHCb ATLAS ALICE
    8. 8. <ul><li>Seria necessário um cluster com ~100.000 CPUs </li></ul><ul><li>Os dados precisam estar disponíveis para milhares de cientistas, independete da sua localização </li></ul>LHC - Large Hadron Collider
    9. 9. A Solução Grid computing - Analogia à rede elétrica ( electrical power grid )
    10. 10. A metáfora do Grid G R I D M I D D L E W A R E Visualising Workstation Mobile Access Supercomputer, PC-Cluster Data-storage, Sensors, Experiments Internet, networks
    11. 11. e-Ciência <ul><li>Espaço de armazenamento abundante </li></ul><ul><li>Altíssimo poder de computação </li></ul><ul><li>Colaboração com colegas distantes, compartilhando recursos, dados e resultados </li></ul>Características
    12. 12. Evolução tecnológica * Sputnik 1960 1970 1975 1980 1985 1990 1995 2000 * ARPANET * Email * Ethernet * TCP/IP * IETF * Internet Era * WWW Era * Mosaic * XML * PC Clusters * Crays * Mainframes * HTML * W3C * P2P * Grids COMPUTING Communication * Web Services * Minicomputers * PCs * WS Clusters * PDAs * Workstations 2010 * e-Science Computing as Utility * e-Business * SocialNets Controle Centralizado Controle Descentralizado
    13. 13. Internet X Web X Grid <ul><li>INTERNET </li></ul><ul><ul><li>Infra-estrutura de rede que conecta milhões de computadores ao redor do mundo </li></ul></ul><ul><ul><li>TCP/IP </li></ul></ul><ul><ul><li>Década de 1970 </li></ul></ul>
    14. 14. Internet X Web X Grid <ul><li>World Wide Web </li></ul><ul><ul><li>Serviço de compartilhamento de informações/documentos construído no topo da Internet </li></ul></ul><ul><ul><li>Início década de 1990 </li></ul></ul>
    15. 15. Internet X Web X Grid <ul><li>Grid </li></ul><ul><ul><li>Também é um serviço construído no topo da Internet, mas vai um passo a diante… </li></ul></ul><ul><ul><li>Na WWW, os computadores compartilham informações </li></ul></ul><ul><ul><li>Graças ao Grid, computadores serão capazes de compartilhar poder computacional e recursos como armazenamento de disco , aplicativos e base de dados . </li></ul></ul>
    16. 16. O passado A revolução do Grid G R I D M I D D L E W A R E 01011010110 <ul><li>CPU - Memory </li></ul><ul><li>Disc - Input/Output </li></ul>, o presente …
    17. 17. A revolução do Grid … O futuro virtual services virtual services virtual services virtual services virtual services virtual services
    18. 18. Cenário em 2007
    19. 19. Investimentos da UE € Bi.
    20. 20. Projeto EGEE <ul><li>Coordenado pelo CERN </li></ul><ul><li>32 países </li></ul><ul><li>91 instituições </li></ul><ul><li>Orçamento de 35+ M € </li></ul><ul><li>> 35.000 CPUs </li></ul><ul><li>~ 2.500 TB storage </li></ul><ul><li>> 50.000 jobs per day </li></ul>www.eu-egee.org
    21. 21. Projeto EGEE
    22. 22. Projeto EGEE - Aplicações <ul><li>Variado domínios científicos </li></ul><ul><ul><li>Arqueologia </li></ul></ul><ul><ul><li>Astrofísica </li></ul></ul><ul><ul><li>Química </li></ul></ul><ul><ul><li>Geofísica </li></ul></ul><ul><ul><li>Física de Altas Energias </li></ul></ul><ul><ul><li>Engenharia </li></ul></ul><ul><ul><li>Simulações Financeiras </li></ul></ul><ul><ul><li>Biologia </li></ul></ul><ul><ul><li>Genética </li></ul></ul>http://indico.cern.ch/conferenceTimeTable.py?confId=22351
    23. 23. Rede G É ANT2 USA Latin America Asia South-East Europe Mediterranean Area
    24. 24. Mapa das Redes “ Grid computing is coordinated resource sharing and problem solving in dynamic, multi-institutional virtual organizations” (I.Foster)
    25. 25. RedCLARA “ Grid computing is coordinated resource sharing and problem solving in dynamic, multi-institutional virtual organizations” (I.Foster) www.redclara.net RNP-BR REUNA-CL CUDI-MX RAAP-PE REACCIUN-VE
    26. 26. LA Country NREN organisation Maximum national connections: backbone links | access links External capacity through International R&E networks Argentina Innova-Red 34 Mbps 90 Mbps RedCLARA Bolivia ADSIB 128 kbps n/a Brazil RNP 10 Gbps 1 Gbps 155 Mbps RedCLARA + 900 Mbps USA Chile REUNA 310 Mbps 10 Mbps 90 Mbps RedCLARA Colombia RENATA 10 Mbps 10 Mbps 10 Mbps RedCLARA Costa Rica CR2Net 512 kbps n/a Cuba RedUniv 2 Mbps n/a Ecuador CEDIA 45 Mbps 10 Mbps RedCLARA El Salvador RAICES 10 Mbps RedCLARA Guatemala RAGIE 100 Mbps 100 Mbps 10 Mbps RedCLARA Honduras HONDUnet n/a Mexico CUDI 155 Mbps 34 Mbps 34 Mbps RedCLARA, 1 Gbps USA Nicaragua RENIA 100 Mbps n/a Panama RedCYT 45 Mbps RedCLARA Peru RAAP 10 Mbps 45 Mbps RedCLARA Uruguay RAU 1 Mbps 34 Mbps RedCLARA Venezuela REACCIUN 155 Mbps 34 Mbps 45 Mbps RedCLARA + 45 Mbps USA
    27. 27. O Projeto EELA E -science grid facility for E urope and L atin A merica
    28. 28. O Projeto EELA <ul><li>Argentina ( JRU ) </li></ul><ul><ul><li>3 members (coord. LINTI-UNLP ) </li></ul></ul><ul><li>Brasil ( JRU ) </li></ul><ul><ul><li>15 members (coord. UFRJ) </li></ul></ul><ul><li>Chile ( JRU ) </li></ul><ul><ul><li>7 members (coord. REUNA) </li></ul></ul><ul><li>Colombia ( JRU ) </li></ul><ul><ul><li>2 members (coord. UNIANDES) </li></ul></ul><ul><li>Cuba (CUBAENERGIA) </li></ul><ul><li>Equador (UTPL) </li></ul><ul><li>França ( JRU ) </li></ul><ul><ul><li>2 members (coord. CNRS) </li></ul></ul><ul><li>Irlanda (UCC-CMRC) </li></ul><ul><li>Italia (INFN) </li></ul><ul><li>Mexico (UNAM) </li></ul><ul><li>Peru ( JRU ) </li></ul><ul><ul><li>4 members (coord. SENAMHI) </li></ul></ul><ul><li>Portugal ( JRU ) </li></ul><ul><ul><li>3 members (coord. UPORTO) </li></ul></ul><ul><li>Espanha ( JRU ) </li></ul><ul><ul><li>8 members (coord. CIEMAT) </li></ul></ul><ul><li>Venezuela ( JRU ) </li></ul><ul><ul><li>2 members (coord. ULA) </li></ul></ul><ul><li>Internacional (CLARA) </li></ul>
    29. 29. EELA em 1 slide <ul><li>Pesquisadores querendo realizar pesquisas em conjunto com outros colegas/instituições </li></ul><ul><li>Infra-estrutura: centros de computação na UE e na América Latina </li></ul><ul><li>Aplicações e dados científicos (HEP, Biomed, e-Learning, Clima) </li></ul>www.eu-eela.eu
    30. 30. <ul><li>47 aplicações (13 no projeto precedente) </li></ul><ul><li>Ap. voltadas para problemas da América Latina </li></ul>Aplicações El Niño Malaria E-learning http://applications.eu-eela.eu
    31. 31. Centros de computação - EELA <ul><li>~ 1100 CPUs </li></ul><ul><li>~ 60 TB storage </li></ul>EELA countries stand-alone Grid site
    32. 32. Centros de computação – EELA-2 <ul><li>~ 3000 CPUs </li></ul><ul><li>~ 700 TB storage </li></ul>
    33. 33. Conceitos básicos
    34. 34. Middleware <ul><li>Software de mediação” </li></ul><ul><li>Grid Middlewares </li></ul><ul><ul><li>gLite http://glite.web.cern.ch/glite/ </li></ul></ul><ul><ul><li>Globus Toolkit http://www.globus.org </li></ul></ul><ul><ul><li>Condor http://www.cs.wisc.edu/condor/ </li></ul></ul><ul><ul><li>UNICORE http://www.unicore.eu </li></ul></ul><ul><ul><li>OMII-UK http://www.omii.ac.uk </li></ul></ul><ul><ul><li>Etc… </li></ul></ul>
    35. 35. Preocupação com a segurança (1/4)
    36. 36. Preocupação com a segurança (2/4) <ul><li>Solicitar seu certificado digital à um CA ( Certification Authority ) certificado pelo IGTF ( International Grid Trust Federation ) </li></ul><ul><li>Carregar o certificado no browser </li></ul><ul><li>Aceitar os “Termos de Uso” do Grid </li></ul><ul><li>Solicitar sua inscrição em uma das VOs ( Virtual Organization ) disponíveis para o Grid em questão </li></ul>1 2 3 4
    37. 37. Preocupação com a segurança (3/4) <ul><li>Seu certificado é sua chave para acessar o Grid </li></ul><ul><li>Certificado X.509 </li></ul><ul><li>Criptografia de chaves pública e privada </li></ul><ul><li>Chave pública: distribuída livremente </li></ul><ul><li>Chave privada: apenas o dono a possui </li></ul>OBS: todos os atores em um Grid (usuários, PCs, instrumentos...) precisam de um certificado
    38. 38. Preocupação com a segurança (4/3) <ul><li>Conteúdo de um certificado X.509: </li></ul><ul><ul><li>Chave pública do usuário </li></ul></ul><ul><ul><li>Identidade do usuário </li></ul></ul><ul><ul><li>Informações sobre o CA </li></ul></ul><ul><ul><li>Validade </li></ul></ul><ul><ul><li>Número de serie </li></ul></ul><ul><ul><li>Assinatura Digital do CA </li></ul></ul>Public key Subject:C=CH, O=CERN, OU=GRID, CN=Andrea Sciaba 8968 Issuer: C=CH, O=CERN, OU=GRID, CN=CERN CA Expiration date: Aug 26 08:08:14 2005 GMT Serial number: 625 (0x271) CA Digital signature
    39. 39. Arquitetura básica User Interface Resource Broker ssh Worker nodes Worker nodes CE VOMS BDII LFC SE User Desktop SE
    40. 40. Concluindo… <ul><li>A fase atual do desenvolvimento do Grid pode ser comparada à da Web de 10 anos atrás </li></ul><ul><li>Acredita-se que Grid Computing revolucionará a TI da mesma forma que a Web fez (e está fazendo) </li></ul><ul><li>Atualmente empresas como HP, Sun, Oracle, IBM e Microsoft também estão investindo em pesquisas relacionadas ao Grid </li></ul><ul><li>Instituições que antes eram privadas de pesquisas que exigiam muito poder computacional, agora podem tirar proveito do Grid </li></ul><ul><li>NGIs (Iniciativas Nacionais de Grid) estão sendo criadas em vários países </li></ul><ul><li>A chamada “e-Science” representa um ativo que contribuí para o desenvolvimento de um país </li></ul>
    41. 41. Concluindo… <ul><li>Alessandro Volta apresenta em Paris, na presença de Napoleão, a primeira bateria (1801). </li></ul>Afresco de Nicola Cianfanelli – Museu de Hist. Natural de Florença
    42. 42. Concluindo… … e no futuro, haverá redes elétricas em todo o mundo… Power (Electrical) Grid O quê ?!?! Esse cara é louco… Oh, mon Dieu !
    43. 43. Prorrogação <ul><li>Para saber mais… </li></ul>
    44. 44. Grid Café http://gridcafe.web.cern.ch/gridcafe/
    45. 45. Ian Foster “ Grid computing is coordinated resource sharing and problem solving in dynamic, multi-institutional virtual organizations” (I.Foster)
    46. 46. GILDA: Grid INFN Laboratory for Dissemination Activities https://gilda.ct.infn.it
    47. 47. GILDA: Grid INFN Laboratory for Dissemination Activities
    48. 48. GILDA: Grid INFN Laboratory for Dissemination Activities <ul><li>“ Sonificar” dados geofísicos coletados de sismogramas digitais instalados em vulcões. </li></ul>Etna, Italy Tungurahua, Ecuador
    49. 49. GILDA: Grid INFN Laboratory for Dissemination Activities <ul><li>Melodização </li></ul>5s = 20h de processamento em 1 PC simples
    50. 50. Links e contato <ul><li>Slides sobre gLite https://grid.ct.infn.it/twiki/bin/view/EELA2/TrainingOnGLite </li></ul><ul><li>gLite tutorial – GILDA Wiki </li></ul><ul><li>https:// grid.ct.infn.it/twiki/bin/view/GILDA/UserTutorials </li></ul><ul><li>What is the Grid? http://access.ncsa.uiuc.edu/witg/ </li></ul><ul><li>iSGTW http://www.isgtw.org/?pid=1000550 </li></ul><ul><li>Open Grid Forum </li></ul><ul><li>http://www.ogf.org </li></ul>[email_address]

    ×