Programari lliure en un centre gestor d'e-infrastructures, el CESCA

411 views

Published on

0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
411
On SlideShare
0
From Embeds
0
Number of Embeds
2
Actions
Shares
0
Downloads
2
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Programari lliure en un centre gestor d'e-infrastructures, el CESCA

  1. 1. Ricard de la Vega i Teresa Via16 d’octubre de 2008
  2. 2. 17 anys de suport a la recerca
  3. 3.   Qui som i els nostres serveis  Sistemes  Comunicacions  Promoció
  4. 4.   Consorci públic creat el 1991   Integrat per: •  Generalitat de Catalunya •  Fundació Catalana per a la Recerca i la Innovació •  Universitat de Barcelona •  Universitat Autònoma de Barcelona •  Universitat Politècnica de Catalunya •  Universitat Pompeu Fabra •  Universitat de Girona •  Universitat Rovira i Virgili •  Universitat de Lleida •  Universitat Oberta de Catalunya •  Universitat Ramon Llull •  Consell Superior d’Investigacions Científiques
  5. 5. SistemesCAP1991 1996 2005 2006SED 1999 2001 2006 2007Comunicacions S24x7 1999 Promoció SAHS 1997 1993 1999 SxAC Looking Glass 1999 1994 DNS 1995 SAD 1999 Multicast 2000 News 1997 SCD 2003 Gestió fora de banda 2002 1992 Multimèdia 1997 VIA 2003 IXP-Watch 2003 Ftp-mirror 1998 Select 2003 Temps (NTP) 2004 1997 Proxy-cache 1998 SEG 2003 IPv6 2005 SAR 1999 Eduroam 2005 Arrel de noms F 2005 Prefixos bogon 2005 1996 2000
  6. 6.   Qui som i els nostres serveis  Sistemes  Comunicacions  Promoció
  7. 7. SGI Altix 3700 Bx2• 128 Itanium2 (1,6 GHz, 16 KB, 0,256 MB, 6 MB)‫‏‬• 384 GB; 5,99 TB; 819,20 Gflop/sHP CP4000• 132 Opteron 275 DC (2,2 GHz, 256 KB, 2 MB)‫‏‬• 528 GB; 9,41 TB; 580,80 Gflop/sCPQ AlphaServer HPC320• 32 EV68 (833 MHz, 64 KB, 8 MB) [8 ES40]• Memory Channel II (100 MB/s)‫‏‬• 28 GB; 892 GB; 53,31 Gflop/s CPQ beowulf • 8 EV67 (600 MHz, 64 KB, 2 MB) [8 DS10]HP AlphaServer GS1280 • Myrinet (2 Gbps)‫‏‬• 16 EV7 (1.150 MHz, 64 KB, 1 MB)‫‏‬ • 4 GB; 291 GB; 9,60 Gflop/s• 32 GB; 655 GB; 36,80 Gflop/s HP rx2600 • 2 Itanium2 (1.000 MHz, 32KB, 256 KB, 3 MB)‫‏‬ • 2 GB; 146 GB; 8,00 Gflop/s 2008
  8. 8. ADIC Scalar i2000• 105 cintes (x 400 GB = 41 TB)‫‏‬• 300 cel·les (100 habilitades)‫‏‬• 2 transports LTO-3 (80 MB/s)‫‏‬Servidor de còpies• Fujitsu PRIMERGY RX200S2• Veritas Netbackup 5.0 MP7 HP EVA V.2 2C6D-B • 27,55 TB • 10 safates, 140 discos FC • 2 FC 2 Gbps HSV110 Servidor de fitxers • HP DS25: 2 x EV68, 1 GHz, 4 GB, 72 GB • HP DS20: 2 x EV68, 833 MHz, 4 GB, 72 GB 2008
  9. 9. Física Modelització Biomolecular Ciències de la TerraQuímicaTeòrica Mètodes Numèrics en Informàtica Enginyeria
  10. 10. Depth of a Strong Jovian Jet from a Planetary-Scale Disturbance Driven by Storms(...) Dr. Enrique García-Melendo (Observatori Esteve Duran) et al.La revista Nature ha destacat en la seva portada la recerca duta a terme per lObservatori Esteve Duran,experts de la NASA i les universitats del País Basc, Berkeley, Arizona i Oxford, entre daltres, sobre lameteorologia de Júpiter. La simulació de l’atmosfera de Júpiter realitzada al CESCA va ser una de les partsfonamentals de la recerca (vegeu Teraflop 97).Theoretical Evaluation of Electron Delocalization in Aromatic Molecules...Drs. Jordi Poater, Miquel Duran i Miquel Solà (UdG)‫‏‬L’Institute for Science Information (ISI) ha elegit aquest article com a “Fast Moving Fronts”, articles quemarquen tendència en recerca en una àrea científica, durant els mesos de juliol i setembre.Aquest article descriu nous mètodes desenvolupats a la UdG per determinar l’aromaticitat de lesmolècules (vegeu Teraflop 98).The Mechanism for the Reversible Oxygen Addition to Heme.A Theoretical CASPT2 StudyDrs. Juan José Novoa i Jordi Ribas-Ariño (UB)‫‏‬Diferents seccions de la Royal Society of Chemistry han destacat aquest article publicat al ChemicalCommunications, on es descriuen les causes de la reversibilitat del procés d’addició de l’oxigen al centreactiu de les hemoproteïnes, el ferro, bàsic en el procés respiratori (vegeu Teraflop 95).
  11. 11.  Projecte de l’AgènciaEspacial Europea Consorci: IEEC, UB, GMV iCESCA Disseny i implementaciód’una base de dades estel·lar Llançament satèl·lit 2012 5 anys d’exploració http://astro.estec.esa.nl/gaia 1.000 milions d’estrelles amb una precisió de 10 microsegons d’arc(la mida d’una moneda de 10 cents d’euros sobre la superfície de laLluna vista des de la Terra)‫‏‬
  12. 12. http://www.tdx.cat
  13. 13. http://www.recercat.cat
  14. 14. http://www.raco.cat
  15. 15. http://www.padi.cat 31-12-07
  16. 16.   Presentació del CESCA  Sistemes  Comunicacions  Promoció
  17. 17.   Gestió de l’Anella Científica  Serveis addicionals: •  Multicast •  Accés remot (SAR) •  Accés directe (SAD) •  Multimèdia •  Veu sobre IP (VIA) •  Certificació Digital (SCD) •  Seguretat (SEG) •  Cooperació tecnològica •  Eduroam  Gestió del CATNIX  Allotjament del node de RedIRIS a Catalunya  Allotjament i Hostatge de Servidors  Administració i manteniment de les instal·lacions tècniques
  18. 18. A B C A.1 B.1 C.1 Universitats Organismes gestors Parcs científicspúbliques i privades d’R+D+i amb i tecnològics A.2 finançament públic C.2 OPI i ICTS B.2 Altres unitats Institucions amb hospitalàries A.3 continguts digitalsCentres i institucions rellevants per a de recerca la comunitat A.4 cientificotècnica Unitats de recerca B.3 hospitalàries Entitats que participin en projectes d’R+D+i B.4 Entitats d’especial interès
  19. 19. A.1 A.2 A.3 A.4 B.1 VinculadesUB BSC ASPB CHV CIDEM BGSEUAB CESCA TERMCAT CSPT FCRI CESCUPC CIEMAT CTTC FCRB CETIUPF CELLS CTFC Guttmann B.2 EUPMTUdG CSIC CRG IDIBELL BAdM FIGTPURV FBM Puigvert BC FUBUdL C.1 i2CAT SantPau UnescoCAT IMIMUOC ParcUdG ICC VHebron CConsultiu RIURL PRBB ICIQ Dexeus CBUCUVic ICFO CDPUIC IdeG C.2 LiceuUAO IDESCAT FHAG VINSEUMUdA IEC XarxaTeclaESMUC IEEC B.4EUSS IRTA CatSalutINEFC IGC XTEC PAM ≥ 1.000 ≥ 100 ≥ 10 ≤8
  20. 20. ≥ 1.000 Mbps100–990 Mbps10–90 Mbps≤ 10 Mbps
  21. 21.   Presentació del CESCA  Sistemes  Comunicacions  Promoció
  22. 22.  Formació Aula de Noves Tecnologies Conferències Jornades i seminaris •  Jornada Catalana de Supercomputació •  Trobada de l’Anella Científica •  Trobada dels Serveis Informàtics de les Universitats de Catalunya Difusió Teraflop: novetats en els serveis oferts, en la computació d’altes prestacions i en les comunicacions avançades.www.cesca.es
  23. 23.   Supercomputació  Clúster d’e-informació  Eines de monitorització  Eines de comunicacions  Integradors en repositoris  Eines corporatives
  24. 24. 1991 1991 1993; 96 1995; 96; 97; 98IBM 3090/600 J CRAY X-MP CRAY Y-MP IBM SP20,83 Gflop/s 0,24 Gflop/s 0,67; 1,33 Gflop/s 3,17; 11,70; 18,55; 27,41 Gflop/s 1998; 99 1999HP V2250; V2500 HP N400015,36; 28,16 Gflop/s 14,08 Gflop/s
  25. 25.   Des de finals de 2000 ha crescut el recolzament de fabricants com IBM, SUN i HP  El primer clúster Linux es va instal·lar al CESCA el 2001  Els dos supercomputadors més nous, SGI Altix i HP CP4000 tenen SO SUSE Linux
  26. 26. 2001 2003 2005 2006HPC320+Beowulf DS10 HP GS1280 SGI Altix 3700 HP CP400053,31+9,60 Gflop/s 36,80 Gflop/s 819,20 Gflop/s 580,80 Gflop/s RedHat Tru64 SUSE SUSE
  27. 27.   Supercomputació  Clúster d’e-informació  Eines de monitorització  Eines de comunicacions  Integradors en repositoris  Eines corporatives
  28. 28. Repositoris Portals … … Balancejadors … Nodes dedicats Serveis … Dades … Entorn de desenvolupament Entorn de preproducció Entorn de producció Xarxa demmagatzematge
  29. 29. amb
  30. 30.   Supercomputació  Clúster d’e-informació  Eines de monitorització  Eines de comunicacions  Integradors en repositoris  Eines corporatives
  31. 31.  Detecció d’errors Detecció de mal funcionaments Mesura capacitats Previsió de les necessitats a curt i mig termini Actuacions ràpides en casos dincidències crítiques Gràfic setmanal d’ús de CPU de l’Altix (MRTG)
  32. 32.  MRTG Nagios Ganglia System Heath Check (SHC) MTR Monitorització de xarxes •  MRTG •  CRICKET (basat en rrdtool) •  CACTI (basat en rrdtool) •  Ethereal/Wireshask •  Tcpdump
  33. 33.  Ganglia
  34. 34.  Nagios
  35. 35.   Supercomputació  Clúster d’e-informació  Eines de monitorització  Eines de comunicacions  Integradors en repositoris  Eines corporatives
  36. 36. ISC Bind DNS wu-ftpd FTP Certificació OpenSSL innd (de l’ISC) Proxy News HTTP/Squid FTP NTP Tallafocs openntp OpenBSD pf Detecció Anàlisi intrusions Snort NIDS tràfic tcpdump / wiresharkc Correu Postfix, Dovecot...
  37. 37.   Supercomputació  Clúster d’e-informació  Eines de monitorització  Eines de comunicacions  Integradors en repositoris  Eines corporatives
  38. 38. Tesis Doctorals en Xarxa (TDX)Dipòsit de la Recerca de CatalunyaRevistes Catalanes amb Accés ObertPatrimoni Digital de Catalunya (PADICAT)Memòria Digital de Catalunya (MDC)Repositorio Español de Ciencia y TecnologíaMaterial Docent en Xarxa (MDX)
  39. 39.  4 eixos bàsics! Accés obert Cooperatius Interoperatibitat (OAI-PMH) • Programari per repositoris de propòsit general • Programari per gestió i publicació de revistes • Programari per repositoris de webs Principal avantatge de l’ús de PL? Adaptabilitat
  40. 40.  Programari per repositoris de propòsit general •  Eprints, Fedora, …, DSpace •  Implementat a Programari per gestió i publicació de revistes •  DSpace, LODEL, Open Journal Systems (OJS) •  Implementat a Programari per repositoris de webs •  Heritrix, NutchWAX, WERA, Wayback, Webcurator •  Implementat a
  41. 41.  DSpace és un dipòsit digital de codi obert capaç de capturar, emmagatzemar, indexar, preservar i distribuir material digital de recerca. Desenvolupat pel MIT i HP.
  42. 42.  Adaptació a requisits •  1.2  1.4.2  1.5.1 •  Disseny gràfic •  Traducció al català •  Personalitzacions •  Integració CCUC •  Accents, Stop words... •  ...
  43. 43.  OJS és un programari de codi obert desenvolupat pel Public Knowledge Project (PKP) amb l’objectiu de promoure l’accés a la investigació, facilitant l’administració i la publicació de revistes. Eina de gestió integral de revistes + repositori.   Faculty of Education at University of British Columbia   Simon Fraser University Library   School of Educational at Stanford University   Canadian Centre for Studies in Publishing at Simon Fraser University
  44. 44.  1.190 instal·lacions CESCA Agost 2007
  45. 45.  Adaptació a requisits •  Disseny gràfic •  Traducció al català •  Personalitzacions •  Concepte “revista” •  Concepte “institució editora” •  3 nous mòduls
  46. 46.  Objectiu: arxivar el web català + 1.000 webs + 3.000 captures + 35 M fitxers + 2 TB Reculls especials  3 eleccions  Folk-rock
  47. 47. 1.  Recol·lector2.  Indexador3.  Visualitzador Cercador WERA + index
  48. 48.   Supercomputació  Clúster d’e-informació  Eines de monitorització  Eines de comunicacions  Integradors en repositoris  Eines corporatives
  49. 49. •  SSH•  Firefox•  Thunderbird•  Openoffice•  GIMP Eines•  Pidgin corporatives•  >rdesktop
‐f
xxx.cesca.cat

  50. 50. IntranetUploadConsigna Missatgeria Directori de instantània contactes Eines corporatives Repositori i Webmail enviament de fitxers Gestió ReservaRequest Tracker d’incidencies de sales
  51. 51.   El CESCA és un centre gestor d’e-infrastructures al servei de la universitat i la recerca  Ús de programari lliure a totes les capes: •  Sistema operatiu (Linux) •  Aplicatius base (Apache, Tomcat, PostgreSQL…) •  Monitorització (Nagios, Ganglia…) •  Comunicacions (ISC Bind, Snort…) •  Repositoris (Dspace, OJS, Heritrix…) •  Eines corporatives (Twiki, MRBS…)  Independència de proveïdor, comunitat, correcció d’errors, però sobretot, adaptabilitat als requisits concretes de cada projecte  No al tòpic que el programari lliure és barat. Costa molt temps i recursos. Una solució és compartir costos amb e-infraestructures cooperatives
  52. 52. rdelavega@cesca.cattvia@cesca.cat

×