Presentación GridUAM 201112

2,049 views

Published on

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total views
2,049
On SlideShare
0
From Embeds
0
Number of Embeds
1,112
Actions
Shares
0
Downloads
0
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Presentación GridUAM 201112

  1. 1. GridUAM - Implementación de nodos grid basados en clusters e integrados a Grid Colombia a través de RENATA utilizando software libre http://griduam.labs.net.co/
  2. 2. Autor Ing. Jorge Iván Meza Martínez Asesora Ing. Ana Lorena Uribe Hurtado Maestría en Gestión y Desarrollo de Proyectos de Software Grupo de Investigación – Ingeniería de Software Universidad Autónoma de Manizales 2010 - 2011
  3. 3. Universidad Autónoma de Manizales Colciencias Ana Lorena Uribe asesora del proyecto. Luis Fernando Castillo director de la maestría. Gustavo A. Isaza John Sanabria pares evaluadores. Agradecimientos
  4. 4. Agradecimientos Proyecto Grid Colombia José Caballero Open Science Grid. Familia, compañeros, amigos y todas las personas que nos apoyaron durante el desarrollo de este proyecto.
  5. 5. Implantación de Learning Management System (LMS) sobre una infraestructura Cluster usando RENATA
  6. 6. Tomado de http://www.uclan.ac.uk/information/services/kt/businesses/facilities/advanced_movement_lab.php
  7. 7. Cursos de análisis del movimiento
  8. 8. Cursos de análisis del movimiento Se requieren demasiados recursos computacionales! <ul><ul><li>Procesamiento
  9. 9. Almacenamiento
  10. 10. Ancho de banda </li></ul></ul>
  11. 11. La solución: clusters
  12. 12. Cursos de análisis del movimiento
  13. 13. Iniciativa Grid Colombiana
  14. 14. Cómo relacionar nuestro proyecto con la Grid Colombiana y aprovechar su infraestructura ?
  15. 15. Tecnologías libres y estándares abiertos
  16. 16. Tomado de http://www.flickr.com/photos/pro365ject/493051023/
  17. 17. Objetivos Implementar dos nodos GRID basados en CLUSTERS integrados a GRID Colombia a través de la Red Nacional Académica de Tecnología Avanzada (RENATA) utilizando software libre.
  18. 18. Objetivos Implementar dos nodos GRID basados en CLUSTERS integrados a GRID Colombia a través de la Red Nacional Académica de Tecnología Avanzada (RENATA) utilizando software libre.
  19. 19. Objetivos <ul><li>Determinar infraestructura disponible y necesaria
  20. 20. Nivel de Cluster
  21. 21. Nivel de Grid
  22. 22. Documentar </li></ul>
  23. 23. Objetivos <ul><li>Determinar infraestructura disponible y necesaria
  24. 24. Nivel de Cluster
  25. 25. Nivel de Grid
  26. 26. Documentar </li></ul><ul><ul><li>Determinar arquitectura y tecnologías
  27. 27. Implementar </li></ul></ul>
  28. 28. Objetivos <ul><li>Determinar infraestructura disponible y necesaria
  29. 29. Nivel de Cluster
  30. 30. Nivel de Grid
  31. 31. Documentar </li></ul><ul><ul><li>Determinar arquitectura y tecnologías
  32. 32. Ubicar componentes
  33. 33. Implementar </li></ul></ul>
  34. 34. Nivel de Cluster Nivel de Grid Documentación Metodología ad hoc
  35. 35. Nivel de Cluster Nivel de Grid Documentación <ul><li>Administrador Instalación y configuración
  36. 36. Usuario Administración y uso
  37. 37. Pruebas y verificaciones </li></ul>Metodología ad hoc
  38. 38. Qué es un Cluster ?
  39. 39. Qué es un Cluster ?
  40. 40. Nuestro hardware 6 servidores 8 Procesadores 30 Núcleos 102 GB RAM 3.7 TB HD 4 Servidores 4 Procesadores 16 Núcleos 64 GB RAM 2 TB HD
  41. 42. Tipos de Clusters Cluster de alto rendimiento (HPC – High Performance Clusters ) Cluster de alta disponibilidad (HAC – High Availability Clusters ) Cluster de alta eficiencia (HTC – High Throughput Clusters )
  42. 43. University of Wisconsin-Madison http://research.cs.wisc.edu/condor/
  43. 44. Arquitectura del Cluster <ul><li>Nodo principal ( head )
  44. 45. Nodo sistema de archivos compartido ( nfs )
  45. 46. Nodos trabajadores ( worker nodes )
  46. 47. Nodos cliente ( submitter nodes ) </li></ul>*
  47. 50. Universos de Condor <ul><li>Vanilla
  48. 51. Standard
  49. 52. Java
  50. 53. Parallel
  51. 54. Grid </li></ul>
  52. 55. <ul><li>Software no apto
  53. 56. Software que puede dividir su entrada
  54. 57. Software diseñado para Cluster/Grid </li></ul>Trabajos para el Cluster
  55. 58. Cómo envío trabajos ? universe = vanilla executable = /opt/jtr/current/john transfer_executable = false should_transfer_files = yes when_to_transfer_output = ON_EXIT notification = Error transfer_input_files = files/accounts.data input = files/accounts.data output = _john.$(Cluster).$(Process).out error = _john.$(Cluster).$(Process).err log = _john.$(Cluster).$(Process).log arguments = --session=_john_X --users=usuario1,usuario2,usuario3 accounts.data queue arguments = --session=_john_X --users=usuario4,usuario5,usuario6 accounts.data queue
  56. 59. Implementación Máquinas virtualizadas con KVM Pruebas Documentación Producción
  57. 60. Implementación Instalación personalizada para proveer mayor flexibilidad mediante el uso del sistema de archivos compartido (NFS) y el acceso al shell seguro (SSH).
  58. 61. Documentación
  59. 62. Documentación
  60. 63. Documentación
  61. 64. Documentación: listas de verificación
  62. 65. Qué es Grid ?
  63. 66. Qué es Grid ?
  64. 67. Un nuevo amigo
  65. 68. Pila de herramientas Componentes (paquetes) Globus Condor-G
  66. 69. Arquitectura de la Grid <ul><li>Compute Element (CE)
  67. 70. Storage Element (SE)
  68. 71. OSG Client (UI)
  69. 72. Grid User Managementy System (GUMS)
  70. 73. VO Membership Service (VOMS)
  71. 74. VO Management Registration Service (VOMRS)
  72. 75. Grid Operation Center (GOC)
  73. 76. Certificate Authority (CA) </li></ul>
  74. 77. Arquitectura de la Grid: sitio mediano
  75. 78. Arquitectura de la Grid: sitio pequeño
  76. 79. Nodos Grid en Colombia: 02/12/2011 Tomado de http://tinyurl.com/4ytvqbb
  77. 80. Nodos Grid en Manizales Tomado de http://tinyurl.com/cem2vt2
  78. 81. Cómo envío trabajos ? universe = grid grid_resource = gt2 ce.migrid.com/jobmanager-condor executable = /nfs/osg/app/jtr/current/john transfer_executable = false should_transfer_files = yes when_to_transfer_output = ON_EXIT notification = Error transfer_input_files = files/accounts.data input = files/accounts.data output = _john.$(Cluster).$(Process).out error = _john.$(Cluster).$(Process).err log = _john.$(Cluster).$(Process).log arguments = --session=_john_X --users=usuario1,usuario2,usuario3 accounts.data queue arguments = --session=_john_X --users=usuario4,usuario5,usuario6 accounts.data queue
  79. 82. Organizaciones virtuales Tomado de http://www.flickr.com/photos/onefish2/3239228221/
  80. 83. Organizaciones virtuales OSGEDU GCVO GCEDU GCBIO
  81. 84. Bioinformática Tomado de http://www.flickr.com/photos/sanofi-pasteur/5283858158/
  82. 85. GCBIO
  83. 86. GCBIO Experimentación con software de bioinformática <ul><ul><li>Blast
  84. 87. Meme
  85. 88. Interpro Scan
  86. 89. CLC
  87. 90. Abyss
  88. 91. Emboss
  89. 92. BioPerl
  90. 93. Matlab
  91. 94. Octave
  92. 95. R </li></ul></ul>
  93. 96. Documentación http://griduam.labs.net.co/
  94. 97. Documentación 2 años ~ 8000 visitas
  95. 98. Logros destacables <ul><li>Cumplimiento de los objetivos en los plazos estimados.
  96. 99. Despliegues en Universidad Autónoma de Manizales y Universidad del Rosario (nivel 7).
  97. 100. Participación activa en los eventos de Grid Colombia y OSG Schools en Colombia.
  98. 101. Se dictó curso Nivel de Cluster para las instituciones de la región. </li></ul>
  99. 102. <ul><li>Curso Nivel de Grid (propuesto).
  100. 103. Se dictó un workshop de computación en Grid en el 6CCC.
  101. 104. Curso para usuarios de la Grid (aplazado para 2012).
  102. 105. Apoyo a la GCBIO.
  103. 106. Generó conocimiento para la comunidad. </li></ul>Logros destacables
  104. 107. Trabajo futuro La infraestructura está lista ahora es necesario aprovecharla
  105. 108. <ul><li>Software diseñado para Cluster/Grid
  106. 109. Adaptar software ( clusterizar / gridificar )
  107. 110. Desarrollar nuevo software (Globus, MPI, …)
  108. 111. Mejorar seguridad
  109. 112. Integración Cluster, Grid y Cloud
  110. 113. Fortalecer GCBIO
  111. 114. Apoyar investigadores de otras áreas </li></ul>Trabajo futuro
  112. 115. Preguntas ?
  113. 116. Gracias! Creative Commons Attribution-ShareAlike 3.0 Unported License

×