SlideShare a Scribd company logo
1 of 25
Αθανασίου Γ. Κωνσταντίνος
Πρόγραμμα Μεταπτυχιακών Σπουδών “Πληροφορική και Τηλεματική”
Τμήμα Πληροφορικής και Τηλεματικής
Χαροκόπειο Πανεπιστήμιο
Σύγχρονες Αρχιτεκτονικές Υπολογιστικών
Συστημάτων
09/01/20131
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο
Εργασία για το Ακαδημαϊκό Έτος 2013-14
Vincent A. Fusaro, Prasad Patil, Eric Gafni, Dennis P. Wall, Peter J.
Tonellato
Biomedical Cloud Computing With
Amazon Web Services
09/01/20132
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο
Εργασία για το Ακαδημαϊκό Έτος 2013-14
Περιεχόμενα
Εισαγωγή
Amazon Web Services
Ασφάλεια στο Cloud
Πρωτότυπο & Ανάπτυξη
Κλιμακωτή ανάπτυξη υπολογιστικού περιβάλλοντος
Περίπτωση Μελέτης: Δημιουργία ολόκληρου
γονιδιώματος στο υπολογιστικό πλαίσιο
Επίλογος
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο3
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
Εισαγωγή
Βιοϊατρική  τεχνολογία
Εναλλακτική προσέγγιση
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο4
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
Εισαγωγή
Σκοπός
Cloud στη βιοϊατρική
Ανάπτυξη έργων
Κόστος έργων
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο5
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
Εισαγωγή
Πάροχοι
επί πληρωμή-commercial
AWS, Rackspace, GoGrid
Ανοιχτοί-Open Source
Eucalyptus, Nimbus
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο6
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
Εισαγωγή
Luis M. Vaquero (ερευνητής βιοϊατρικής)
"cloud is a large pool of easily usable
and accessible virtualized resources.
These resources can be dynamically
re-configured to adjust to variable load,
allowing for optimum resource
utilization"
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο7
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
Εισαγωγή
Εργαλείο προσφοράς περιοδικής
υπολογιστικής ισχύς
Ελκυστική εναλλακτική
Εικονική τεχνολογία
Οικονομική επιλογή
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο8
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
Amazon Web Services
Μνήμη, ισχύ, χώρο, δικτύωση
IaaS
Ευεληξία στο σχεδιασμό έργων ad hoc
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο9
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
Amazon Web Services
Elastic Computer Cloud (EC2)
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο10
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
Amazon Web Services
Elastic Block Storage (EBS)
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο11
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
Amazon Web Services
Simple Storage Service (S3)
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο12
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
Amazon Web Services
Buckets
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο13
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
Ασφάλεια στο Cloud
Με χρήση ζεύγους
δημοσίου/ιδιωτικού κλειδιού
Με χρήση ασφαλούς σύνδεσης
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο14
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
Ασφάλεια στο Cloud
Δημιουργία λογαριασμών με περιορισμένες
δυνατότητες
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο15
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
Ασφάλεια στο Cloud
Έλεγχος πρόσβασης με χρήση
τοιχωμάτων προστασίας – firewalls
Επιπλεόν ασφάλεια
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο16
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
Πρωτότυπο & Ανάπτυξη
Υλικό
Δεδομένα
Χρόνο απόκρισης
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο17
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
Κλιμακωτή ανάπτυξη υπολογιστικού περιβάλλοντος
Συνδυασμός προγραμμάτων - cloud
Σύμπλεγμα (cluster)
StarCluster
Boto
Condor
Hadoop
AWS Elastic Map Reduce (EMR)
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο18
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
Περίπτωση Μελέτης: Δημιουργία ολόκληρου
γονιδιώματος στο υπολογιστικό πλαίσιο
Μέγεθος ~4 δισ. Ζεύγη γονιδίων
MAQ
Μέγεθος δεδομένων 370 GB
Χαρτογράφηση σε 303 φακέλους
Χρόνος υπολογισμού εκτός cloud για
φάκελο
4-12 ώρες
Έως και 24 ώρες
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο19
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
Περίπτωση Μελέτης: Δημιουργία ολόκληρου
γονιδιώματος στο υπολογιστικό πλαίσιο - $ 3.85
Instance
MAQ (10 h, 800 MB  1 εκατμ. ζεύγη)
7 GB
Κόστος $ 0.68 /h
400 GB  EBS
Μικρή ποσότητα δεδομένων
Μέτρια
Ολόκληρο γονιδίωμα
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο20
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
Περίπτωση Μελέτης: Δημιουργία ολόκληρου
γονιδιώματος στο υπολογιστικό πλαίσιο - $ 49.60
Cluster των 2 instances
Sun Grid Engine, OpenMPI
Ρυθμίσεις ασφαλείας
Παροχή ID
Εγκατάσταση MAQ
Αντίγραφο Ασφαλείας
Ζεύγη κλειδιών
Εγκατάσταση StarCluster
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο21
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
Περίπτωση Μελέτης: Δημιουργία ολόκληρου
γονιδιώματος στο υπολογιστικό πλαίσιο - $ 320.10
38 instances
38*8 = 304 CPU cluster
Επικοινωνία με το EBS – 370 GB.
Sun Grid Engine – 10 h
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο22
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
Περίπτωση Μελέτης: Δημιουργία ολόκληρου
γονιδιώματος στο υπολογιστικό πλαίσιο
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο23
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
Επίλογος
Cloud στη βιοϊατρική
Γρήγορες και οικονομικές λύσεις
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο24
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
Επίλογος
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο25
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών

More Related Content

Featured

2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by HubspotMarius Sescu
 
Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTExpeed Software
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsPixeldarts
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthThinkNow
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfmarketingartwork
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024Neil Kimberley
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)contently
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024Albert Qian
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsKurio // The Social Media Age(ncy)
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Search Engine Journal
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summarySpeakerHub
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next Tessa Mero
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentLily Ray
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best PracticesVit Horky
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project managementMindGenius
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...RachelPearson36
 

Featured (20)

2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot2024 State of Marketing Report – by Hubspot
2024 State of Marketing Report – by Hubspot
 
Everything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPTEverything You Need To Know About ChatGPT
Everything You Need To Know About ChatGPT
 
Product Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage EngineeringsProduct Design Trends in 2024 | Teenage Engineerings
Product Design Trends in 2024 | Teenage Engineerings
 
How Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental HealthHow Race, Age and Gender Shape Attitudes Towards Mental Health
How Race, Age and Gender Shape Attitudes Towards Mental Health
 
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdfAI Trends in Creative Operations 2024 by Artwork Flow.pdf
AI Trends in Creative Operations 2024 by Artwork Flow.pdf
 
Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
 

Biomedical Cloud Computing With Amazon Web Services

  • 1. Αθανασίου Γ. Κωνσταντίνος Πρόγραμμα Μεταπτυχιακών Σπουδών “Πληροφορική και Τηλεματική” Τμήμα Πληροφορικής και Τηλεματικής Χαροκόπειο Πανεπιστήμιο Σύγχρονες Αρχιτεκτονικές Υπολογιστικών Συστημάτων 09/01/20131 Τμήμα Πληροφορικής & Τηλεματικής, Χαροκόπειο Πανεπιστήμιο Εργασία για το Ακαδημαϊκό Έτος 2013-14
  • 2. Vincent A. Fusaro, Prasad Patil, Eric Gafni, Dennis P. Wall, Peter J. Tonellato Biomedical Cloud Computing With Amazon Web Services 09/01/20132 Τμήμα Πληροφορικής & Τηλεματικής, Χαροκόπειο Πανεπιστήμιο Εργασία για το Ακαδημαϊκό Έτος 2013-14
  • 3. Περιεχόμενα Εισαγωγή Amazon Web Services Ασφάλεια στο Cloud Πρωτότυπο & Ανάπτυξη Κλιμακωτή ανάπτυξη υπολογιστικού περιβάλλοντος Περίπτωση Μελέτης: Δημιουργία ολόκληρου γονιδιώματος στο υπολογιστικό πλαίσιο Επίλογος 09/01/2013 Τμήμα Πληροφορικής & Τηλεματικής, Χαροκόπειο Πανεπιστήμιο3 Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
  • 4. Εισαγωγή Βιοϊατρική  τεχνολογία Εναλλακτική προσέγγιση 09/01/2013 Τμήμα Πληροφορικής & Τηλεματικής, Χαροκόπειο Πανεπιστήμιο4 Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
  • 5. Εισαγωγή Σκοπός Cloud στη βιοϊατρική Ανάπτυξη έργων Κόστος έργων 09/01/2013 Τμήμα Πληροφορικής & Τηλεματικής, Χαροκόπειο Πανεπιστήμιο5 Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
  • 6. Εισαγωγή Πάροχοι επί πληρωμή-commercial AWS, Rackspace, GoGrid Ανοιχτοί-Open Source Eucalyptus, Nimbus 09/01/2013 Τμήμα Πληροφορικής & Τηλεματικής, Χαροκόπειο Πανεπιστήμιο6 Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
  • 7. Εισαγωγή Luis M. Vaquero (ερευνητής βιοϊατρικής) "cloud is a large pool of easily usable and accessible virtualized resources. These resources can be dynamically re-configured to adjust to variable load, allowing for optimum resource utilization" 09/01/2013 Τμήμα Πληροφορικής & Τηλεματικής, Χαροκόπειο Πανεπιστήμιο7 Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
  • 8. Εισαγωγή Εργαλείο προσφοράς περιοδικής υπολογιστικής ισχύς Ελκυστική εναλλακτική Εικονική τεχνολογία Οικονομική επιλογή 09/01/2013 Τμήμα Πληροφορικής & Τηλεματικής, Χαροκόπειο Πανεπιστήμιο8 Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
  • 9. Amazon Web Services Μνήμη, ισχύ, χώρο, δικτύωση IaaS Ευεληξία στο σχεδιασμό έργων ad hoc 09/01/2013 Τμήμα Πληροφορικής & Τηλεματικής, Χαροκόπειο Πανεπιστήμιο9 Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
  • 10. Amazon Web Services Elastic Computer Cloud (EC2) 09/01/2013 Τμήμα Πληροφορικής & Τηλεματικής, Χαροκόπειο Πανεπιστήμιο10 Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
  • 11. Amazon Web Services Elastic Block Storage (EBS) 09/01/2013 Τμήμα Πληροφορικής & Τηλεματικής, Χαροκόπειο Πανεπιστήμιο11 Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
  • 12. Amazon Web Services Simple Storage Service (S3) 09/01/2013 Τμήμα Πληροφορικής & Τηλεματικής, Χαροκόπειο Πανεπιστήμιο12 Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
  • 13. Amazon Web Services Buckets 09/01/2013 Τμήμα Πληροφορικής & Τηλεματικής, Χαροκόπειο Πανεπιστήμιο13 Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
  • 14. Ασφάλεια στο Cloud Με χρήση ζεύγους δημοσίου/ιδιωτικού κλειδιού Με χρήση ασφαλούς σύνδεσης 09/01/2013 Τμήμα Πληροφορικής & Τηλεματικής, Χαροκόπειο Πανεπιστήμιο14 Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
  • 15. Ασφάλεια στο Cloud Δημιουργία λογαριασμών με περιορισμένες δυνατότητες 09/01/2013 Τμήμα Πληροφορικής & Τηλεματικής, Χαροκόπειο Πανεπιστήμιο15 Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
  • 16. Ασφάλεια στο Cloud Έλεγχος πρόσβασης με χρήση τοιχωμάτων προστασίας – firewalls Επιπλεόν ασφάλεια 09/01/2013 Τμήμα Πληροφορικής & Τηλεματικής, Χαροκόπειο Πανεπιστήμιο16 Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
  • 17. Πρωτότυπο & Ανάπτυξη Υλικό Δεδομένα Χρόνο απόκρισης 09/01/2013 Τμήμα Πληροφορικής & Τηλεματικής, Χαροκόπειο Πανεπιστήμιο17 Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
  • 18. Κλιμακωτή ανάπτυξη υπολογιστικού περιβάλλοντος Συνδυασμός προγραμμάτων - cloud Σύμπλεγμα (cluster) StarCluster Boto Condor Hadoop AWS Elastic Map Reduce (EMR) 09/01/2013 Τμήμα Πληροφορικής & Τηλεματικής, Χαροκόπειο Πανεπιστήμιο18 Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
  • 19. Περίπτωση Μελέτης: Δημιουργία ολόκληρου γονιδιώματος στο υπολογιστικό πλαίσιο Μέγεθος ~4 δισ. Ζεύγη γονιδίων MAQ Μέγεθος δεδομένων 370 GB Χαρτογράφηση σε 303 φακέλους Χρόνος υπολογισμού εκτός cloud για φάκελο 4-12 ώρες Έως και 24 ώρες 09/01/2013 Τμήμα Πληροφορικής & Τηλεματικής, Χαροκόπειο Πανεπιστήμιο19 Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
  • 20. Περίπτωση Μελέτης: Δημιουργία ολόκληρου γονιδιώματος στο υπολογιστικό πλαίσιο - $ 3.85 Instance MAQ (10 h, 800 MB  1 εκατμ. ζεύγη) 7 GB Κόστος $ 0.68 /h 400 GB  EBS Μικρή ποσότητα δεδομένων Μέτρια Ολόκληρο γονιδίωμα 09/01/2013 Τμήμα Πληροφορικής & Τηλεματικής, Χαροκόπειο Πανεπιστήμιο20 Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
  • 21. Περίπτωση Μελέτης: Δημιουργία ολόκληρου γονιδιώματος στο υπολογιστικό πλαίσιο - $ 49.60 Cluster των 2 instances Sun Grid Engine, OpenMPI Ρυθμίσεις ασφαλείας Παροχή ID Εγκατάσταση MAQ Αντίγραφο Ασφαλείας Ζεύγη κλειδιών Εγκατάσταση StarCluster 09/01/2013 Τμήμα Πληροφορικής & Τηλεματικής, Χαροκόπειο Πανεπιστήμιο21 Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
  • 22. Περίπτωση Μελέτης: Δημιουργία ολόκληρου γονιδιώματος στο υπολογιστικό πλαίσιο - $ 320.10 38 instances 38*8 = 304 CPU cluster Επικοινωνία με το EBS – 370 GB. Sun Grid Engine – 10 h 09/01/2013 Τμήμα Πληροφορικής & Τηλεματικής, Χαροκόπειο Πανεπιστήμιο22 Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
  • 23. Περίπτωση Μελέτης: Δημιουργία ολόκληρου γονιδιώματος στο υπολογιστικό πλαίσιο 09/01/2013 Τμήμα Πληροφορικής & Τηλεματικής, Χαροκόπειο Πανεπιστήμιο23 Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
  • 24. Επίλογος Cloud στη βιοϊατρική Γρήγορες και οικονομικές λύσεις 09/01/2013 Τμήμα Πληροφορικής & Τηλεματικής, Χαροκόπειο Πανεπιστήμιο24 Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
  • 25. Επίλογος 09/01/2013 Τμήμα Πληροφορικής & Τηλεματικής, Χαροκόπειο Πανεπιστήμιο25 Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών

Editor's Notes

  1. Η έρευνα στην βιοϊατρική ακολουθεί την εξέλιξη της τεχνολογίας. Αποτελεί μια ενοποιημένη διαδικασία καθώς όσο πιο γρήγορη είναι η νέα τεχνολογία (μνήμη, επεξεργαστές, δίσκος), τόσο πιο γρήγορα θα αποδώσει τα δεδομένα στους ερευνητές της βιοϊατρικής. Γιαυτό το λόγο, πολλές εταιρίες βιοϊατρικής/φαρμακευτικής σκέφτονται να χρησιμοποιήσουν το cloud, ως μια εναλλακτική προσέγγιση επεξεργασίας και αποθήκευσης δεδομένων.
  2. Σκοπός του άρθρου αποτελεί παρουσίαση του cloud στη βιοϊατρική παρουσίαση ανάπτυξης έργων στο cloud παρουσίαση κόστους ανάπτυξης των παραπάνω έργων
  3. Υπάρχουν πολλαπλοί πάροχοι της υπηρεσίας cloud, επί πληρωμή ή και δωρεάν, όπως Amazon Web Services (AWS), Rackspace, GoGrid, Nimbus, Eucalyptus. Εμείς θα επικεντρωθούμε στη πλατφόρμα AWS .
  4. Vaquero "cloud is a large pool of easily usable and accessible virtualized resources. These resources can be dynamically re-configured to adjust to variable load, allowing for optimum resource utilization" cloud είναι μια μεγάλη πισίνα εύκολης χρηστικότητας και προσβάσιμων εικονικών πόροι. Οι πόροι αυτοί μπορούν να ρυθμιστούν δυναμικά εκ, επιτρέποντας τη βέλτιστη αξιοποίηση των πόρων
  5. Το cloud αποτελεί το ιδανικό εργαλείο για έργα που απαιτούν περιοδικά υπολογιστική ισχύ. Επίσης, αποτελεί μία ελκυστική εναλλακτική σε περιπτώσεις όπου τα τοπικά μηχανήματα φτάνουν στο όριό τους (ταχύτητα, χώρος, μνήμη). Αποτελεί μια εικονική τεχνολογία, στην οποία το υλικό αναπτύσεται εικονικά σε πολλαπλά συστήματα και σε πολλές περιπτώσεις ("instances"). Αποτελεί, επιπλέον μια οικονομική επιλογή, καθώς αγοράζεις υπολογιστική μηχανή όποτε χρειάζεσαι και μόνο, αποκλείοντας με αυτό το τρόπο τη συνεχή κατανάλωση πόρων και χρημάτων.
  6. AWS παρέχει τον απαραίτητο εξοπλισμό (μνήμη, ισχύ, χώρο, δικτύωση) και χαρακτηρίζεται ως Infrastructure as a Service (IaaS). Το IaaS είναι γνωστό στους ερευνητές βιολογίας διότι παρέχει ευεληξία στο σχεδιασμό έργων (ad hoc, μια πράξη που γίνεται για ειδικό σκοπό και συνήθως κατ' εξαίρεση των συνηθισμένων κανόνων).
  7. Τρία πακέτα υπηρεσιών από το AWS Elastic Computer Cloud (EC2) - περιέχει "instances", όπου ο χρήστης μπορεί να επιλέξει με κλίμακα ως προς το κόστος και την υπολογιστική ισχύ. Ενεργοποιείται σε λίγα λεπτά και ο χρήστης έχει δικαιώματα admin.
  8. Elastic Block Storage (EBS) - μηχανισμός αποθήκευσης που μπορεί να προσαρτηθεί σε ένα τρέχων "instance". Μπορούμε να το προσομοιάσουμε ως ένα USB με χωριτικότητα από 1GB έως 1 TB. Λαμβάνονται τακτικά αντίγραφα ασφαλείας (back-up) και παρέχετε αντοχή σε ποσοστό 99.7%. Οι χρήστες μπορούν να λάβουν επιπλέον αντίγραφο ασφαλείας του EBS στον S3, παίρνοντας ένα στιγμιότυπο (snapshot).
  9. Simple Storage Service (S3) - αποτελεί αξιόπιστο σύστημα αποθήκευσης δεδομένων .
  10. Το συστημα φακέλων χωρίζεται σε πακέτα "buckets", διανέμονται σε πολλαπλούς χώρους δεδομένων ("data center") καθώς επίσης και δημιουργούνται αντίγραφα ασφαλείας που διανέμονται σε διαφορετικούς χώρους δεδομένων. Παρέχει 99.999999999% αντοχή και 99.99% διαθέσιμα τα αρχεία όποτε ζητηθούν (από εξουσιοδοτημένους χρήστες). Για τη πρόσβαση στη πλατφόρμα AWS, ο χρήστης έχει δύο επιλογές. Διαμέσου της διεπαφής (Web-based console) ή διαμέσου εντολών (AWS-specific application programming interface-API). Το κόστος του AWS μετριέται είτε ανά ώρα είτε με τη ποσότητα μεταφοράς ή αποθήκευσης δεδομένων.
  11. Θα αναφερθούμε στις καλύτερες πρακτικές ελέγχου κόστους και ασφάλειας δεδομένων Με χρήση ζεύγους δημοσίου/ιδιωτικού κλειδιού. Το δημόσιο κλειδί είναι ανοιχτό προς όλους, ενώ τα κρυπτογραφημένα δεδομένα μπορούν να αποκρυπτογραφηθούν μόνο με χρήση του ιδιωτικού κλειδιού. Είναι λογικό, το ιδιωτικό κλειδί να μη φανερώνεται σε τρίτους καθώς αποτελεί τη ψηφιακή υπογραφή (ταυτότητα) του χρήστη. Με τον παραπάνω τρόπο παρέχεται αυθεντικοποίηση. Με χρήση ασφαλούς σύνδεσης. Χρησιμοποιώντας ασφαλή πρωτόκολλο όπως είναι Secure Shell(ssh) ή Secure Copy (scp), η μεταφορά δεδομένων γίνεται με ασφαλή τρόπο. Κατά την ενεργοποίηση ενός "instance", παρέχεται στο χρήστη ένα ζεύγος κλειδιών. Το δημόσιο αυτόματα αποθηκεύεται στο "instance", και το ιδιωτικό θα χρησιμοποιηθεί στον τοπικό υπολογιστή ώστε να συνδεθεί με το "instance". Δημιουργία λογαριασμών με περιορισμένες δυνατότητες. Το AWS παρέχει τη δυνατότητα διαχείρισης λογαριασμών (Identity and Access Management-IAM) πολλαπλών χρηστών. Κάθε χρήστης έχει τα δικά του χαρακτηριστικά και διαπιστευτήρια. Παράδειγμα, ένας χρήστης με συγκεκριμένη IP μπορεί να έχει πρόσβαση στο S3 μόνο από 9π.μ. έως 5 π.μ. .
  12. Θα αναφερθούμε στις καλύτερες πρακτικές ελέγχου κόστους και ασφάλειας δεδομένων Δημιουργία λογαριασμών με περιορισμένες δυνατότητες. Το AWS παρέχει τη δυνατότητα διαχείρισης λογαριασμών (Identity and Access Management-IAM) πολλαπλών χρηστών. Κάθε χρήστης έχει τα δικά του χαρακτηριστικά και διαπιστευτήρια. Παράδειγμα, ένας χρήστης με συγκεκριμένη IP μπορεί να έχει πρόσβαση στο S3 μόνο από 9π.μ. έως 5 π.μ. .
  13. Θα αναφερθούμε στις καλύτερες πρακτικές ελέγχου κόστους και ασφάλειας δεδομένων Έλεγχος πρόσβασης με χρήση τοιχωμάτων προστασίας - firewalls. Σε αυτή τη περίπτωση καθορίζονται κανόνες κίνησης δεδομένων. Από κατασκευής, δεν επιτρέπεται η εισροή δεδομένων, ενώ επιτρέπεται η έξοδος δεδομένων ή η επικοινωνία μεταξύ των "instances" Οι κανόνες αυτοί μπορούν να διαχειριστούν από εξουσιοδοτημένους χρήστες. Επιπλεόν ασφάλεια. Τα κλειδιά θα πρέπει να αλλάζουν κάθε 30-90 μέρες. Επίσης, επιπλέον λογισμικό μπορεί να προσπατεύει το λογισμικό από επιθέσεις. Υπάρχει επίσης το ιδιωτικό cloud , κρυπτογραφημένα συστήματα φακέλων τα οποία χρησιμοποιούνται μόνο από προσωπικό με παρόμοια δικαιώματα.
  14. Ένα απλό πρόγραμμα και όχι απαραίτητα απαιτητικό σε μνήμη, επεξεργαστική ισχύ και χώρο, λειτουργεί πιο αποδοτικά όταν χρησιμοποιείται σε συνδυασμό με ένα πιο γρήγορο επεξεργαστή, μεγαλύτερη μνήμη. Σε μερικές περιπτώσεις το κόστος είναι τόσο λίγο που οι χρήστες αφήνουν το "instance" να λειτουργεί συνέχεια. Θα πρέπει να κατανοήσουμε, στη περίπτωση που θέλουμε να δημιουργήσουμε "instance" τις τεχνικές προδιαγραφές του έργου που θέλουμε να αναπτύξουμε. Στο άρθο, οι συγγραφείς, προτείνουν τρία κριτήρια εκτίμησης. Υλικό. Αρχική εκτίμηση μνήμης, χώρου στο δίσκο, CPU ισχύ. (user documentation ή "top command" σε UNIX συστήματα). Δεδομένα. Η χρέωση στο AWS είναι ανά GB για μεταφορά εκτός cloud και ανά GB για αποθήκευση στο cloud. Αποτέλεσμα της χρέωσης είναι η εκτίμηση ανεπιθύμητων δεδομένων, καθώς η χρέωση γίνεται μόλις το "instance" ξεκινήσει τη λειτουργία του. Χρόνος απόκρισης. Σε συνδυασμό με τα δεδομένα, το κόστος του χρόνου απόκρισης σχετίζεται με τα δεδομένα. Όσο πιο πολλά έχουμε, τόσο το μεγάλο χρόνο απόκρισης θα έχουμε, με αποτέλεσμα μεγαλύτερο κόστος.
  15. Ένας τεράστιος όγκος επεξεργασίας δεδομένων σε συγκεκριμένο περιβάλλον αποτελεί μία από τις πιο εύκολα κατανοητές εργασίες του cloud. Παρόλαυτά, δε αποτελεί ένα μαγικό εργαλείο. Οι ενδιαφερόμενοι θα πρέπει να κατανοούν ότι τα προγράμματα που "τρέχουν" στο cloud θα πρέπει επίσης να είναι συμβατα. Παράδειγμα αποτελεί ένα πρόγραμμα που τρέχει σε παράλληλους επεξεργαστές. Αν δεν περιέχει τον αντίστοιχο κώδικα παραλληλισμού τότε δεν θα μπορέσει να ανταποκριθεί. Για τον παραπάνω λόγο δημιουργήθηκαν το σύμπλεγμα-συστάδα - "cluster". Παλαιότερα η δημιουργία των "cluster" γινόταν από εξειδικευμένο προσωπικό, ενώ σήμερα, υπάρχει λογισμικό που βοηθά τον χρήστη στη δημιουργία "cluster". Παράδειγμα open source framework είναι StarCluster, Boto, Condor, Hadoop. Τα παραπάνω δημιουργούν, τερματίζουν, αυτοματοποιούν εργασίες και προτιμούνται από ειδικούς της βιοϊατρικής οι οποίοι έχουν μικρή γνώση και εμπειρία στη διαχείριση συστημάτων. Στο AWS υπάρχει το Elastic Map Reduce (EMR). Σημείωση. Οι χρήστες για να μπορέσουν να εξοικωνωμήσουν χρήματα θα πρέπει να απενεργοποιήσουν τους CPU που δεν χρησιμοποιούνται.
  16. Η μελέτη περίπτωσης αναφέρεται στην εκτίμηση των διαδικασιών μελέτης των ανθρώπινων γονιδίων. Το μέγεθος ανάλυσης είναι ~4 δισ. ζεύγη γονιδίων. Για τη περίπτωση, η χαρτογράφηση και αναγνώριση των γονιδίων έγινε με το εργαλείο MAQ. Το MAQ είναι λογισμικό που δεν έχει σχεδιαστεί να χρησιμοποιείται σε παράλληλες διεργασίες και αποτελεί το πιο διαδεδομένο λογισμικό βιοϊατρικής. Το μέγεθος των γονιδίων είναι της τάξης 370 GB. Ο χρόνος υπολογισμού για ένα φάκελο από τους 303, εκτιμάται από 4 έω 12 ώρες που μπορεί να φτάσει έως και 1 μέρα. (εκτός cloud)
  17. Αρχικά, ελέγχεται η ακολουθία του γονιδιώματος. Πραγματοποιείται ενεργοποίηση ενός "instance" , στο οποίο εγκαθήστατε το MAQ λογισμικό. Για να διαβαστεί και να χαρτογραφηθεί η ακολουθία , απαιτείται, σύμφωνα με το εγχειρίδιο 10 ώρες, 800 ΜΒ μνήμης για 1 εκατομ. ζεύγη. Δημιουργείται από το χρήστη ένα "instance" 7GB, 8 CPU, με κόστος $ 0.68 / h διαβάζονται περιεχόμενα 10.000 φακέλων. Με τη AWS κονσόλας, ενεργοποιείται το "instance". Επίσης, 400 GB στο EBS, ώστε να το ενσωματώσουμε στο "instance". Πραγματοποιείται σύνδεση και εγκαθήστατε το MAQ, διαμέσου του οποίου θα διαβαστεί το γονιδίωμα. Μέσα στο EBS, δημιουργούνται 3 περιοχές, όπου θα φιλοξενήσουν το γονιδίωμα. Μικρή ποσότητα δεδομένων (2 φάκελοι, 10.000 στοιχεία) Μέτρια (32 φάκελοι, 1 Μ στοιχεία) Ολόκληρο το γονιδίωμα. Η όλη διαδικασία εκτέλεσης απαιτεί 2 ώρες για τη πρώτη κατηγορία γονιδιώματος, με τη χρήση μόνο ενός CPU, καθώς το MAQ δε χρησιμοποιείται για παραλληλισμό. Για να μπορέσουμε να επιτύχουμε τη χρήση και των 8 CPU θα δημιουργήσουμε ένα ''cluster".
  18. Παρουσιάζεται, στη συνέχεια η χρήση του StarCluster με τη δημιουργία και διαχείριση μικρών cluster των 2 "instances".Χρησιμοποιεί την έκδοση Sun Grid Engine για τη διαχείριση των διεργασιών σε συνδυασμό με το OpenMPI για την επικοινωνία μεταξύ των "instances". Αρχικά, θα πρέπει να γίνουν οι απαραίτητες ρυθμίσεις ασφαλείας και έπειτα η εγκατάσταση του λογισμικού σε τοπικό μηχάνημα. Γίνονται οι αναγκαίες ρυθμίσεις του StarCluster ή του Amazon Machine Image. Το Amazon Machine παρέχει ένα αναγνωριστικό κλειδί -ID, ώστε να μπορεί να αναγνωριστεί και να προσαρμοστεί πάνω στο λογισμικό το EBS, το οποίο περιέχει τα δεδομένα ή να τρέξει καινούργια "instances". Έπειτα γίνεται εγκατάσταση του MAQ. Προσαρμόζουμε το "instance" στο AMI, ώστε να μπορεί διαμέσου του StarCluster να ενεργοποιούνται πολλαπλά "instances". Παίρνουμε αντίγραφο ασφαλείας και αποθηκεύεται στο S3. Το αντίγραφο ασφαλείας θα χρησιμοποιηθεί στο StatCluster ώστε να επιτρέψει τη πρόσβαση του κάθε "instance", στα δεδομένα. Δημιουργούμε ομάδα ασφαλείας και ζευγάρια κλειδιών για τη προστασία του λογαριασμού. Κάθε χρήστης που θα δημιουργηθεί έχει και διαφορετικά χαρακτηριστικά ή δύναται η δημιουργία χρήστη του cluster, ο οποίος δεν έχει πρόσβαση στον S3. Τέλος, γίνεται εγκατάσταση του StarCluster και των αντίστοιχων ρυθμίσεων που περιέχουν AMI ID, αριθμό "instances", χαρακτηριστικά χρηστών, τύπος "instances", ζευγάρια κλειδιών, EBS ID αντίγραφο ασφαλείας που περιέχει τα δεδομένα και την ομάδα ασφαλείας. Στη πρώτη περίπτωση, ελέγχουμε την επικοινωνία και τη λειτουργικότητα. Με τη χρήση του StarCluster δημιουργούμε 2 "instances". Αυτό επιστρέφει τις IP και μπορούμε να τις χρησιμοποιήσουμε διαμέσου του ssh στο "instances".
  19. Επεκτήνουμε τη περίπτωση μελέτης σε σημείο ώστε να μπορέσουμε να μελετήσουμε ολόκληρο το γονιδίωμα. Για τη περίπτωση αυτή, απαιτούνται ενδεικτικά 38 "instances" (38*8=304 CPU cluster). Κάνουμε τις αντίστοιχες ρυθμίσεις , ώστε να υπάρχει επικοινωνία με το EBS, το οποίο περιέχει 370 GB δεδομένα. Ρυθμίζουμε το Sun Grid Engine ώστε να επιτρέπει τη λειτουργία του cluster για 10 ώρες. Μόλις περάσουν οι 10 ώρες το cluster να απενεργοποιείται αυτόματα. Αποθηκεύουμε τα δεδομένα σε τοπικό μηχάνημα και τερματίζουμε το cluster (142 GB).
  20. Στο άρθρο που μελετήθηκε, έγινε προσπάθεια παρουσίασης τη χρήσης του cloud στη βιοϊατρική. Το παράδειγμα που δόθηκε δεν είχε σκοπό να αντικαταστήσει ή να συγκρίνει του αλγορίθμους που υπάρχουν ήδη, αλλά πως σε συνδυασμό με το cloud, οι ερευνητές να οδηγηθούν σε πιο γρήγορες και οικονομικές λύσεις.
  21. Σας ευχαριστώ για τη προσοχή που δείξατε, είμαι στη διάθεσή σας για ερωτήσεις!