Nowadays, the concept of software has prevailed in all aspects of human daily life, offering
significant solutions to a wide variety of issues. The need for producing reliable and functional
software within short timeframes that can adapt to possible changes is constantly increasing.
In recent years, there has been significant research activity in the field of software
development process optimization, while the vast availability of open-source software projects
in repositories such as GitHub makes accessing large volumes of code data easy. Leveraging
this information can serve as a catalyst for creating useful tools that can greatly accelerate the
software development process while improving communication and collaboration among
development teams.
This thesis presents an integrated system for automated source code formatting using
machine learning techniques. The primary goal of the system is to detect and correct
formatting errors that deviate from the standards set by the development team, ensuring its
readability and thus facilitating easier maintenance. The system utilizes LSTM deep neural
network models in combination with N-gram statistical language models for detecting
formatting errors, while a specific mechanism for correcting these errors is proposed.
Additionally, an evaluation mechanism for code formatting is proposed, aiming to quantify this
abstract concept.
The system designed within the scope of this thesis is evaluated on 8000 Java code files
obtained from the CodRep 2019 competition. Through the observation of the final results, we
conclude that the system performs effectively in both detecting and correcting formatting
errors.
Nowadays, the concept of software has prevailed in all aspects of human daily life, offering
significant solutions to a wide variety of issues. The need for producing reliable and functional
software within short timeframes that can adapt to possible changes is constantly increasing.
In recent years, there has been significant research activity in the field of software
development process optimization, while the vast availability of open-source software projects
in repositories such as GitHub makes accessing large volumes of code data easy. Leveraging
this information can serve as a catalyst for creating useful tools that can greatly accelerate the
software development process while improving communication and collaboration among
development teams.
This thesis presents an integrated system for automated source code formatting using
machine learning techniques. The primary goal of the system is to detect and correct
formatting errors that deviate from the standards set by the development team, ensuring its
readability and thus facilitating easier maintenance. The system utilizes LSTM deep neural
network models in combination with N-gram statistical language models for detecting
formatting errors, while a specific mechanism for correcting these errors is proposed.
Additionally, an evaluation mechanism for code formatting is proposed, aiming to quantify this
abstract concept.
The system designed within the scope of this thesis is evaluated on 8000 Java code files
obtained from the CodRep 2019 competition. Through the observation of the final results, we
conclude that the system performs effectively in both detecting and correcting formatting
errors.
2024 State of Marketing Report – by HubspotMarius Sescu
https://www.hubspot.com/state-of-marketing
· Scaling relationships and proving ROI
· Social media is the place for search, sales, and service
· Authentic influencer partnerships fuel brand growth
· The strongest connections happen via call, click, chat, and camera.
· Time saved with AI leads to more creative work
· Seeking: A single source of truth
· TLDR; Get on social, try AI, and align your systems.
· More human marketing, powered by robots
ChatGPT is a revolutionary addition to the world since its introduction in 2022. A big shift in the sector of information gathering and processing happened because of this chatbot. What is the story of ChatGPT? How is the bot responding to prompts and generating contents? Swipe through these slides prepared by Expeed Software, a web development company regarding the development and technical intricacies of ChatGPT!
Product Design Trends in 2024 | Teenage EngineeringsPixeldarts
The realm of product design is a constantly changing environment where technology and style intersect. Every year introduces fresh challenges and exciting trends that mold the future of this captivating art form. In this piece, we delve into the significant trends set to influence the look and functionality of product design in the year 2024.
How Race, Age and Gender Shape Attitudes Towards Mental HealthThinkNow
Mental health has been in the news quite a bit lately. Dozens of U.S. states are currently suing Meta for contributing to the youth mental health crisis by inserting addictive features into their products, while the U.S. Surgeon General is touring the nation to bring awareness to the growing epidemic of loneliness and isolation. The country has endured periods of low national morale, such as in the 1970s when high inflation and the energy crisis worsened public sentiment following the Vietnam War. The current mood, however, feels different. Gallup recently reported that national mental health is at an all-time low, with few bright spots to lift spirits.
To better understand how Americans are feeling and their attitudes towards mental health in general, ThinkNow conducted a nationally representative quantitative survey of 1,500 respondents and found some interesting differences among ethnic, age and gender groups.
Technology
For example, 52% agree that technology and social media have a negative impact on mental health, but when broken out by race, 61% of Whites felt technology had a negative effect, and only 48% of Hispanics thought it did.
While technology has helped us keep in touch with friends and family in faraway places, it appears to have degraded our ability to connect in person. Staying connected online is a double-edged sword since the same news feed that brings us pictures of the grandkids and fluffy kittens also feeds us news about the wars in Israel and Ukraine, the dysfunction in Washington, the latest mass shooting and the climate crisis.
Hispanics may have a built-in defense against the isolation technology breeds, owing to their large, multigenerational households, strong social support systems, and tendency to use social media to stay connected with relatives abroad.
Age and Gender
When asked how individuals rate their mental health, men rate it higher than women by 11 percentage points, and Baby Boomers rank it highest at 83%, saying it’s good or excellent vs. 57% of Gen Z saying the same.
Gen Z spends the most amount of time on social media, so the notion that social media negatively affects mental health appears to be correlated. Unfortunately, Gen Z is also the generation that’s least comfortable discussing mental health concerns with healthcare professionals. Only 40% of them state they’re comfortable discussing their issues with a professional compared to 60% of Millennials and 65% of Boomers.
Race Affects Attitudes
As seen in previous research conducted by ThinkNow, Asian Americans lag other groups when it comes to awareness of mental health issues. Twenty-four percent of Asian Americans believe that having a mental health issue is a sign of weakness compared to the 16% average for all groups. Asians are also considerably less likely to be aware of mental health services in their communities (42% vs. 55%) and most likely to seek out information on social media (51% vs. 35%).
AI Trends in Creative Operations 2024 by Artwork Flow.pdfmarketingartwork
This article is all about what AI trends will emerge in the field of creative operations in 2024. All the marketers and brand builders should be aware of these trends for their further use and save themselves some time!
A report by thenetworkone and Kurio.
The contributing experts and agencies are (in an alphabetical order): Sylwia Rytel, Social Media Supervisor, 180heartbeats + JUNG v MATT (PL), Sharlene Jenner, Vice President - Director of Engagement Strategy, Abelson Taylor (USA), Alex Casanovas, Digital Director, Atrevia (ES), Dora Beilin, Senior Social Strategist, Barrett Hoffher (USA), Min Seo, Campaign Director, Brand New Agency (KR), Deshé M. Gully, Associate Strategist, Day One Agency (USA), Francesca Trevisan, Strategist, Different (IT), Trevor Crossman, CX and Digital Transformation Director; Olivia Hussey, Strategic Planner; Simi Srinarula, Social Media Manager, The Hallway (AUS), James Hebbert, Managing Director, Hylink (CN / UK), Mundy Álvarez, Planning Director; Pedro Rojas, Social Media Manager; Pancho González, CCO, Inbrax (CH), Oana Oprea, Head of Digital Planning, Jam Session Agency (RO), Amy Bottrill, Social Account Director, Launch (UK), Gaby Arriaga, Founder, Leonardo1452 (MX), Shantesh S Row, Creative Director, Liwa (UAE), Rajesh Mehta, Chief Strategy Officer; Dhruv Gaur, Digital Planning Lead; Leonie Mergulhao, Account Supervisor - Social Media & PR, Medulla (IN), Aurelija Plioplytė, Head of Digital & Social, Not Perfect (LI), Daiana Khaidargaliyeva, Account Manager, Osaka Labs (UK / USA), Stefanie Söhnchen, Vice President Digital, PIABO Communications (DE), Elisabeth Winiartati, Managing Consultant, Head of Global Integrated Communications; Lydia Aprina, Account Manager, Integrated Marketing and Communications; Nita Prabowo, Account Manager, Integrated Marketing and Communications; Okhi, Web Developer, PNTR Group (ID), Kei Obusan, Insights Director; Daffi Ranandi, Insights Manager, Radarr (SG), Gautam Reghunath, Co-founder & CEO, Talented (IN), Donagh Humphreys, Head of Social and Digital Innovation, THINKHOUSE (IRE), Sarah Yim, Strategy Director, Zulu Alpha Kilo (CA).
Trends In Paid Search: Navigating The Digital Landscape In 2024Search Engine Journal
The search marketing landscape is evolving rapidly with new technologies, and professionals, like you, rely on innovative paid search strategies to meet changing demands.
It’s important that you’re ready to implement new strategies in 2024.
Check this out and learn the top trends in paid search advertising that are expected to gain traction, so you can drive higher ROI more efficiently in 2024.
You’ll learn:
- The latest trends in AI and automation, and what this means for an evolving paid search ecosystem.
- New developments in privacy and data regulation.
- Emerging ad formats that are expected to make an impact next year.
Watch Sreekant Lanka from iQuanti and Irina Klein from OneMain Financial as they dive into the future of paid search and explore the trends, strategies, and technologies that will shape the search marketing landscape.
If you’re looking to assess your paid search strategy and design an industry-aligned plan for 2024, then this webinar is for you.
5 Public speaking tips from TED - Visualized summarySpeakerHub
From their humble beginnings in 1984, TED has grown into the world’s most powerful amplifier for speakers and thought-leaders to share their ideas. They have over 2,400 filmed talks (not including the 30,000+ TEDx videos) freely available online, and have hosted over 17,500 events around the world.
With over one billion views in a year, it’s no wonder that so many speakers are looking to TED for ideas on how to share their message more effectively.
The article “5 Public-Speaking Tips TED Gives Its Speakers”, by Carmine Gallo for Forbes, gives speakers five practical ways to connect with their audience, and effectively share their ideas on stage.
Whether you are gearing up to get on a TED stage yourself, or just want to master the skills that so many of their speakers possess, these tips and quotes from Chris Anderson, the TED Talks Curator, will encourage you to make the most impactful impression on your audience.
See the full article and more summaries like this on SpeakerHub here: https://speakerhub.com/blog/5-presentation-tips-ted-gives-its-speakers
See the original article on Forbes here:
http://www.forbes.com/forbes/welcome/?toURL=http://www.forbes.com/sites/carminegallo/2016/05/06/5-public-speaking-tips-ted-gives-its-speakers/&refURL=&referrer=#5c07a8221d9b
ChatGPT and the Future of Work - Clark Boyd Clark Boyd
Everyone is in agreement that ChatGPT (and other generative AI tools) will shape the future of work. Yet there is little consensus on exactly how, when, and to what extent this technology will change our world.
Businesses that extract maximum value from ChatGPT will use it as a collaborative tool for everything from brainstorming to technical maintenance.
For individuals, now is the time to pinpoint the skills the future professional will need to thrive in the AI age.
Check out this presentation to understand what ChatGPT is, how it will shape the future of work, and how you can prepare to take advantage.
A brief introduction to DataScience with explaining of the concepts, algorithms, machine learning, supervised and unsupervised learning, clustering, statistics, data preprocessing, real-world applications etc.
It's part of a Data Science Corner Campaign where I will be discussing the fundamentals of DataScience, AIML, Statistics etc.
Time Management & Productivity - Best PracticesVit Horky
Here's my presentation on by proven best practices how to manage your work time effectively and how to improve your productivity. It includes practical tips and how to use tools such as Slack, Google Apps, Hubspot, Google Calendar, Gmail and others.
The six step guide to practical project managementMindGenius
The six step guide to practical project management
If you think managing projects is too difficult, think again.
We’ve stripped back project management processes to the
basics – to make it quicker and easier, without sacrificing
the vital ingredients for success.
“If you’re looking for some real-world guidance, then The Six Step Guide to Practical Project Management will help.”
Dr Andrew Makar, Tactical Project Management
2024 State of Marketing Report – by HubspotMarius Sescu
https://www.hubspot.com/state-of-marketing
· Scaling relationships and proving ROI
· Social media is the place for search, sales, and service
· Authentic influencer partnerships fuel brand growth
· The strongest connections happen via call, click, chat, and camera.
· Time saved with AI leads to more creative work
· Seeking: A single source of truth
· TLDR; Get on social, try AI, and align your systems.
· More human marketing, powered by robots
ChatGPT is a revolutionary addition to the world since its introduction in 2022. A big shift in the sector of information gathering and processing happened because of this chatbot. What is the story of ChatGPT? How is the bot responding to prompts and generating contents? Swipe through these slides prepared by Expeed Software, a web development company regarding the development and technical intricacies of ChatGPT!
Product Design Trends in 2024 | Teenage EngineeringsPixeldarts
The realm of product design is a constantly changing environment where technology and style intersect. Every year introduces fresh challenges and exciting trends that mold the future of this captivating art form. In this piece, we delve into the significant trends set to influence the look and functionality of product design in the year 2024.
How Race, Age and Gender Shape Attitudes Towards Mental HealthThinkNow
Mental health has been in the news quite a bit lately. Dozens of U.S. states are currently suing Meta for contributing to the youth mental health crisis by inserting addictive features into their products, while the U.S. Surgeon General is touring the nation to bring awareness to the growing epidemic of loneliness and isolation. The country has endured periods of low national morale, such as in the 1970s when high inflation and the energy crisis worsened public sentiment following the Vietnam War. The current mood, however, feels different. Gallup recently reported that national mental health is at an all-time low, with few bright spots to lift spirits.
To better understand how Americans are feeling and their attitudes towards mental health in general, ThinkNow conducted a nationally representative quantitative survey of 1,500 respondents and found some interesting differences among ethnic, age and gender groups.
Technology
For example, 52% agree that technology and social media have a negative impact on mental health, but when broken out by race, 61% of Whites felt technology had a negative effect, and only 48% of Hispanics thought it did.
While technology has helped us keep in touch with friends and family in faraway places, it appears to have degraded our ability to connect in person. Staying connected online is a double-edged sword since the same news feed that brings us pictures of the grandkids and fluffy kittens also feeds us news about the wars in Israel and Ukraine, the dysfunction in Washington, the latest mass shooting and the climate crisis.
Hispanics may have a built-in defense against the isolation technology breeds, owing to their large, multigenerational households, strong social support systems, and tendency to use social media to stay connected with relatives abroad.
Age and Gender
When asked how individuals rate their mental health, men rate it higher than women by 11 percentage points, and Baby Boomers rank it highest at 83%, saying it’s good or excellent vs. 57% of Gen Z saying the same.
Gen Z spends the most amount of time on social media, so the notion that social media negatively affects mental health appears to be correlated. Unfortunately, Gen Z is also the generation that’s least comfortable discussing mental health concerns with healthcare professionals. Only 40% of them state they’re comfortable discussing their issues with a professional compared to 60% of Millennials and 65% of Boomers.
Race Affects Attitudes
As seen in previous research conducted by ThinkNow, Asian Americans lag other groups when it comes to awareness of mental health issues. Twenty-four percent of Asian Americans believe that having a mental health issue is a sign of weakness compared to the 16% average for all groups. Asians are also considerably less likely to be aware of mental health services in their communities (42% vs. 55%) and most likely to seek out information on social media (51% vs. 35%).
AI Trends in Creative Operations 2024 by Artwork Flow.pdfmarketingartwork
This article is all about what AI trends will emerge in the field of creative operations in 2024. All the marketers and brand builders should be aware of these trends for their further use and save themselves some time!
A report by thenetworkone and Kurio.
The contributing experts and agencies are (in an alphabetical order): Sylwia Rytel, Social Media Supervisor, 180heartbeats + JUNG v MATT (PL), Sharlene Jenner, Vice President - Director of Engagement Strategy, Abelson Taylor (USA), Alex Casanovas, Digital Director, Atrevia (ES), Dora Beilin, Senior Social Strategist, Barrett Hoffher (USA), Min Seo, Campaign Director, Brand New Agency (KR), Deshé M. Gully, Associate Strategist, Day One Agency (USA), Francesca Trevisan, Strategist, Different (IT), Trevor Crossman, CX and Digital Transformation Director; Olivia Hussey, Strategic Planner; Simi Srinarula, Social Media Manager, The Hallway (AUS), James Hebbert, Managing Director, Hylink (CN / UK), Mundy Álvarez, Planning Director; Pedro Rojas, Social Media Manager; Pancho González, CCO, Inbrax (CH), Oana Oprea, Head of Digital Planning, Jam Session Agency (RO), Amy Bottrill, Social Account Director, Launch (UK), Gaby Arriaga, Founder, Leonardo1452 (MX), Shantesh S Row, Creative Director, Liwa (UAE), Rajesh Mehta, Chief Strategy Officer; Dhruv Gaur, Digital Planning Lead; Leonie Mergulhao, Account Supervisor - Social Media & PR, Medulla (IN), Aurelija Plioplytė, Head of Digital & Social, Not Perfect (LI), Daiana Khaidargaliyeva, Account Manager, Osaka Labs (UK / USA), Stefanie Söhnchen, Vice President Digital, PIABO Communications (DE), Elisabeth Winiartati, Managing Consultant, Head of Global Integrated Communications; Lydia Aprina, Account Manager, Integrated Marketing and Communications; Nita Prabowo, Account Manager, Integrated Marketing and Communications; Okhi, Web Developer, PNTR Group (ID), Kei Obusan, Insights Director; Daffi Ranandi, Insights Manager, Radarr (SG), Gautam Reghunath, Co-founder & CEO, Talented (IN), Donagh Humphreys, Head of Social and Digital Innovation, THINKHOUSE (IRE), Sarah Yim, Strategy Director, Zulu Alpha Kilo (CA).
Trends In Paid Search: Navigating The Digital Landscape In 2024Search Engine Journal
The search marketing landscape is evolving rapidly with new technologies, and professionals, like you, rely on innovative paid search strategies to meet changing demands.
It’s important that you’re ready to implement new strategies in 2024.
Check this out and learn the top trends in paid search advertising that are expected to gain traction, so you can drive higher ROI more efficiently in 2024.
You’ll learn:
- The latest trends in AI and automation, and what this means for an evolving paid search ecosystem.
- New developments in privacy and data regulation.
- Emerging ad formats that are expected to make an impact next year.
Watch Sreekant Lanka from iQuanti and Irina Klein from OneMain Financial as they dive into the future of paid search and explore the trends, strategies, and technologies that will shape the search marketing landscape.
If you’re looking to assess your paid search strategy and design an industry-aligned plan for 2024, then this webinar is for you.
5 Public speaking tips from TED - Visualized summarySpeakerHub
From their humble beginnings in 1984, TED has grown into the world’s most powerful amplifier for speakers and thought-leaders to share their ideas. They have over 2,400 filmed talks (not including the 30,000+ TEDx videos) freely available online, and have hosted over 17,500 events around the world.
With over one billion views in a year, it’s no wonder that so many speakers are looking to TED for ideas on how to share their message more effectively.
The article “5 Public-Speaking Tips TED Gives Its Speakers”, by Carmine Gallo for Forbes, gives speakers five practical ways to connect with their audience, and effectively share their ideas on stage.
Whether you are gearing up to get on a TED stage yourself, or just want to master the skills that so many of their speakers possess, these tips and quotes from Chris Anderson, the TED Talks Curator, will encourage you to make the most impactful impression on your audience.
See the full article and more summaries like this on SpeakerHub here: https://speakerhub.com/blog/5-presentation-tips-ted-gives-its-speakers
See the original article on Forbes here:
http://www.forbes.com/forbes/welcome/?toURL=http://www.forbes.com/sites/carminegallo/2016/05/06/5-public-speaking-tips-ted-gives-its-speakers/&refURL=&referrer=#5c07a8221d9b
ChatGPT and the Future of Work - Clark Boyd Clark Boyd
Everyone is in agreement that ChatGPT (and other generative AI tools) will shape the future of work. Yet there is little consensus on exactly how, when, and to what extent this technology will change our world.
Businesses that extract maximum value from ChatGPT will use it as a collaborative tool for everything from brainstorming to technical maintenance.
For individuals, now is the time to pinpoint the skills the future professional will need to thrive in the AI age.
Check out this presentation to understand what ChatGPT is, how it will shape the future of work, and how you can prepare to take advantage.
A brief introduction to DataScience with explaining of the concepts, algorithms, machine learning, supervised and unsupervised learning, clustering, statistics, data preprocessing, real-world applications etc.
It's part of a Data Science Corner Campaign where I will be discussing the fundamentals of DataScience, AIML, Statistics etc.
Time Management & Productivity - Best PracticesVit Horky
Here's my presentation on by proven best practices how to manage your work time effectively and how to improve your productivity. It includes practical tips and how to use tools such as Slack, Google Apps, Hubspot, Google Calendar, Gmail and others.
The six step guide to practical project managementMindGenius
The six step guide to practical project management
If you think managing projects is too difficult, think again.
We’ve stripped back project management processes to the
basics – to make it quicker and easier, without sacrificing
the vital ingredients for success.
“If you’re looking for some real-world guidance, then The Six Step Guide to Practical Project Management will help.”
Dr Andrew Makar, Tactical Project Management
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Biomedical Cloud Computing With Amazon Web Services
1. Αθανασίου Γ. Κωνσταντίνος
Πρόγραμμα Μεταπτυχιακών Σπουδών “Πληροφορική και Τηλεματική”
Τμήμα Πληροφορικής και Τηλεματικής
Χαροκόπειο Πανεπιστήμιο
Σύγχρονες Αρχιτεκτονικές Υπολογιστικών
Συστημάτων
09/01/20131
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο
Εργασία για το Ακαδημαϊκό Έτος 2013-14
2. Vincent A. Fusaro, Prasad Patil, Eric Gafni, Dennis P. Wall, Peter J.
Tonellato
Biomedical Cloud Computing With
Amazon Web Services
09/01/20132
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο
Εργασία για το Ακαδημαϊκό Έτος 2013-14
3. Περιεχόμενα
Εισαγωγή
Amazon Web Services
Ασφάλεια στο Cloud
Πρωτότυπο & Ανάπτυξη
Κλιμακωτή ανάπτυξη υπολογιστικού περιβάλλοντος
Περίπτωση Μελέτης: Δημιουργία ολόκληρου
γονιδιώματος στο υπολογιστικό πλαίσιο
Επίλογος
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο3
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
7. Εισαγωγή
Luis M. Vaquero (ερευνητής βιοϊατρικής)
"cloud is a large pool of easily usable
and accessible virtualized resources.
These resources can be dynamically
re-configured to adjust to variable load,
allowing for optimum resource
utilization"
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο7
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
8. Εισαγωγή
Εργαλείο προσφοράς περιοδικής
υπολογιστικής ισχύς
Ελκυστική εναλλακτική
Εικονική τεχνολογία
Οικονομική επιλογή
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο8
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
9. Amazon Web Services
Μνήμη, ισχύ, χώρο, δικτύωση
IaaS
Ευεληξία στο σχεδιασμό έργων ad hoc
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο9
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
10. Amazon Web Services
Elastic Computer Cloud (EC2)
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο10
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
11. Amazon Web Services
Elastic Block Storage (EBS)
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο11
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
12. Amazon Web Services
Simple Storage Service (S3)
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο12
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
14. Ασφάλεια στο Cloud
Με χρήση ζεύγους
δημοσίου/ιδιωτικού κλειδιού
Με χρήση ασφαλούς σύνδεσης
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο14
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
15. Ασφάλεια στο Cloud
Δημιουργία λογαριασμών με περιορισμένες
δυνατότητες
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο15
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
16. Ασφάλεια στο Cloud
Έλεγχος πρόσβασης με χρήση
τοιχωμάτων προστασίας – firewalls
Επιπλεόν ασφάλεια
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο16
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
17. Πρωτότυπο & Ανάπτυξη
Υλικό
Δεδομένα
Χρόνο απόκρισης
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο17
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
18. Κλιμακωτή ανάπτυξη υπολογιστικού περιβάλλοντος
Συνδυασμός προγραμμάτων - cloud
Σύμπλεγμα (cluster)
StarCluster
Boto
Condor
Hadoop
AWS Elastic Map Reduce (EMR)
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο18
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
19. Περίπτωση Μελέτης: Δημιουργία ολόκληρου
γονιδιώματος στο υπολογιστικό πλαίσιο
Μέγεθος ~4 δισ. Ζεύγη γονιδίων
MAQ
Μέγεθος δεδομένων 370 GB
Χαρτογράφηση σε 303 φακέλους
Χρόνος υπολογισμού εκτός cloud για
φάκελο
4-12 ώρες
Έως και 24 ώρες
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο19
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
20. Περίπτωση Μελέτης: Δημιουργία ολόκληρου
γονιδιώματος στο υπολογιστικό πλαίσιο - $ 3.85
Instance
MAQ (10 h, 800 MB 1 εκατμ. ζεύγη)
7 GB
Κόστος $ 0.68 /h
400 GB EBS
Μικρή ποσότητα δεδομένων
Μέτρια
Ολόκληρο γονιδίωμα
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο20
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
21. Περίπτωση Μελέτης: Δημιουργία ολόκληρου
γονιδιώματος στο υπολογιστικό πλαίσιο - $ 49.60
Cluster των 2 instances
Sun Grid Engine, OpenMPI
Ρυθμίσεις ασφαλείας
Παροχή ID
Εγκατάσταση MAQ
Αντίγραφο Ασφαλείας
Ζεύγη κλειδιών
Εγκατάσταση StarCluster
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο21
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
22. Περίπτωση Μελέτης: Δημιουργία ολόκληρου
γονιδιώματος στο υπολογιστικό πλαίσιο - $ 320.10
38 instances
38*8 = 304 CPU cluster
Επικοινωνία με το EBS – 370 GB.
Sun Grid Engine – 10 h
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο22
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
23. Περίπτωση Μελέτης: Δημιουργία ολόκληρου
γονιδιώματος στο υπολογιστικό πλαίσιο
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο23
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
24. Επίλογος
Cloud στη βιοϊατρική
Γρήγορες και οικονομικές λύσεις
09/01/2013
Τμήμα Πληροφορικής & Τηλεματικής,
Χαροκόπειο Πανεπιστήμιο24
Βιοϊατρική στο Cloud με χρήση Amazon Web υπηρεσιών
Η έρευνα στην βιοϊατρική ακολουθεί την εξέλιξη της τεχνολογίας. Αποτελεί μια ενοποιημένη διαδικασία καθώς όσο πιο γρήγορη είναι η νέα τεχνολογία (μνήμη, επεξεργαστές, δίσκος), τόσο πιο γρήγορα θα αποδώσει τα δεδομένα στους ερευνητές της βιοϊατρικής. Γιαυτό το λόγο, πολλές εταιρίες βιοϊατρικής/φαρμακευτικής σκέφτονται να χρησιμοποιήσουν το cloud, ως μια εναλλακτική προσέγγιση επεξεργασίας και αποθήκευσης δεδομένων.
Σκοπός του άρθρου αποτελεί
παρουσίαση του cloud στη βιοϊατρική
παρουσίαση ανάπτυξης έργων στο cloud
παρουσίαση κόστους ανάπτυξης των παραπάνω έργων
Υπάρχουν πολλαπλοί πάροχοι της υπηρεσίας cloud, επί πληρωμή ή και δωρεάν, όπως Amazon Web Services (AWS), Rackspace, GoGrid, Nimbus, Eucalyptus. Εμείς θα επικεντρωθούμε στη πλατφόρμα AWS .
Vaquero "cloud is a large pool of easily usable and accessible virtualized resources. These resources can be dynamically re-configured to adjust to variable load, allowing for optimum resource utilization"
cloud είναι μια μεγάλη πισίνα εύκολης χρηστικότητας και προσβάσιμων εικονικών πόροι. Οι πόροι αυτοί μπορούν να ρυθμιστούν δυναμικά εκ, επιτρέποντας τη βέλτιστη αξιοποίηση των πόρων
Το cloud αποτελεί το ιδανικό εργαλείο για έργα που απαιτούν περιοδικά υπολογιστική ισχύ. Επίσης, αποτελεί μία ελκυστική εναλλακτική σε περιπτώσεις όπου τα τοπικά μηχανήματα φτάνουν στο όριό τους (ταχύτητα, χώρος, μνήμη). Αποτελεί μια εικονική τεχνολογία, στην οποία το υλικό αναπτύσεται εικονικά σε πολλαπλά συστήματα και σε πολλές περιπτώσεις ("instances").
Αποτελεί, επιπλέον μια οικονομική επιλογή, καθώς αγοράζεις υπολογιστική μηχανή όποτε χρειάζεσαι και μόνο, αποκλείοντας με αυτό το τρόπο τη συνεχή κατανάλωση πόρων και χρημάτων.
AWS παρέχει τον απαραίτητο εξοπλισμό (μνήμη, ισχύ, χώρο, δικτύωση) και χαρακτηρίζεται ως Infrastructure as a Service (IaaS). Το IaaS είναι γνωστό στους ερευνητές βιολογίας διότι παρέχει ευεληξία στο σχεδιασμό έργων (ad hoc, μια πράξη που γίνεται για ειδικό σκοπό και συνήθως κατ' εξαίρεση των συνηθισμένων κανόνων).
Τρία πακέτα υπηρεσιών από το AWS
Elastic Computer Cloud (EC2) - περιέχει "instances", όπου ο χρήστης μπορεί να επιλέξει με κλίμακα ως προς το κόστος και την υπολογιστική ισχύ. Ενεργοποιείται σε λίγα λεπτά και ο χρήστης έχει δικαιώματα admin.
Elastic Block Storage (EBS) - μηχανισμός αποθήκευσης που μπορεί να προσαρτηθεί σε ένα τρέχων "instance". Μπορούμε να το προσομοιάσουμε ως ένα USB με χωριτικότητα από 1GB έως 1 TB. Λαμβάνονται τακτικά αντίγραφα ασφαλείας (back-up) και παρέχετε αντοχή σε ποσοστό 99.7%. Οι χρήστες μπορούν να λάβουν επιπλέον αντίγραφο ασφαλείας του EBS στον S3, παίρνοντας ένα στιγμιότυπο (snapshot).
Simple Storage Service (S3) - αποτελεί αξιόπιστο σύστημα αποθήκευσης δεδομένων .
Το συστημα φακέλων χωρίζεται σε πακέτα "buckets", διανέμονται σε πολλαπλούς χώρους δεδομένων ("data center") καθώς επίσης και δημιουργούνται αντίγραφα ασφαλείας που διανέμονται σε διαφορετικούς χώρους δεδομένων. Παρέχει 99.999999999% αντοχή και 99.99% διαθέσιμα τα αρχεία όποτε ζητηθούν (από εξουσιοδοτημένους χρήστες).
Για τη πρόσβαση στη πλατφόρμα AWS, ο χρήστης έχει δύο επιλογές. Διαμέσου της διεπαφής (Web-based console) ή διαμέσου εντολών (AWS-specific application programming interface-API).
Το κόστος του AWS μετριέται είτε ανά ώρα είτε με τη ποσότητα μεταφοράς ή αποθήκευσης δεδομένων.
Θα αναφερθούμε στις καλύτερες πρακτικές ελέγχου κόστους και ασφάλειας δεδομένων
Με χρήση ζεύγους δημοσίου/ιδιωτικού κλειδιού. Το δημόσιο κλειδί είναι ανοιχτό προς όλους, ενώ τα κρυπτογραφημένα δεδομένα μπορούν να αποκρυπτογραφηθούν μόνο με χρήση του ιδιωτικού κλειδιού. Είναι λογικό, το ιδιωτικό κλειδί να μη φανερώνεται σε τρίτους καθώς αποτελεί τη ψηφιακή υπογραφή (ταυτότητα) του χρήστη. Με τον παραπάνω τρόπο παρέχεται αυθεντικοποίηση.
Με χρήση ασφαλούς σύνδεσης. Χρησιμοποιώντας ασφαλή πρωτόκολλο όπως είναι Secure Shell(ssh) ή Secure Copy (scp), η μεταφορά δεδομένων γίνεται με ασφαλή τρόπο. Κατά την ενεργοποίηση ενός "instance", παρέχεται στο χρήστη ένα ζεύγος κλειδιών. Το δημόσιο αυτόματα αποθηκεύεται στο "instance", και το ιδιωτικό θα χρησιμοποιηθεί στον τοπικό υπολογιστή ώστε να συνδεθεί με το "instance".
Δημιουργία λογαριασμών με περιορισμένες δυνατότητες. Το AWS παρέχει τη δυνατότητα διαχείρισης λογαριασμών (Identity and Access Management-IAM) πολλαπλών χρηστών. Κάθε χρήστης έχει τα δικά του χαρακτηριστικά και διαπιστευτήρια. Παράδειγμα, ένας χρήστης με συγκεκριμένη IP μπορεί να έχει πρόσβαση στο S3 μόνο από 9π.μ. έως 5 π.μ. .
Θα αναφερθούμε στις καλύτερες πρακτικές ελέγχου κόστους και ασφάλειας δεδομένων
Δημιουργία λογαριασμών με περιορισμένες δυνατότητες. Το AWS παρέχει τη δυνατότητα διαχείρισης λογαριασμών (Identity and Access Management-IAM) πολλαπλών χρηστών. Κάθε χρήστης έχει τα δικά του χαρακτηριστικά και διαπιστευτήρια. Παράδειγμα, ένας χρήστης με συγκεκριμένη IP μπορεί να έχει πρόσβαση στο S3 μόνο από 9π.μ. έως 5 π.μ. .
Θα αναφερθούμε στις καλύτερες πρακτικές ελέγχου κόστους και ασφάλειας δεδομένων
Έλεγχος πρόσβασης με χρήση τοιχωμάτων προστασίας - firewalls. Σε αυτή τη περίπτωση καθορίζονται κανόνες κίνησης δεδομένων. Από κατασκευής, δεν επιτρέπεται η εισροή δεδομένων, ενώ επιτρέπεται η έξοδος δεδομένων ή η επικοινωνία μεταξύ των "instances" Οι κανόνες αυτοί μπορούν να διαχειριστούν από εξουσιοδοτημένους χρήστες.
Επιπλεόν ασφάλεια. Τα κλειδιά θα πρέπει να αλλάζουν κάθε 30-90 μέρες. Επίσης, επιπλέον λογισμικό μπορεί να προσπατεύει το λογισμικό από επιθέσεις. Υπάρχει επίσης το ιδιωτικό cloud , κρυπτογραφημένα συστήματα φακέλων τα οποία χρησιμοποιούνται μόνο από προσωπικό με παρόμοια δικαιώματα.
Ένα απλό πρόγραμμα και όχι απαραίτητα απαιτητικό σε μνήμη, επεξεργαστική ισχύ και χώρο, λειτουργεί πιο αποδοτικά όταν χρησιμοποιείται σε συνδυασμό με ένα πιο γρήγορο επεξεργαστή, μεγαλύτερη μνήμη. Σε μερικές περιπτώσεις το κόστος είναι τόσο λίγο που οι χρήστες αφήνουν το "instance" να λειτουργεί συνέχεια.
Θα πρέπει να κατανοήσουμε, στη περίπτωση που θέλουμε να δημιουργήσουμε "instance" τις τεχνικές προδιαγραφές του έργου που θέλουμε να αναπτύξουμε. Στο άρθο, οι συγγραφείς, προτείνουν τρία κριτήρια εκτίμησης.
Υλικό. Αρχική εκτίμηση μνήμης, χώρου στο δίσκο, CPU ισχύ. (user documentation ή "top command" σε UNIX συστήματα).
Δεδομένα. Η χρέωση στο AWS είναι ανά GB για μεταφορά εκτός cloud και ανά GB για αποθήκευση στο cloud. Αποτέλεσμα της χρέωσης είναι η εκτίμηση ανεπιθύμητων δεδομένων, καθώς η χρέωση γίνεται μόλις το "instance" ξεκινήσει τη λειτουργία του.
Χρόνος απόκρισης. Σε συνδυασμό με τα δεδομένα, το κόστος του χρόνου απόκρισης σχετίζεται με τα δεδομένα. Όσο πιο πολλά έχουμε, τόσο το μεγάλο χρόνο απόκρισης θα έχουμε, με αποτέλεσμα μεγαλύτερο κόστος.
Ένας τεράστιος όγκος επεξεργασίας δεδομένων σε συγκεκριμένο περιβάλλον αποτελεί μία από τις πιο εύκολα κατανοητές εργασίες του cloud. Παρόλαυτά, δε αποτελεί ένα μαγικό εργαλείο. Οι ενδιαφερόμενοι θα πρέπει να κατανοούν ότι τα προγράμματα που "τρέχουν" στο cloud θα πρέπει επίσης να είναι συμβατα. Παράδειγμα αποτελεί ένα πρόγραμμα που τρέχει σε παράλληλους επεξεργαστές. Αν δεν περιέχει τον αντίστοιχο κώδικα παραλληλισμού τότε δεν θα μπορέσει να ανταποκριθεί. Για τον παραπάνω λόγο δημιουργήθηκαν το σύμπλεγμα-συστάδα - "cluster".
Παλαιότερα η δημιουργία των "cluster" γινόταν από εξειδικευμένο προσωπικό, ενώ σήμερα, υπάρχει λογισμικό που βοηθά τον χρήστη στη δημιουργία "cluster". Παράδειγμα open source framework είναι StarCluster, Boto, Condor, Hadoop.
Τα παραπάνω δημιουργούν, τερματίζουν, αυτοματοποιούν εργασίες και προτιμούνται από ειδικούς της βιοϊατρικής οι οποίοι έχουν μικρή γνώση και εμπειρία στη διαχείριση συστημάτων.
Στο AWS υπάρχει το Elastic Map Reduce (EMR).
Σημείωση. Οι χρήστες για να μπορέσουν να εξοικωνωμήσουν χρήματα θα πρέπει να απενεργοποιήσουν τους CPU που δεν χρησιμοποιούνται.
Η μελέτη περίπτωσης αναφέρεται στην εκτίμηση των διαδικασιών μελέτης των ανθρώπινων γονιδίων. Το μέγεθος ανάλυσης είναι ~4 δισ. ζεύγη γονιδίων.
Για τη περίπτωση, η χαρτογράφηση και αναγνώριση των γονιδίων έγινε με το εργαλείο MAQ.
Το MAQ είναι λογισμικό που δεν έχει σχεδιαστεί να χρησιμοποιείται σε παράλληλες διεργασίες και αποτελεί το πιο διαδεδομένο λογισμικό βιοϊατρικής.
Το μέγεθος των γονιδίων είναι της τάξης 370 GB. Ο χρόνος υπολογισμού για ένα φάκελο από τους 303, εκτιμάται από 4 έω 12 ώρες που μπορεί να φτάσει έως και 1 μέρα. (εκτός cloud)
Αρχικά, ελέγχεται η ακολουθία του γονιδιώματος.
Πραγματοποιείται ενεργοποίηση ενός "instance" , στο οποίο εγκαθήστατε το MAQ λογισμικό. Για να διαβαστεί και να χαρτογραφηθεί η ακολουθία , απαιτείται, σύμφωνα με το εγχειρίδιο 10 ώρες, 800 ΜΒ μνήμης για 1 εκατομ. ζεύγη.
Δημιουργείται από το χρήστη ένα "instance" 7GB, 8 CPU, με κόστος $ 0.68 / h διαβάζονται περιεχόμενα 10.000 φακέλων.
Με τη AWS κονσόλας, ενεργοποιείται το "instance". Επίσης, 400 GB στο EBS, ώστε να το ενσωματώσουμε στο "instance".
Πραγματοποιείται σύνδεση και εγκαθήστατε το MAQ, διαμέσου του οποίου θα διαβαστεί το γονιδίωμα.
Μέσα στο EBS, δημιουργούνται 3 περιοχές, όπου θα φιλοξενήσουν το γονιδίωμα.
Μικρή ποσότητα δεδομένων (2 φάκελοι, 10.000 στοιχεία)
Μέτρια (32 φάκελοι, 1 Μ στοιχεία)
Ολόκληρο το γονιδίωμα.
Η όλη διαδικασία εκτέλεσης απαιτεί 2 ώρες για τη πρώτη κατηγορία γονιδιώματος, με τη χρήση μόνο ενός CPU, καθώς το MAQ δε χρησιμοποιείται για παραλληλισμό.
Για να μπορέσουμε να επιτύχουμε τη χρήση και των 8 CPU θα δημιουργήσουμε ένα ''cluster".
Παρουσιάζεται, στη συνέχεια η χρήση του StarCluster με τη δημιουργία και διαχείριση μικρών cluster των 2 "instances".Χρησιμοποιεί την έκδοση Sun Grid Engine για τη διαχείριση των διεργασιών σε συνδυασμό με το OpenMPI για την επικοινωνία μεταξύ των "instances". Αρχικά, θα πρέπει να γίνουν οι απαραίτητες ρυθμίσεις ασφαλείας και έπειτα η εγκατάσταση του λογισμικού σε τοπικό μηχάνημα.
Γίνονται οι αναγκαίες ρυθμίσεις του StarCluster ή του Amazon Machine Image.
Το Amazon Machine παρέχει ένα αναγνωριστικό κλειδί -ID, ώστε να μπορεί να αναγνωριστεί και να προσαρμοστεί πάνω στο λογισμικό το EBS, το οποίο περιέχει τα δεδομένα ή να τρέξει καινούργια "instances".
Έπειτα γίνεται εγκατάσταση του MAQ.
Προσαρμόζουμε το "instance" στο AMI, ώστε να μπορεί διαμέσου του StarCluster να ενεργοποιούνται πολλαπλά "instances".
Παίρνουμε αντίγραφο ασφαλείας και αποθηκεύεται στο S3. Το αντίγραφο ασφαλείας θα χρησιμοποιηθεί στο StatCluster ώστε να επιτρέψει τη πρόσβαση του κάθε "instance", στα δεδομένα.
Δημιουργούμε ομάδα ασφαλείας και ζευγάρια κλειδιών για τη προστασία του λογαριασμού. Κάθε χρήστης που θα δημιουργηθεί έχει και διαφορετικά χαρακτηριστικά ή δύναται η δημιουργία χρήστη του cluster, ο οποίος δεν έχει πρόσβαση στον S3.
Τέλος, γίνεται εγκατάσταση του StarCluster και των αντίστοιχων ρυθμίσεων που περιέχουν AMI ID, αριθμό "instances", χαρακτηριστικά χρηστών, τύπος "instances", ζευγάρια κλειδιών, EBS ID αντίγραφο ασφαλείας που περιέχει τα δεδομένα και την ομάδα ασφαλείας.
Στη πρώτη περίπτωση, ελέγχουμε την επικοινωνία και τη λειτουργικότητα. Με τη χρήση του StarCluster δημιουργούμε 2 "instances". Αυτό επιστρέφει τις IP και μπορούμε να τις χρησιμοποιήσουμε διαμέσου του ssh στο "instances".
Επεκτήνουμε τη περίπτωση μελέτης σε σημείο ώστε να μπορέσουμε να μελετήσουμε ολόκληρο το γονιδίωμα. Για τη περίπτωση αυτή, απαιτούνται ενδεικτικά 38 "instances" (38*8=304 CPU cluster). Κάνουμε τις αντίστοιχες ρυθμίσεις , ώστε να υπάρχει επικοινωνία με το EBS, το οποίο περιέχει 370 GB δεδομένα. Ρυθμίζουμε το Sun Grid Engine ώστε να επιτρέπει τη λειτουργία του cluster για 10 ώρες.
Μόλις περάσουν οι 10 ώρες το cluster να απενεργοποιείται αυτόματα.
Αποθηκεύουμε τα δεδομένα σε τοπικό μηχάνημα και τερματίζουμε το cluster (142 GB).
Στο άρθρο που μελετήθηκε, έγινε προσπάθεια παρουσίασης τη χρήσης του cloud στη βιοϊατρική. Το παράδειγμα που δόθηκε δεν είχε σκοπό να αντικαταστήσει ή να συγκρίνει του αλγορίθμους που υπάρχουν ήδη, αλλά πως σε συνδυασμό με το cloud, οι ερευνητές να οδηγηθούν σε πιο γρήγορες και οικονομικές λύσεις.
Σας ευχαριστώ για τη προσοχή που δείξατε, είμαι στη διάθεσή σας για ερωτήσεις!