Ανάπτυξη αυτοματοποιημένης διαδικασίας Continuous Integration σε έργα λογισμικούISSEL
Τα τελευταία χρόνια παρατηρείται μια ραγδαία ανάπτυξη στο τομέα των υπηρεσιών νέφους(cloud computing) η οποία προκάλεσε το ενδιαφέρον πολλών επιχειρήσεων, με τη ζήτησή τους να αυξάνεται συνεχώς όπως επίσης και ο αριθμός των παρόχων που προσφέρουν αυτές τις υπηρεσίες. Όμως, παρά το ότι έχει εδραιωθεί η χρήση του cloud computing προσφέροντας πολλά πλεονεκτήματα, ανακύπτουν και διάφορες προκλήσεις, όπως η ασφάλεια των δεδομένων. Βασικό στοιχείο της διαδικασίας ανάπτυξης λογισμικού αποτελεί η συχνή πραγματοποίηση ελέγχων (tests) στην εφαρμογή, που αποσκοπεί στην διασφάλιση της ποιότητας, και την ελαχιστοποίηση των σφαλμάτων (bugs) , κάτι που επιτυγχάνεται μέσω των συστημάτων συνεχούς ενσωμάτωσης (Continuous Integration, CI). Μετά την επιτυχημένη εκτέλεση των αυτοματοποιημένων ελέγχων, το CI αποστέλλει και εκτελεί την τελευταία έκδοση του κώδικα στο δοκιμαστικό (staging) ή στο τελικό (production) περιβάλλον αυτόματα μέσω των συστημάτων Continuous Deployment (CD) και Continuous Delivery (CDE). Ο σκοπός της παρούσας εργασίας είναι η σύγκριση των παρόχων cloud, και ακολούθως η ανάπτυξη μιας μεθοδολογίας, μέσω της οποίας να απλοποιείται η χρήση ενός συστήματος CI + CD/CDE. Η προσέγγισή μας ενσωματώνει επίσης στατική ανάλυση και αξιολόγηση ποιότητας κώδικα. Η υλοποίηση του CI καθώς και των διαδικασιών CD/CDE γίνονται μέσω του διαδικτυακού εργαλείου ανοιχτού κώδικα Gitlab, όπου γίνεται χρήση έτοιμων pipelines με υποστήριξη εφαρμογών Node.js και Django, ενώ η στατική ανάλυση πραγματοποιείται μέσω του Code Quality που υπάρχει ενσωματωμένο στο Gitlab και βασίζεται στο εργαλείο Code Climate. Η αυτοματοποίηση της εγκατάστασης των προαπαιτούμενων για το deployment της εφαρμογής,δηλαδή η προετοιμασία του server, και το πρώτο deployment , πραγματοποιoύνται μέσω του εργαλείου διαχείρισης διαμόρφωσης λογισμικού Ansible. Ακόμη, δίνεται η δυνατότητα στο χρήστη για deployment της εφαρμογής στη cloud πλατφόρμα Heroku χωρίς να χρειάζεται η χρήση του Ansible. Το προϊόν της εργασίας απευθύνεται κυρίως σε φοιτητές ή προγραμματιστές με μικρή εμπειρία οι οποίοι θέλουν να ασχοληθούν και να κάνουν τα πρώτα τους βήματα με το CI του Gitlab.
Development of an automatic procedure for Continuous IntegrationISSEL
In recent years there has been a rapid growth in the field of cloud computing which has aroused the interest of many companies, with their demand constantly growing as well as the number of providers offering these services. However, despite the fact that the use of cloud computing has been established, offering many advantages, various challenges arise, such as data security. A key element of the software development process is the frequent testing of the application, in order to ensure quality and minimize bugs, which is achieved through Continuous Integration (CI) systems. Upon successful execution of the automated tests, CI deploys the latest version of the code in a pre-production (staging) or production environment automatically through Continuous Deployment (CD) and Continuous Delivery (CDE). The purpose of this thesis is comparing cloud providers, and then developing a method that simpifies the usage of a CI + CD/CDE system. Our approach also integrates static code analysis and evaluation. CI and CD/CDE processes are implemented through Gitlab, an open source software, with ready-to-use pipelines(Templates) supporting Node.js and Django web applications, while static analysis is performed through Code Quality which is embedded in Gitlab and is based on the Code Climate tool. The automatic installation of the prerequisites for the application deployment, in other words the server setup, and the first deployment , are performed through the Ansible software configuration management tool. Moreover, is given the capability to the user to deploy the app on the cloud platform Heroku without the need of using Ansible. The outcome of the thesis is aimed primarily at students or software developers with little experience who want to get involved and take their first steps with Gitlab CI.
Σχεδιασμός και υλοποίηση πλήρους και αυτοματοποιημένου εργαλείου ελέγχων ασφά...ISSEL
Με την ολοένα και αυξανόμενη υιοθέτηση των πρακτικών DevOps και την άνοδο του Continuous Integration/Continuous Deployment (CI/CD) στην ανάπτυξη λογισμικού, ο κύκλος ζωής ανάπτυξης λογισμικού (SDLC) έχει επιφέρει σημαντικές αλλαγές στη βιομηχανία. Αν και αυτές οι μέθοδοι προσφέρουν πολλά πλεονεκτήματα, παρουσιάζουν επίσης μοναδικές προ κλήσεις ασφαλείας, καθώς οι εφαρμογές που αναπτύσσονται με αυτές είναι πιο επιρρεπείς σε κυβερνοεπιθέσεις συγκριτικά με τις παραδοσιακές μεθόδους ανάπτυξης λογισμικού. Το DevSecOps, ένας συνδυασμός πρακτικών ανάπτυξης (Dev), ασφάλειας (Sec) και λειτουργιών (Ops), έχει αναδειχθεί ως μια κρίσιμη προσέγγιση στην ασφάλεια λογισμικού στο σημερινό ταχέως εξελισσόμενο τεχνολογικό τοπίο. Αυτή η μεθοδολογία είναι ουσιαστική και σχετική για διάφορους λόγους. Πρώτον, αντιμετωπίζει την αυξανόμενη ανάγκη για ασφάλεια στην ανάπτυξη λογισμικού. Καθώς οι απειλές και οι επιθέσεις στον κυβερνοχώρο γίνονται πιο εξελιγμένες, η ενσωμάτωση της ασφάλειας στον αγωγό DevOps βοηθά τους οργανισμούς να εντοπίζουν και να μετριάζουν προληπτικά τις ευπάθειες από το πρώιμο στάδιο ανάπτυξης του λογισμικού, μειώνοντας τον κίνδυνο παραβίασης δεδομένων και διακοπής λειτουργίας. Δεύτερον, η ανάγκη για ταχύτερες και συχνότερες εκδόσεις λογισμικού απαιτεί μια μετατόπιση από τις παραδοσιακές πρακτικές ασφαλείας, οι οποίες συχνά προκαλούν καθυστε ρήσεις. Το DevSecOps απλοποιεί την ασφάλεια αυτοματοποιώντας τις δοκιμές και τους ελέγχους συμμόρφωσης, επιτρέποντας τη συνεχή παράδοση (CD) χωρίς να θυσιάζεται η ασφάλεια. Επιπλέον, το DevSecOps ενθαρρύνει μια κουλτούρα κοινής ευθύνης, ενισχύοντας τη συνεργασία μεταξύ προγραμματιστών, επαγγελματιών ασφάλειας και ομάδων επιχειρήσεων. Αυτή η συλλογική προσέγγιση οδηγεί σε βελτιωμένη επικοινωνία, βελτιωμένη επίγνωση των ανη συχιών για την ασφάλεια και ταχύτερη απόκριση σε αναδυόμενες απειλές. Σε μια εποχή όπου ο ψηφιακός μετασχηματισμός βρίσκεται στην πρώτη γραμμή των επιχει ρηματικών στρατηγικών, το DevSecOps είναι απαραίτητο για τη διασφάλιση της ανθεκτικότητας, της ακεραιότητας και της εμπιστευτικότητας των συστημάτων λογισμικού. Ευθυγραμμίζει την ασφάλεια με το ρυθμό της σύγχρονης ανάπτυξης λογισμικού, καθιστώντας το ένα κρίσιμο και επίκαιρο παράδειγμα για τη διαφύλαξη των ψηφιακών δεδομένων και περιουσιακών στοιχείων. Η παρούσα διπλωματική προτείνει μια μέθοδο για τη συμπλήρωση και την αυτοματοποίηση σαρώσεων ασφάλειας έργων λογισμικού με χρήση αποκλειστικά εργαλείων ανοιχτού κώδικα (Open-source software) για την πραγματοποίηση των σαρώσεων ασφάλειας, την παρακολούθηση των αποτελεσμάτων και την αυτοματοποίηση επιδιορθώσεων ευπαθειών. Η προτεινόμενη έρευνα έχει ενσωματωθεί σε υποδομή Continuous Integration/Continuous Delivery, επιτρέποντας την αυτόματη σάρωση και επιδιόρθωση τρωτών σημείων κατά τη διαδικασία και τον κύκλο ανάπτυξης και παράδοσης του λογισμικού.
Ανάπτυξη εργαλείου αυτοματοποίησης της παραγωγής σεναρίων για τη δημιουργία ψ...ISSEL
Η ανάπτυξη της Τεχνητής Νοημοσύνης τα τελευταία χρόνια έχει επιτρέψει τις τεχνολογίες ψηφιακών βοηθών να αναδειχθούν. Από κέντρα εξυπηρέτησης πελα τών εώς και ιατρικές διαγνώσεις, οι ψηφιακοί βοηθοί βρίσκουν εφαρμογή σε πολ λούς τομείς και χρησιμοποιούνται καθημερινά από χρήστες. Όλο και περισσότερες εταιρείες προσπαθούν να τους ενσωματώσουν στο πλαίσιό τους και οι τεχνολογίες πίσω από αυτούς συνεχώς εξελίσσονται. Επιπλέον, οι τεχνολογίες Ανοιχτού Κώδικα φέρνουν τα εργαλεία δημιουργίας ψηφιακών βοηθών πιο κοντά στους προγραμμα τιστές επιτρέποντας τους να πειραματιστούν με αυτά. Ένα τέτοιο εργαλείο είναι και το Rasa, μια τεχνολογία Ανοιχτού Κώδικα για τη δημιουργία ψηφιακών βοηθών βιομηχανικού επιπέδου που χρησιμοποιούν την Τεχνητή Νοημοσύνη. Η χρήση του Rasa απαιτεί ένα υψηλό επίπεδο προγραμματιστικών γνώσεων πράγμα που περιορίζει την ανάπτυξη τέτοιων συστημάτων αποκλειστικά σε προ γραμματιστές. Ενώ οι ψηφιακοί βοηθοί γίνονται όλο και πιο απαραίτητοι σε καθη μερινές εφαρμογές, το εμπόδιο της τεχνογνωσίας περιορίζει τον αριθμό των ατόμων που ασχολούνται με αυτές. Η παρούσα διπλωματική εργασία εστιάζει στην ανάπτυξη ενός εύχρηστου ερ γαλείου δημιουργίας σεναρίων-δεδομένων για το Rasa με στόχο την γρήγορη δη μιουργία ψηφιακών βοηθών. Με τη χρήση Python και συγκεκριμένα του framework Django παρουσιάζεται η υλοποίηση μιας full-stack εφαρμογής, από τις όψεις και τις διευθύνσεις των πόρων εώς τα μοντέλα και τις back-end διεργασίες. Η εφαρμογή αυτή κάνει εύκολη την δημιουργία και επεξεργασία ψηφιακών βοηθών αυτοματο ποιώντας τις περισσότερες λειτουργίες του Rasa. Επιπρόσθετα, γίνεται η χρήση της εφαρμογής με τη δημιουργία ψηφιακών βοη θών, απλών και σύνθετων. Αρχικά παρουσιάζεται η σχεδίαση των σεναρίων και των ιστοριών που θα ακολουθήσει η συζήτηση και στη συνέχεια αυτά υλοποιούνται στο σύστημα. Τέλος, δοκιμάζονται οι βοηθοί και αξιολογείται το αποτέλεσμα από τα παραδείγματα συζητήσεων. Σύμφωνα με τα αποτελέσματα, η εφαρμογή μπορεί να δημιουργήσει επιτυχη μένα ψηφιακούς βοηθούς που περιέχουν τα βασικά συστατικά του Rasa. Όσο όμως οι ψηφιακοί βοηθοί γίνονται πιο σύνθετοι, καθίστανται αναγκαία κάποια ανθρώπινη παρέμβαση ώστε η επιθυμητή λειτουργία να υλοποιηθεί. Έτσι παρότι η εφαρμογή λειτουργεί όπως θέλουμε σε απλά και σύνθετα σενάρια, όταν ο χειριστής χρειά ζεται κάτι αρκετά απαιτητικό σε πολυπλοκότητα, απαραίτητη είναι και πάλι η τεχνογνωσία προγραμματιστικών ικανοτήτων.
Ανάπτυξη Εφαρµογής Προφίλ Μηχανικών Λογισµικού από ∆εδοµένα Αποθετηρίων Λογισ...ISSEL
Το διευρυµένο τοπίο του λογισµικού ανοιχτού κώδικα OSS αποδεικνύει την αυξανόµενη παραγωγική δραστηριότητα των µηχανικών λογισµικού που συνεισφέρουν σε πολλαπλές πλατφόρµες και διάφορα έργα λογισµικού. Η συµµετοχή τους σε αυτά τα έργα αναδεικνύει το ευρύ ϕάσµα των δεξιοτήτων τους, από τη συγγραφή κώδικα έως τη συνεργασία τους µε άλλους µηχανικούς λογισµικού. Καθώς στο οικοσύστηµα του λογισµικού ανοιχτού κώδικα υπάρχει µια διαρκής και συνεχώς αυξανόµενη δραστηριότητα, είναι πολύ σηµαντική µια πιο ολοκληρωµένη κατανόηση των συνεισφορών και των δεξιοτήτων των µηχανικών λογισµικού. Σκοπός της παρούσας διπλωµατικής είναι να αξιοποιήσει δεδοµένα από την υποδοµή World of Code (WoC) που περιέχει συγκεντρωµένα δεδοµένα από τα περισσότερα δη µόσια συστήµατα ελέγχου εκδόσεων για να παρέχει µια πιο ολοκληρωµένη εικόνα του προφίλ ενός µηχανικού λογισµικού. Εξάγοντας, αναλύοντας και οπτικοποιώντας αυτά τα δεδοµένα, αναπτύχθηκε µια εφαρµογή που παρουσιάζει µια περιεκτική επισκόπηση των δραστηριοτήτων ενός µηχανικού στα έργα λογισµικού ανοικτού κώδικα. Η οπτική αναπαράσταση των δεδοµένων, µετατρέπει πολύπλοκα σύνολα δεδοµένων σε εύκολα κατανοητές γραφικές µορφές. Η αξιολόγηση της εφαρµογής σε ένα σύνολο µηχανικών λογισµικού δείχνει ότι πετυχαίνει τους στόχους της. Προσφέρει µια εικόνα της δραστηριότητας, του ϱόλου και των τεχνικών δεξιοτήτων ενός µηχανικού, ενισχύοντας τη διαφάνεια και την κατανόηση της συνεισφοράς του στο οικοσύστηµα του OSS.
Ανάπτυξη αυτοματοποιημένης διαδικασίας Continuous Integration σε έργα λογισμικούISSEL
Τα τελευταία χρόνια παρατηρείται μια ραγδαία ανάπτυξη στο τομέα των υπηρεσιών νέφους(cloud computing) η οποία προκάλεσε το ενδιαφέρον πολλών επιχειρήσεων, με τη ζήτησή τους να αυξάνεται συνεχώς όπως επίσης και ο αριθμός των παρόχων που προσφέρουν αυτές τις υπηρεσίες. Όμως, παρά το ότι έχει εδραιωθεί η χρήση του cloud computing προσφέροντας πολλά πλεονεκτήματα, ανακύπτουν και διάφορες προκλήσεις, όπως η ασφάλεια των δεδομένων. Βασικό στοιχείο της διαδικασίας ανάπτυξης λογισμικού αποτελεί η συχνή πραγματοποίηση ελέγχων (tests) στην εφαρμογή, που αποσκοπεί στην διασφάλιση της ποιότητας, και την ελαχιστοποίηση των σφαλμάτων (bugs) , κάτι που επιτυγχάνεται μέσω των συστημάτων συνεχούς ενσωμάτωσης (Continuous Integration, CI). Μετά την επιτυχημένη εκτέλεση των αυτοματοποιημένων ελέγχων, το CI αποστέλλει και εκτελεί την τελευταία έκδοση του κώδικα στο δοκιμαστικό (staging) ή στο τελικό (production) περιβάλλον αυτόματα μέσω των συστημάτων Continuous Deployment (CD) και Continuous Delivery (CDE). Ο σκοπός της παρούσας εργασίας είναι η σύγκριση των παρόχων cloud, και ακολούθως η ανάπτυξη μιας μεθοδολογίας, μέσω της οποίας να απλοποιείται η χρήση ενός συστήματος CI + CD/CDE. Η προσέγγισή μας ενσωματώνει επίσης στατική ανάλυση και αξιολόγηση ποιότητας κώδικα. Η υλοποίηση του CI καθώς και των διαδικασιών CD/CDE γίνονται μέσω του διαδικτυακού εργαλείου ανοιχτού κώδικα Gitlab, όπου γίνεται χρήση έτοιμων pipelines με υποστήριξη εφαρμογών Node.js και Django, ενώ η στατική ανάλυση πραγματοποιείται μέσω του Code Quality που υπάρχει ενσωματωμένο στο Gitlab και βασίζεται στο εργαλείο Code Climate. Η αυτοματοποίηση της εγκατάστασης των προαπαιτούμενων για το deployment της εφαρμογής,δηλαδή η προετοιμασία του server, και το πρώτο deployment , πραγματοποιoύνται μέσω του εργαλείου διαχείρισης διαμόρφωσης λογισμικού Ansible. Ακόμη, δίνεται η δυνατότητα στο χρήστη για deployment της εφαρμογής στη cloud πλατφόρμα Heroku χωρίς να χρειάζεται η χρήση του Ansible. Το προϊόν της εργασίας απευθύνεται κυρίως σε φοιτητές ή προγραμματιστές με μικρή εμπειρία οι οποίοι θέλουν να ασχοληθούν και να κάνουν τα πρώτα τους βήματα με το CI του Gitlab.
Development of an automatic procedure for Continuous IntegrationISSEL
In recent years there has been a rapid growth in the field of cloud computing which has aroused the interest of many companies, with their demand constantly growing as well as the number of providers offering these services. However, despite the fact that the use of cloud computing has been established, offering many advantages, various challenges arise, such as data security. A key element of the software development process is the frequent testing of the application, in order to ensure quality and minimize bugs, which is achieved through Continuous Integration (CI) systems. Upon successful execution of the automated tests, CI deploys the latest version of the code in a pre-production (staging) or production environment automatically through Continuous Deployment (CD) and Continuous Delivery (CDE). The purpose of this thesis is comparing cloud providers, and then developing a method that simpifies the usage of a CI + CD/CDE system. Our approach also integrates static code analysis and evaluation. CI and CD/CDE processes are implemented through Gitlab, an open source software, with ready-to-use pipelines(Templates) supporting Node.js and Django web applications, while static analysis is performed through Code Quality which is embedded in Gitlab and is based on the Code Climate tool. The automatic installation of the prerequisites for the application deployment, in other words the server setup, and the first deployment , are performed through the Ansible software configuration management tool. Moreover, is given the capability to the user to deploy the app on the cloud platform Heroku without the need of using Ansible. The outcome of the thesis is aimed primarily at students or software developers with little experience who want to get involved and take their first steps with Gitlab CI.
Σχεδιασμός και υλοποίηση πλήρους και αυτοματοποιημένου εργαλείου ελέγχων ασφά...ISSEL
Με την ολοένα και αυξανόμενη υιοθέτηση των πρακτικών DevOps και την άνοδο του Continuous Integration/Continuous Deployment (CI/CD) στην ανάπτυξη λογισμικού, ο κύκλος ζωής ανάπτυξης λογισμικού (SDLC) έχει επιφέρει σημαντικές αλλαγές στη βιομηχανία. Αν και αυτές οι μέθοδοι προσφέρουν πολλά πλεονεκτήματα, παρουσιάζουν επίσης μοναδικές προ κλήσεις ασφαλείας, καθώς οι εφαρμογές που αναπτύσσονται με αυτές είναι πιο επιρρεπείς σε κυβερνοεπιθέσεις συγκριτικά με τις παραδοσιακές μεθόδους ανάπτυξης λογισμικού. Το DevSecOps, ένας συνδυασμός πρακτικών ανάπτυξης (Dev), ασφάλειας (Sec) και λειτουργιών (Ops), έχει αναδειχθεί ως μια κρίσιμη προσέγγιση στην ασφάλεια λογισμικού στο σημερινό ταχέως εξελισσόμενο τεχνολογικό τοπίο. Αυτή η μεθοδολογία είναι ουσιαστική και σχετική για διάφορους λόγους. Πρώτον, αντιμετωπίζει την αυξανόμενη ανάγκη για ασφάλεια στην ανάπτυξη λογισμικού. Καθώς οι απειλές και οι επιθέσεις στον κυβερνοχώρο γίνονται πιο εξελιγμένες, η ενσωμάτωση της ασφάλειας στον αγωγό DevOps βοηθά τους οργανισμούς να εντοπίζουν και να μετριάζουν προληπτικά τις ευπάθειες από το πρώιμο στάδιο ανάπτυξης του λογισμικού, μειώνοντας τον κίνδυνο παραβίασης δεδομένων και διακοπής λειτουργίας. Δεύτερον, η ανάγκη για ταχύτερες και συχνότερες εκδόσεις λογισμικού απαιτεί μια μετατόπιση από τις παραδοσιακές πρακτικές ασφαλείας, οι οποίες συχνά προκαλούν καθυστε ρήσεις. Το DevSecOps απλοποιεί την ασφάλεια αυτοματοποιώντας τις δοκιμές και τους ελέγχους συμμόρφωσης, επιτρέποντας τη συνεχή παράδοση (CD) χωρίς να θυσιάζεται η ασφάλεια. Επιπλέον, το DevSecOps ενθαρρύνει μια κουλτούρα κοινής ευθύνης, ενισχύοντας τη συνεργασία μεταξύ προγραμματιστών, επαγγελματιών ασφάλειας και ομάδων επιχειρήσεων. Αυτή η συλλογική προσέγγιση οδηγεί σε βελτιωμένη επικοινωνία, βελτιωμένη επίγνωση των ανη συχιών για την ασφάλεια και ταχύτερη απόκριση σε αναδυόμενες απειλές. Σε μια εποχή όπου ο ψηφιακός μετασχηματισμός βρίσκεται στην πρώτη γραμμή των επιχει ρηματικών στρατηγικών, το DevSecOps είναι απαραίτητο για τη διασφάλιση της ανθεκτικότητας, της ακεραιότητας και της εμπιστευτικότητας των συστημάτων λογισμικού. Ευθυγραμμίζει την ασφάλεια με το ρυθμό της σύγχρονης ανάπτυξης λογισμικού, καθιστώντας το ένα κρίσιμο και επίκαιρο παράδειγμα για τη διαφύλαξη των ψηφιακών δεδομένων και περιουσιακών στοιχείων. Η παρούσα διπλωματική προτείνει μια μέθοδο για τη συμπλήρωση και την αυτοματοποίηση σαρώσεων ασφάλειας έργων λογισμικού με χρήση αποκλειστικά εργαλείων ανοιχτού κώδικα (Open-source software) για την πραγματοποίηση των σαρώσεων ασφάλειας, την παρακολούθηση των αποτελεσμάτων και την αυτοματοποίηση επιδιορθώσεων ευπαθειών. Η προτεινόμενη έρευνα έχει ενσωματωθεί σε υποδομή Continuous Integration/Continuous Delivery, επιτρέποντας την αυτόματη σάρωση και επιδιόρθωση τρωτών σημείων κατά τη διαδικασία και τον κύκλο ανάπτυξης και παράδοσης του λογισμικού.
Ανάπτυξη εργαλείου αυτοματοποίησης της παραγωγής σεναρίων για τη δημιουργία ψ...ISSEL
Η ανάπτυξη της Τεχνητής Νοημοσύνης τα τελευταία χρόνια έχει επιτρέψει τις τεχνολογίες ψηφιακών βοηθών να αναδειχθούν. Από κέντρα εξυπηρέτησης πελα τών εώς και ιατρικές διαγνώσεις, οι ψηφιακοί βοηθοί βρίσκουν εφαρμογή σε πολ λούς τομείς και χρησιμοποιούνται καθημερινά από χρήστες. Όλο και περισσότερες εταιρείες προσπαθούν να τους ενσωματώσουν στο πλαίσιό τους και οι τεχνολογίες πίσω από αυτούς συνεχώς εξελίσσονται. Επιπλέον, οι τεχνολογίες Ανοιχτού Κώδικα φέρνουν τα εργαλεία δημιουργίας ψηφιακών βοηθών πιο κοντά στους προγραμμα τιστές επιτρέποντας τους να πειραματιστούν με αυτά. Ένα τέτοιο εργαλείο είναι και το Rasa, μια τεχνολογία Ανοιχτού Κώδικα για τη δημιουργία ψηφιακών βοηθών βιομηχανικού επιπέδου που χρησιμοποιούν την Τεχνητή Νοημοσύνη. Η χρήση του Rasa απαιτεί ένα υψηλό επίπεδο προγραμματιστικών γνώσεων πράγμα που περιορίζει την ανάπτυξη τέτοιων συστημάτων αποκλειστικά σε προ γραμματιστές. Ενώ οι ψηφιακοί βοηθοί γίνονται όλο και πιο απαραίτητοι σε καθη μερινές εφαρμογές, το εμπόδιο της τεχνογνωσίας περιορίζει τον αριθμό των ατόμων που ασχολούνται με αυτές. Η παρούσα διπλωματική εργασία εστιάζει στην ανάπτυξη ενός εύχρηστου ερ γαλείου δημιουργίας σεναρίων-δεδομένων για το Rasa με στόχο την γρήγορη δη μιουργία ψηφιακών βοηθών. Με τη χρήση Python και συγκεκριμένα του framework Django παρουσιάζεται η υλοποίηση μιας full-stack εφαρμογής, από τις όψεις και τις διευθύνσεις των πόρων εώς τα μοντέλα και τις back-end διεργασίες. Η εφαρμογή αυτή κάνει εύκολη την δημιουργία και επεξεργασία ψηφιακών βοηθών αυτοματο ποιώντας τις περισσότερες λειτουργίες του Rasa. Επιπρόσθετα, γίνεται η χρήση της εφαρμογής με τη δημιουργία ψηφιακών βοη θών, απλών και σύνθετων. Αρχικά παρουσιάζεται η σχεδίαση των σεναρίων και των ιστοριών που θα ακολουθήσει η συζήτηση και στη συνέχεια αυτά υλοποιούνται στο σύστημα. Τέλος, δοκιμάζονται οι βοηθοί και αξιολογείται το αποτέλεσμα από τα παραδείγματα συζητήσεων. Σύμφωνα με τα αποτελέσματα, η εφαρμογή μπορεί να δημιουργήσει επιτυχη μένα ψηφιακούς βοηθούς που περιέχουν τα βασικά συστατικά του Rasa. Όσο όμως οι ψηφιακοί βοηθοί γίνονται πιο σύνθετοι, καθίστανται αναγκαία κάποια ανθρώπινη παρέμβαση ώστε η επιθυμητή λειτουργία να υλοποιηθεί. Έτσι παρότι η εφαρμογή λειτουργεί όπως θέλουμε σε απλά και σύνθετα σενάρια, όταν ο χειριστής χρειά ζεται κάτι αρκετά απαιτητικό σε πολυπλοκότητα, απαραίτητη είναι και πάλι η τεχνογνωσία προγραμματιστικών ικανοτήτων.
Ανάπτυξη Εφαρµογής Προφίλ Μηχανικών Λογισµικού από ∆εδοµένα Αποθετηρίων Λογισ...ISSEL
Το διευρυµένο τοπίο του λογισµικού ανοιχτού κώδικα OSS αποδεικνύει την αυξανόµενη παραγωγική δραστηριότητα των µηχανικών λογισµικού που συνεισφέρουν σε πολλαπλές πλατφόρµες και διάφορα έργα λογισµικού. Η συµµετοχή τους σε αυτά τα έργα αναδεικνύει το ευρύ ϕάσµα των δεξιοτήτων τους, από τη συγγραφή κώδικα έως τη συνεργασία τους µε άλλους µηχανικούς λογισµικού. Καθώς στο οικοσύστηµα του λογισµικού ανοιχτού κώδικα υπάρχει µια διαρκής και συνεχώς αυξανόµενη δραστηριότητα, είναι πολύ σηµαντική µια πιο ολοκληρωµένη κατανόηση των συνεισφορών και των δεξιοτήτων των µηχανικών λογισµικού. Σκοπός της παρούσας διπλωµατικής είναι να αξιοποιήσει δεδοµένα από την υποδοµή World of Code (WoC) που περιέχει συγκεντρωµένα δεδοµένα από τα περισσότερα δη µόσια συστήµατα ελέγχου εκδόσεων για να παρέχει µια πιο ολοκληρωµένη εικόνα του προφίλ ενός µηχανικού λογισµικού. Εξάγοντας, αναλύοντας και οπτικοποιώντας αυτά τα δεδοµένα, αναπτύχθηκε µια εφαρµογή που παρουσιάζει µια περιεκτική επισκόπηση των δραστηριοτήτων ενός µηχανικού στα έργα λογισµικού ανοικτού κώδικα. Η οπτική αναπαράσταση των δεδοµένων, µετατρέπει πολύπλοκα σύνολα δεδοµένων σε εύκολα κατανοητές γραφικές µορφές. Η αξιολόγηση της εφαρµογής σε ένα σύνολο µηχανικών λογισµικού δείχνει ότι πετυχαίνει τους στόχους της. Προσφέρει µια εικόνα της δραστηριότητας, του ϱόλου και των τεχνικών δεξιοτήτων ενός µηχανικού, ενισχύοντας τη διαφάνεια και την κατανόηση της συνεισφοράς του στο οικοσύστηµα του OSS.
Εφαρμογή Τεχνικών Εξόρυξης Δεδομένων σε Αποθήκες Λογισμικού με σκοπό την Εξα...ISSEL
Η στενή συνεργασία μεταξύ των προγραμματιστών για την ανάπτυξη καινοτόμων έργων λογισμικού κρίνεται απαραίτητη. Για αυτόν τον λόγο, υπάρχουν αρκετές διαδικτυακές πλατφόρμες φιλοξενίας προγραμμάτων, οι οποίες δίνουν τη δυνατότητα στους χρήστες τους να παρακολουθεί ο ένας τις αλλαγές, τις προτάσεις και τις παρατηρήσεις του άλλου για την εξέλιξη και τη βελτίωση του κώδικα. Επιπλέον, οι πλατφόρμες αυτές ελέγχουν τις διαφορετικές εκδόσεις του κώδικα ενός έργου, ώστε ο προγραμματιστής να μπορεί να ανατρέξει σε οποιαδήποτε από αυτές, εάν το επιθυμεί. Όλες οι τροποποιήσεις, οι οποίες διενεργούνται από ένα πρόσωπο της ομάδας ανάπτυξης λογισμικού σε μία δεδομένη χρονική στιγμή, συγκεντρώνονται σε ένα commit, όπου καταγράφονται μάλιστα όλοι οι λόγοι πίσω από αυτές. Έτσι, γίνεται κατανοητό ότι τέτοιες συλλογές αλλαγών εμπεριέχουν πολλές χρήσιμες πληροφορίες για τον τρόπο με τον οποίο εξελίσσεται ένα έργο λογισμικού. Η εφαρμογή τεχνικών του κλάδου της εξόρυξης δεδομένων στις δημόσιες αποθήκες λογισμικού και σε όλα τα δεδομένα που αναφέρθηκαν παραπάνω θα μπορούσε να φέρει στο φως ορισμένες συχνές διορθώσεις σφαλμάτων, συστηματικές τροποποιήσεις, επαναλαμβανόμενους τύπους αλλαγών στην αρχιτεκτονική, καθώς και κάποια ευρέως χρησιμοποιούμενα σχεδιαστικά πρότυπα, γνωστά ή μη. Μία εκτενής βιβλιογραφική έρευνα σε αυτόν τον τομέα αποκαλύπτει ότι οι περισσότερες προσπάθειες επιστημόνων έχουν στραφεί στις διορθώσεις σφαλμάτων και στις συστηματικές τροποποιήσεις, με αποτέλεσμα να έχουν αγνοηθεί κάποια λιγότερο λεπτομερή, δηλαδή πιο υψηλού επιπέδου (high level) μοτίβα εξέλιξης ή συγγραφής κώδικα. Στο πλαίσιο αυτό, η παρούσα διπλωματική εργασία προσπαθεί να ανακαλύψει τις σχέσεις ανάμεσα στις διάφορες κλάσεις ενός προγράμματος, αλλά και να παρακολουθήσει τον τρόπο με τον οποίο αυτές αλλάζουν στο πέρασμα του χρόνου. Για να επιτευχθούν οι παραπάνω στόχοι, προσαρμόζεται ένα εργαλείο εξαγωγής σχέσεων (Relationships Extractor), η λειτουργία του οποίου βασίζεται στην ανάλυση των Αφηρημένων Συντακτικών Δέντρων (Abstract Syntax Trees) που αφορούν τους κώδικες μερικών από τα πιο δημοφιλή έργα λογισμικού της διαδικτυακής πλατφόρμας του Github. Αφού αναλυθούν και επεξεργαστούν αυτά τα συντακτικά δέντρα, εξάγονται πληροφορίες για τη λειτουργία των κλάσεων, την αφαιρετικότητά τους και την κληρονομικότητα, οι οποίες στη συνέχεια μοντελοποιούνται σε γράφους (με τις κλάσεις ως κόμβους και τις συνδέσεις τους ως ακμές). Αφού λοιπόν ολοκληρωθούν οι παραπάνω ενέργειες για την τελική μορφή του εκάστοτε προγράμματος, η ίδια σειρά ενεργειών ακολουθείται και για κάθε στιγμιότυπό του, εξάγοντας τη διαφορά ως προς τις σχέσεις ανάμεσα στην έκδοσή του πριν και μετά από κάθε commit ξεχωριστά. Τέλος, εφαρμόζοντας τον αλγόριθμο gSpan (graph-based Substructure pattern mining), έναν αλγόριθμο αναζήτησης συχνών πογράφων σε ένα σύνολο γράφων, ανιχνεύονται ορισμένα ευρέως χρησιμοποιούμενα από την παγκόσμια προγραμματιστική κοινότητα, μοτίβα σχεδίασης και εξέλιξης λογισμικού.
Applying Data Mining Techniques on Software Repositories to Extract Design an...ISSEL
Close collaboration between software developers is considered essential in order to build innovative software projects. For this reason, there are several online program-hosting platforms, which enable their users to watch each other’s changes, recommendations and comments towards the improvement and evolution of code. These platforms also control different versions of the software code so that the developer can revert to previous ones if desired. All the modifications performed at a given time by a member of the software development team are bundled in a commit, where the main reasons behind them are also recorded. As a consequence, it goes without saying that these series of changes include a lot of useful information about the way a software project evolves. Applying data mining techniques on public software repositories and the data we discussed above could unveil some common bug fixes, systematic edits, frequent types of changes in a project’s architecture and frequently-used design patterns either known or unknown ones. An extensive bibliographic research in this domain reveals that the majority of scientific efforts has focused on bug fixes and systematic edits ignoring some more coarse-grained (high-level) code evolution or design patterns. In this context, this dissertation tries to extract the relationships between the classes of an object-oriented program, while also seeking to monitor the way they evolve over time. To achieve these goals, this diploma thesis adapts a Relationship Extractor tool based on the Abstract Syntax Trees analysis of some of the most popular software projects in Github web platform. After analyzing and processing those syntax trees, useful information is extracted concerning the operation, the abstraction level as well as the inheritance of classes. This information is then modeled as graphs (with classes as nodes and the connections between them as edges). These steps are not only executed for the latest version of a project, but also in each and every commit with a view to extracting the difference in relationships between the versions of a project before and after the specific commit. Finally, gSpan, which is a frequent-subgraph mining algorithm, is applied, in order to detect code design and evolution patterns used by the software community worldwide.
Development of a system for designing remote digital image processing pipelin...ISSEL
Nowadays, Digital Image Processing and Computer Vision have significantly evolved and have found their applications in almost every sector. Autonomous cars perceive the world around them through their optical sensors, medical imaging data are processed to extract conclusions about pathological conditions, the production line is monitored to detect abnormalities, and these are only a few examples of Computer Vision penetration in our everyday reality. At the same time, the distributed sensor networks in the concept of Internet of Things have an increasing presence in everyday life. However these devices usually don’t have sufficient computing power to execute complex and resource-demanding algorithms, such as Computer Vision ones. The classical approach for IoT systems is to create code flows and execute them on a remote host, but an automated approach would be even more interesting, using graphical building blocks, that will allow people of all specialties to create Machine Vision pipelines. In this diploma thesis, a system for developing digital image processing pipelines on a low code environment is created, that allows the pipelines to be executed remotely with the use of IoT protocols. For the graphical user interface of the application the Node-RED framework is selected, and a package is developed for it, in which each node requests the remote computation of a digital image processing algorithm. Furthermore, an image processing server is created, that executes the corresponding algorithms based on OpenCV and skimage libraries, and is also responsible for encoding and decoding the data between one form to be transmitted through the network and one form that is understood by the algorithms. The two entities communicate with each other through MQTT brokers, and can also be accessed externally. Finally, the system was tested through a number of pipelines of increasing size, that processed a single image, as well as a sequence of images. Also, a time analysis of the various processing stages was performed.
Ανάπτυξη υποδομής για τη δημιουργία ροών απομακρυσμένης επεξεργασίας εικόνας ...ISSEL
Σήμερα η Ψηφιακή Επεξεργασία Εικόνας και η Μηχανική Όραση βρίσκουν περισσότερες εφαρμογές από ποτέ. Τα αυτόνομα αυτοκίνητα για την κατανόηση του κόσμου γύρω τους μέσω των οπτικών αισθητηρίων τους, η επεξεργασία ιατρικών τομογραφιών για την εξαγωγή συμπερασμάτων για την ύπαρξη η όχι διαφόρων παθήσεων, η παρακολούθηση των γραμμών παραγωγής και ο εντοπισμός ανωμαλιών είναι μόλις μερικές από αυτές. Ταυτόχρονα, τα κατανεμημένα συστήματα αισθητήρων στο πλαίσιο του Internet of Things έχουν αυξανόμενη παρουσία στην καθημερινότητα των ανθρώπων. Πρόκειται για συστήματα ωστόσο με επεξεργαστική ισχύ που συνήθως δεν επαρκεί για την εκτέλεση πολύπλοκων και απαιτητικών σε πόρους αλγορίθμων, όπως αυτοί της Μηχανικής Όρασης. Η κλασσική προσέγγιση είναι ο συνδυασμός εντολών κώδικα και η εκτέλεσή του σε απομακρυσμένο κεντρικό υπολογιστή, όμως περισσότερο ενδιαφέρον παρουσιάζεται σε μία αυτοματοποιημένη προσέγγισή του, με χρήση γραφικών δομικών στοιχείων, που θα επιτρέψει σε άτομα κάθε ειδικότητας να μπορούν να ασχοληθούν με την δημιουργία ροών Μηχανικής Όρασης. Η συγκεκριμένη διπλωματική εστιάζει ακριβώς στην ανάπτυξη ενός τέτοιου συστήματος, για την ανάπτυξη ροών επεξεργασίας εικόνας σε περιβάλλον χαμηλού κώδικα, που θα εκτελούνται σε απομακρυσμένη τοποθεσία. Συγκεκριμένα, επιλέχθηκε το εργαλείο Node-RED ως η γραφική διεπαφή χρήστη και δημιουργήθηκε ένα πακέτο κόμβων για αυτό, στο οποίο κάθε κόμβος ζητά την εκτέλεση ενός αλγορίθμου επεξεργασίας εικόνας από έναν απομακρυσμένο διακομιστή. Επιπλέον, δημιουργήθηκε ο διακομιστής επεξεργασίας εικόνας, ο οποίος εκτελεί τους αντίστοιχους αλγορίθμους βασισμένος στις βιβλιοθήκες OpenCV και skimage, και είναι υπεύθυνος να κωδικοποιεί τα δεδομένα σε μορφές κατάλληλες τόσο για αποστολή στο δίκτυο όσο και για κατανόηση από τους αλγορίθμους. Οι δύο οντότητες επικοινωνούν μεταξύ τους μέσω μεσιτών (brokers) και μπορούν να προσπελαστούν και εξωτερικά. Τέλος, δημιουργήθηκαν τρία σενάρια χρήσης του συστήματος για την επεξεργασία μίας εικόνας, αλλά και χρονικής ακολουθίας εικόνων από ροές διαφόρων μεγεθών, και πραγματοποιήθηκαν πειράματα σχετικά με την απόδοση του συστήματος.
Introduction to .NET Framework and C# (Greek)Vangos Pterneas
A brief introduction to .NET Framework and C# for a presentation in Athens University of Economics and Business (in Greek). MSDN Academic Alliance and Imagine Cup are also discussed.
Presenters:
Vangos Pterneas (http://twitter.com/Pterneas)
Pavlos Touroulitis
Alex Tzanetopoulos (http://twitter.com/nerdtechnews)
Date: October 26, 2010
Μηχανισμοί αυτοματοποίησης διαδικασιών σχεδίασης, υλοποίησης και ανάπτυξης λο...ISSEL
Ως γνωστόν, οι επιστήμες της ρομποτικής και των Κυβερνοφυσικών Συστημά-
των (ΚΦΣ) καλύπτουν/απαιτούν ένα ευρύ φάσμα γνώσεων στα πεδία του υλικού,
του λογισμικού, των συστημάτων, των αλγορίθμων μηχανικής μάθησης κ.α., καθι-
στώντας τον έλεγχο ενός ρομπότ, ή μίας συσκευής, μία χρονοβόρα και δύσκολη
διαδικασία, ακόμη και για κάποιον εξοικειωμένο με τους συγκεκριμένους τομείς.
Από την άλλη, η ραγδαία εξέλιξη στους κλάδους της ρομποτικής, του διαδικτύου
των πραγμάτων (IoT) και των σύγχρονων ΚΦΣ, έχει ως αποτέλεσμα την ανάπτυ-
ξη διάφορων τεχνολογιών και εργαλείων υποστήριξης της ανάπτυξης συστημάτων
και εφαρμογών τα τελευταία χρόνια. Η υψηλή ετερογένεια που συναντάμε στα
συστήματα αυτά, βασίζεται κυρίως στην διασύνδεση του φυσικού και του ψηφια-
κού κόσμου, αλλά και στην πληθώρα των διαθέσιμων τεχνολογιών και εργαλείων
σχεδίασης, ανάπτυξης και εγκατάστασης. Παραδείγματα σύγχρονων ΚΦΣ είναι τα
έξυπνα σπίτια και οι έξυπνες υποδομές γενικότερα, καθώς και τα ψηφιακά δίδυμα.
Τα συστήματα αυτά αποτελούνται από φυσικές συσκευές, οι οποίες αλληλεπιδρούν
με το φυσικό περιβάλλον μέσω των αισθητήρων και ενεργοποιητών που διαχειρί-
ζονται, καθώς και από ψηφιακές οντότητες, οι οποίες είναι υπεύθυνες για την δια-
σύνδεση, την επεξεργασία, την παρακολούθηση, τον έλεγχο και την ενορχήστρωση
σε επίπεδο συστήματος και εφαρμογής.
Η παρούσα διδακτορική διατριβή επικεντρώνεται στο πρόβλημα της μέτα-μοντε-
λοποίησης των φάσεων σχεδίασης (design), υλοποίησης (implementation) και α-
νάπτυξης (deployment) Κυβερνοφυσικών Συστημάτων (ΚΦΣ). Συγκεκριμένα, στα
πλαίσια της διατριβής μελετήθηκαν και εφαρμόστηκαν τεχνικές μηχανικής λογισμι-
κού οδηγούμενης από μοντέλα για την ανάπτυξη μιας μεθοδολογίας και αντίστοι-
χων Γλωσσών Ειδικού Πεδίου (Domain Specific Languages - DSLs) για την αυτο-
ματοποίηση των προαναφερθεισών φάσεων. Βασικός στόχος της διατριβής είναι η
συστηματοποίηση των διαδικασιών ανάπτυξης σύγχρονων συστημάτων και εφαρ-
μογών ΚΦΣ, με χρήση υψηλού επιπέδου εργαλείων, μεσολογισμικού και γλωσσών
ειδικού πεδίου. Η διατριβή εστιάζει σε συσκευές ανοικτού υλικού και λογισμι-
κού (open hardware/open software), ενώ στοχεύει να διευκολύνει την ανάπτυξη
εφαρμογών από μη ειδικούς του πεδίου (citizen developers) μέσω της χρήσης των
μέτα-μοντέλων και των γλωσσών που αναπτύχθηκαν στα πλαίσια της διατριβής.
Silverlight Presentation @ University of Piraeus - 3-15-2010Alexandros Sigaras
In this presentation, conducted on 03-15-2010 @ University of Piraeus, I gave a small 30' presentation to my colleagues introducing them to Silverlight. The presentation was mostly based in interactive demos like augmented reality with the SLAR Toolkit, a Facebook Silverlight Client, Microsoft Health demos and a greek Project named "Virtual Fire" that forecasts fire probability and help prevent them. The slides presented are in Greek, but are free and available to anyone for download.
With the current technological advances there is arisingneed for testing the reliability and the security of software. Security testing usually requires manual work from a highly specialized security researcher.However,lately a number of program analysis techniques have been employed in order to automate parts of the process. In this thesis an automatic system is developed that uses dynamic analysis and symbolic execution in order to produce testcases for programs. Dynamic analysis is used in order to collect run time information like the current program state,the usage of input data by the program and the paths that have been executed by the program. This information is used in order to accelerate symbolic execution and produce a test case file that is able to pass various program checks and execute more program code, thusincreasingcodecoverage.These test case can be used in further analys is of the program. The system that was developed gives encouraging results producing partial input files with the structure that is expected by the programs analyzed, automatically and without any prior knowledge.However,the limitations of symbolic execution quickly become apparent since the analysis complexity has exponential complexity .As a result additional methods must be used in order to surpass these limitations in larger programs.
Implementation of a platform for assessing indoor spaces regarding their frie...ISSEL
This thesis presents an innovative tool specifically designed to assess the dementia friendliness of indoor spaces. With the rise in dementia cases globally, the need to adapt environments to the unique needs of those affected is becoming increasingly important. This research focuses on evaluating how friendly and suitable these spaces are for individuals with dementia, with a particular emphasis on flooring. The developed tool leverages the power of deep learning and machine learning to analyze images of indoor spaces, identifying objects within these images to evaluate their suitability for dementia-friendly environments. The tool currently focuses on evaluating rugs, equipped with an easy to navigate and effective web application that allows caregivers, designers (or other users) to easily upload photos for assessment. This specialized approach ensures that users can quickly understand how these floor coverings align with dementia-friendly design principles. The tool is user-friendly and efficient, designed for quick assessment of indoor areas. Rather than suggesting changes, it rates how dementia-friendly these spaces are, providing valuable insights for caregivers and designers. This feature is essential for public places such as care homes, private residences or even hotels that aim to be dementia-friently, where creating safe, understandable, and comfortable environments for people with dementia is crucial. Overall, this thesis merges technology with the principles of interior design in the context of dementia care. It offers a significant contribution to the field, providing a practical and innovative approach to assess and understand dementia-friendly environments.
Autonomous car position calculation with particle filters using traffic data ...ISSEL
As autonomous vehicle technology progresses, the need for precise real-time positioning in dynamic urban environments becomes increasingly vital. This thesis explores the utilization of particle filters to calculate the position of autonomous cars, using traffic data within a simulated environment. The primary goal is to improve accuracy and reliability in vehicle localization by integrating information from dynamic traffic conditions into the positioning algorithm. A simulated environment is employed to replicate realistic traffic scenarios, generating diverse and dynamic datasets. Particle filters are implemented as a probabilistic framework, assimilating information from various sources such as sensor data and traffic patterns to estimate the vehicle’s position. Through extensive experimentation, the efficacy of the proposed approach is assessed across diverse traffic conditions and scenarios. Results indicate that real time traffic data significantly enhances the precision and robustness of autonomous car positioning. The particle filter algorithm seamlessly adapts to changing traffic situations, demonstrating its potential for practical implementation in autonomous driving systems. Additionally, the thesis investigates the influence of different parameters and configurations on the particle filter algorithm’s performance. Insights gained from these studies contribute to optimizing the algorithm for a range of urban driving conditions. In summary, this research advances autonomous vehicle positioning by introducing an innovative approach that integrates particle filters with traffic data in a simulated environment. The findings hold implications for developing more accurate and adaptable autonomous navigation systems, laying the foundation for safer and more reliable self-driving vehicles in intricate urban settings.
Εφαρμογή Τεχνικών Εξόρυξης Δεδομένων σε Αποθήκες Λογισμικού με σκοπό την Εξα...ISSEL
Η στενή συνεργασία μεταξύ των προγραμματιστών για την ανάπτυξη καινοτόμων έργων λογισμικού κρίνεται απαραίτητη. Για αυτόν τον λόγο, υπάρχουν αρκετές διαδικτυακές πλατφόρμες φιλοξενίας προγραμμάτων, οι οποίες δίνουν τη δυνατότητα στους χρήστες τους να παρακολουθεί ο ένας τις αλλαγές, τις προτάσεις και τις παρατηρήσεις του άλλου για την εξέλιξη και τη βελτίωση του κώδικα. Επιπλέον, οι πλατφόρμες αυτές ελέγχουν τις διαφορετικές εκδόσεις του κώδικα ενός έργου, ώστε ο προγραμματιστής να μπορεί να ανατρέξει σε οποιαδήποτε από αυτές, εάν το επιθυμεί. Όλες οι τροποποιήσεις, οι οποίες διενεργούνται από ένα πρόσωπο της ομάδας ανάπτυξης λογισμικού σε μία δεδομένη χρονική στιγμή, συγκεντρώνονται σε ένα commit, όπου καταγράφονται μάλιστα όλοι οι λόγοι πίσω από αυτές. Έτσι, γίνεται κατανοητό ότι τέτοιες συλλογές αλλαγών εμπεριέχουν πολλές χρήσιμες πληροφορίες για τον τρόπο με τον οποίο εξελίσσεται ένα έργο λογισμικού. Η εφαρμογή τεχνικών του κλάδου της εξόρυξης δεδομένων στις δημόσιες αποθήκες λογισμικού και σε όλα τα δεδομένα που αναφέρθηκαν παραπάνω θα μπορούσε να φέρει στο φως ορισμένες συχνές διορθώσεις σφαλμάτων, συστηματικές τροποποιήσεις, επαναλαμβανόμενους τύπους αλλαγών στην αρχιτεκτονική, καθώς και κάποια ευρέως χρησιμοποιούμενα σχεδιαστικά πρότυπα, γνωστά ή μη. Μία εκτενής βιβλιογραφική έρευνα σε αυτόν τον τομέα αποκαλύπτει ότι οι περισσότερες προσπάθειες επιστημόνων έχουν στραφεί στις διορθώσεις σφαλμάτων και στις συστηματικές τροποποιήσεις, με αποτέλεσμα να έχουν αγνοηθεί κάποια λιγότερο λεπτομερή, δηλαδή πιο υψηλού επιπέδου (high level) μοτίβα εξέλιξης ή συγγραφής κώδικα. Στο πλαίσιο αυτό, η παρούσα διπλωματική εργασία προσπαθεί να ανακαλύψει τις σχέσεις ανάμεσα στις διάφορες κλάσεις ενός προγράμματος, αλλά και να παρακολουθήσει τον τρόπο με τον οποίο αυτές αλλάζουν στο πέρασμα του χρόνου. Για να επιτευχθούν οι παραπάνω στόχοι, προσαρμόζεται ένα εργαλείο εξαγωγής σχέσεων (Relationships Extractor), η λειτουργία του οποίου βασίζεται στην ανάλυση των Αφηρημένων Συντακτικών Δέντρων (Abstract Syntax Trees) που αφορούν τους κώδικες μερικών από τα πιο δημοφιλή έργα λογισμικού της διαδικτυακής πλατφόρμας του Github. Αφού αναλυθούν και επεξεργαστούν αυτά τα συντακτικά δέντρα, εξάγονται πληροφορίες για τη λειτουργία των κλάσεων, την αφαιρετικότητά τους και την κληρονομικότητα, οι οποίες στη συνέχεια μοντελοποιούνται σε γράφους (με τις κλάσεις ως κόμβους και τις συνδέσεις τους ως ακμές). Αφού λοιπόν ολοκληρωθούν οι παραπάνω ενέργειες για την τελική μορφή του εκάστοτε προγράμματος, η ίδια σειρά ενεργειών ακολουθείται και για κάθε στιγμιότυπό του, εξάγοντας τη διαφορά ως προς τις σχέσεις ανάμεσα στην έκδοσή του πριν και μετά από κάθε commit ξεχωριστά. Τέλος, εφαρμόζοντας τον αλγόριθμο gSpan (graph-based Substructure pattern mining), έναν αλγόριθμο αναζήτησης συχνών πογράφων σε ένα σύνολο γράφων, ανιχνεύονται ορισμένα ευρέως χρησιμοποιούμενα από την παγκόσμια προγραμματιστική κοινότητα, μοτίβα σχεδίασης και εξέλιξης λογισμικού.
Applying Data Mining Techniques on Software Repositories to Extract Design an...ISSEL
Close collaboration between software developers is considered essential in order to build innovative software projects. For this reason, there are several online program-hosting platforms, which enable their users to watch each other’s changes, recommendations and comments towards the improvement and evolution of code. These platforms also control different versions of the software code so that the developer can revert to previous ones if desired. All the modifications performed at a given time by a member of the software development team are bundled in a commit, where the main reasons behind them are also recorded. As a consequence, it goes without saying that these series of changes include a lot of useful information about the way a software project evolves. Applying data mining techniques on public software repositories and the data we discussed above could unveil some common bug fixes, systematic edits, frequent types of changes in a project’s architecture and frequently-used design patterns either known or unknown ones. An extensive bibliographic research in this domain reveals that the majority of scientific efforts has focused on bug fixes and systematic edits ignoring some more coarse-grained (high-level) code evolution or design patterns. In this context, this dissertation tries to extract the relationships between the classes of an object-oriented program, while also seeking to monitor the way they evolve over time. To achieve these goals, this diploma thesis adapts a Relationship Extractor tool based on the Abstract Syntax Trees analysis of some of the most popular software projects in Github web platform. After analyzing and processing those syntax trees, useful information is extracted concerning the operation, the abstraction level as well as the inheritance of classes. This information is then modeled as graphs (with classes as nodes and the connections between them as edges). These steps are not only executed for the latest version of a project, but also in each and every commit with a view to extracting the difference in relationships between the versions of a project before and after the specific commit. Finally, gSpan, which is a frequent-subgraph mining algorithm, is applied, in order to detect code design and evolution patterns used by the software community worldwide.
Development of a system for designing remote digital image processing pipelin...ISSEL
Nowadays, Digital Image Processing and Computer Vision have significantly evolved and have found their applications in almost every sector. Autonomous cars perceive the world around them through their optical sensors, medical imaging data are processed to extract conclusions about pathological conditions, the production line is monitored to detect abnormalities, and these are only a few examples of Computer Vision penetration in our everyday reality. At the same time, the distributed sensor networks in the concept of Internet of Things have an increasing presence in everyday life. However these devices usually don’t have sufficient computing power to execute complex and resource-demanding algorithms, such as Computer Vision ones. The classical approach for IoT systems is to create code flows and execute them on a remote host, but an automated approach would be even more interesting, using graphical building blocks, that will allow people of all specialties to create Machine Vision pipelines. In this diploma thesis, a system for developing digital image processing pipelines on a low code environment is created, that allows the pipelines to be executed remotely with the use of IoT protocols. For the graphical user interface of the application the Node-RED framework is selected, and a package is developed for it, in which each node requests the remote computation of a digital image processing algorithm. Furthermore, an image processing server is created, that executes the corresponding algorithms based on OpenCV and skimage libraries, and is also responsible for encoding and decoding the data between one form to be transmitted through the network and one form that is understood by the algorithms. The two entities communicate with each other through MQTT brokers, and can also be accessed externally. Finally, the system was tested through a number of pipelines of increasing size, that processed a single image, as well as a sequence of images. Also, a time analysis of the various processing stages was performed.
Ανάπτυξη υποδομής για τη δημιουργία ροών απομακρυσμένης επεξεργασίας εικόνας ...ISSEL
Σήμερα η Ψηφιακή Επεξεργασία Εικόνας και η Μηχανική Όραση βρίσκουν περισσότερες εφαρμογές από ποτέ. Τα αυτόνομα αυτοκίνητα για την κατανόηση του κόσμου γύρω τους μέσω των οπτικών αισθητηρίων τους, η επεξεργασία ιατρικών τομογραφιών για την εξαγωγή συμπερασμάτων για την ύπαρξη η όχι διαφόρων παθήσεων, η παρακολούθηση των γραμμών παραγωγής και ο εντοπισμός ανωμαλιών είναι μόλις μερικές από αυτές. Ταυτόχρονα, τα κατανεμημένα συστήματα αισθητήρων στο πλαίσιο του Internet of Things έχουν αυξανόμενη παρουσία στην καθημερινότητα των ανθρώπων. Πρόκειται για συστήματα ωστόσο με επεξεργαστική ισχύ που συνήθως δεν επαρκεί για την εκτέλεση πολύπλοκων και απαιτητικών σε πόρους αλγορίθμων, όπως αυτοί της Μηχανικής Όρασης. Η κλασσική προσέγγιση είναι ο συνδυασμός εντολών κώδικα και η εκτέλεσή του σε απομακρυσμένο κεντρικό υπολογιστή, όμως περισσότερο ενδιαφέρον παρουσιάζεται σε μία αυτοματοποιημένη προσέγγισή του, με χρήση γραφικών δομικών στοιχείων, που θα επιτρέψει σε άτομα κάθε ειδικότητας να μπορούν να ασχοληθούν με την δημιουργία ροών Μηχανικής Όρασης. Η συγκεκριμένη διπλωματική εστιάζει ακριβώς στην ανάπτυξη ενός τέτοιου συστήματος, για την ανάπτυξη ροών επεξεργασίας εικόνας σε περιβάλλον χαμηλού κώδικα, που θα εκτελούνται σε απομακρυσμένη τοποθεσία. Συγκεκριμένα, επιλέχθηκε το εργαλείο Node-RED ως η γραφική διεπαφή χρήστη και δημιουργήθηκε ένα πακέτο κόμβων για αυτό, στο οποίο κάθε κόμβος ζητά την εκτέλεση ενός αλγορίθμου επεξεργασίας εικόνας από έναν απομακρυσμένο διακομιστή. Επιπλέον, δημιουργήθηκε ο διακομιστής επεξεργασίας εικόνας, ο οποίος εκτελεί τους αντίστοιχους αλγορίθμους βασισμένος στις βιβλιοθήκες OpenCV και skimage, και είναι υπεύθυνος να κωδικοποιεί τα δεδομένα σε μορφές κατάλληλες τόσο για αποστολή στο δίκτυο όσο και για κατανόηση από τους αλγορίθμους. Οι δύο οντότητες επικοινωνούν μεταξύ τους μέσω μεσιτών (brokers) και μπορούν να προσπελαστούν και εξωτερικά. Τέλος, δημιουργήθηκαν τρία σενάρια χρήσης του συστήματος για την επεξεργασία μίας εικόνας, αλλά και χρονικής ακολουθίας εικόνων από ροές διαφόρων μεγεθών, και πραγματοποιήθηκαν πειράματα σχετικά με την απόδοση του συστήματος.
Introduction to .NET Framework and C# (Greek)Vangos Pterneas
A brief introduction to .NET Framework and C# for a presentation in Athens University of Economics and Business (in Greek). MSDN Academic Alliance and Imagine Cup are also discussed.
Presenters:
Vangos Pterneas (http://twitter.com/Pterneas)
Pavlos Touroulitis
Alex Tzanetopoulos (http://twitter.com/nerdtechnews)
Date: October 26, 2010
Μηχανισμοί αυτοματοποίησης διαδικασιών σχεδίασης, υλοποίησης και ανάπτυξης λο...ISSEL
Ως γνωστόν, οι επιστήμες της ρομποτικής και των Κυβερνοφυσικών Συστημά-
των (ΚΦΣ) καλύπτουν/απαιτούν ένα ευρύ φάσμα γνώσεων στα πεδία του υλικού,
του λογισμικού, των συστημάτων, των αλγορίθμων μηχανικής μάθησης κ.α., καθι-
στώντας τον έλεγχο ενός ρομπότ, ή μίας συσκευής, μία χρονοβόρα και δύσκολη
διαδικασία, ακόμη και για κάποιον εξοικειωμένο με τους συγκεκριμένους τομείς.
Από την άλλη, η ραγδαία εξέλιξη στους κλάδους της ρομποτικής, του διαδικτύου
των πραγμάτων (IoT) και των σύγχρονων ΚΦΣ, έχει ως αποτέλεσμα την ανάπτυ-
ξη διάφορων τεχνολογιών και εργαλείων υποστήριξης της ανάπτυξης συστημάτων
και εφαρμογών τα τελευταία χρόνια. Η υψηλή ετερογένεια που συναντάμε στα
συστήματα αυτά, βασίζεται κυρίως στην διασύνδεση του φυσικού και του ψηφια-
κού κόσμου, αλλά και στην πληθώρα των διαθέσιμων τεχνολογιών και εργαλείων
σχεδίασης, ανάπτυξης και εγκατάστασης. Παραδείγματα σύγχρονων ΚΦΣ είναι τα
έξυπνα σπίτια και οι έξυπνες υποδομές γενικότερα, καθώς και τα ψηφιακά δίδυμα.
Τα συστήματα αυτά αποτελούνται από φυσικές συσκευές, οι οποίες αλληλεπιδρούν
με το φυσικό περιβάλλον μέσω των αισθητήρων και ενεργοποιητών που διαχειρί-
ζονται, καθώς και από ψηφιακές οντότητες, οι οποίες είναι υπεύθυνες για την δια-
σύνδεση, την επεξεργασία, την παρακολούθηση, τον έλεγχο και την ενορχήστρωση
σε επίπεδο συστήματος και εφαρμογής.
Η παρούσα διδακτορική διατριβή επικεντρώνεται στο πρόβλημα της μέτα-μοντε-
λοποίησης των φάσεων σχεδίασης (design), υλοποίησης (implementation) και α-
νάπτυξης (deployment) Κυβερνοφυσικών Συστημάτων (ΚΦΣ). Συγκεκριμένα, στα
πλαίσια της διατριβής μελετήθηκαν και εφαρμόστηκαν τεχνικές μηχανικής λογισμι-
κού οδηγούμενης από μοντέλα για την ανάπτυξη μιας μεθοδολογίας και αντίστοι-
χων Γλωσσών Ειδικού Πεδίου (Domain Specific Languages - DSLs) για την αυτο-
ματοποίηση των προαναφερθεισών φάσεων. Βασικός στόχος της διατριβής είναι η
συστηματοποίηση των διαδικασιών ανάπτυξης σύγχρονων συστημάτων και εφαρ-
μογών ΚΦΣ, με χρήση υψηλού επιπέδου εργαλείων, μεσολογισμικού και γλωσσών
ειδικού πεδίου. Η διατριβή εστιάζει σε συσκευές ανοικτού υλικού και λογισμι-
κού (open hardware/open software), ενώ στοχεύει να διευκολύνει την ανάπτυξη
εφαρμογών από μη ειδικούς του πεδίου (citizen developers) μέσω της χρήσης των
μέτα-μοντέλων και των γλωσσών που αναπτύχθηκαν στα πλαίσια της διατριβής.
Silverlight Presentation @ University of Piraeus - 3-15-2010Alexandros Sigaras
In this presentation, conducted on 03-15-2010 @ University of Piraeus, I gave a small 30' presentation to my colleagues introducing them to Silverlight. The presentation was mostly based in interactive demos like augmented reality with the SLAR Toolkit, a Facebook Silverlight Client, Microsoft Health demos and a greek Project named "Virtual Fire" that forecasts fire probability and help prevent them. The slides presented are in Greek, but are free and available to anyone for download.
With the current technological advances there is arisingneed for testing the reliability and the security of software. Security testing usually requires manual work from a highly specialized security researcher.However,lately a number of program analysis techniques have been employed in order to automate parts of the process. In this thesis an automatic system is developed that uses dynamic analysis and symbolic execution in order to produce testcases for programs. Dynamic analysis is used in order to collect run time information like the current program state,the usage of input data by the program and the paths that have been executed by the program. This information is used in order to accelerate symbolic execution and produce a test case file that is able to pass various program checks and execute more program code, thusincreasingcodecoverage.These test case can be used in further analys is of the program. The system that was developed gives encouraging results producing partial input files with the structure that is expected by the programs analyzed, automatically and without any prior knowledge.However,the limitations of symbolic execution quickly become apparent since the analysis complexity has exponential complexity .As a result additional methods must be used in order to surpass these limitations in larger programs.
Implementation of a platform for assessing indoor spaces regarding their frie...ISSEL
This thesis presents an innovative tool specifically designed to assess the dementia friendliness of indoor spaces. With the rise in dementia cases globally, the need to adapt environments to the unique needs of those affected is becoming increasingly important. This research focuses on evaluating how friendly and suitable these spaces are for individuals with dementia, with a particular emphasis on flooring. The developed tool leverages the power of deep learning and machine learning to analyze images of indoor spaces, identifying objects within these images to evaluate their suitability for dementia-friendly environments. The tool currently focuses on evaluating rugs, equipped with an easy to navigate and effective web application that allows caregivers, designers (or other users) to easily upload photos for assessment. This specialized approach ensures that users can quickly understand how these floor coverings align with dementia-friendly design principles. The tool is user-friendly and efficient, designed for quick assessment of indoor areas. Rather than suggesting changes, it rates how dementia-friendly these spaces are, providing valuable insights for caregivers and designers. This feature is essential for public places such as care homes, private residences or even hotels that aim to be dementia-friently, where creating safe, understandable, and comfortable environments for people with dementia is crucial. Overall, this thesis merges technology with the principles of interior design in the context of dementia care. It offers a significant contribution to the field, providing a practical and innovative approach to assess and understand dementia-friendly environments.
Autonomous car position calculation with particle filters using traffic data ...ISSEL
As autonomous vehicle technology progresses, the need for precise real-time positioning in dynamic urban environments becomes increasingly vital. This thesis explores the utilization of particle filters to calculate the position of autonomous cars, using traffic data within a simulated environment. The primary goal is to improve accuracy and reliability in vehicle localization by integrating information from dynamic traffic conditions into the positioning algorithm. A simulated environment is employed to replicate realistic traffic scenarios, generating diverse and dynamic datasets. Particle filters are implemented as a probabilistic framework, assimilating information from various sources such as sensor data and traffic patterns to estimate the vehicle’s position. Through extensive experimentation, the efficacy of the proposed approach is assessed across diverse traffic conditions and scenarios. Results indicate that real time traffic data significantly enhances the precision and robustness of autonomous car positioning. The particle filter algorithm seamlessly adapts to changing traffic situations, demonstrating its potential for practical implementation in autonomous driving systems. Additionally, the thesis investigates the influence of different parameters and configurations on the particle filter algorithm’s performance. Insights gained from these studies contribute to optimizing the algorithm for a range of urban driving conditions. In summary, this research advances autonomous vehicle positioning by introducing an innovative approach that integrates particle filters with traffic data in a simulated environment. The findings hold implications for developing more accurate and adaptable autonomous navigation systems, laying the foundation for safer and more reliable self-driving vehicles in intricate urban settings.
Ανίχνευση αντικειµένων από λίγα δείγµατα µε χρήση γραφηµάτων και τεχνικών ΜΕΤ...ISSEL
Η ανίχνευση αντικειµένων από λίγα δείγµατα (FSOD) αποσκοπεί στην ανίχνευση αντικειµένων κλάσεων για τις οποίες υπάρχουν περιορισµένα δεδοµένα. Η προσαρµογή των σύγχρονων ανιχνευτών στο σενάριο περιορισµένων δεδοµένων παραµένει µια πρόκλη ση, καθώς τα περισσότερα µοντέλα απαιτούν τεράστιες ποσότητες δειγµάτων για να εκπαιδευτούν σωστά. Το FSOD αντιµετωπίζει αυτό το πρόβληµα µε την τεχνική ΜΕΤΑ εκπαίδευσης δύο κλάδων, κατά την οποία το µοντέλο εκπαιδεύεται επεισοδιακά. Χρησιµοποιώντας αυτή τη µέθοδο, ένα µοντέλο είναι σε θέση να ανιχνεύει νέες κατηγορίες δίχως ποτέ να έχει εκπαιδευτεί σε αυτές (meta-testing). Μια κοινή µέθοδος ανίχνευσης είναι η δηµιουργία προτύπων κατηγοριών από ένα σύνολο εικόνων υποστήριξης σε κάθε επεισόδιο και η εκµάθηση του τρόπου αντιστοίχησης αυτών µε κάθε εικόνα ερώτησης. Ωστόσο, οι περισσότερες προσεγγίσεις δηµιουργούν αυτά τα πρότυπα µεµονωµένα, χωϱίς να λαµβάνουν υπόψη όλες τις άλλες κλάσεις και τις συσχετίσεις τους, οι οποίες θα µπορούσαν να προσφέρουν κρίσιµη πληροφορία και να εµπλουτίσουν σηµαντικά κάθε ένα από αυτά. Στην παρούσα εργασία, προσπαθούµε να ενσωµατώσουµε αυτές τις συσχετίσεις σε ένα σύγχρονο µοντέλο χρησιµοποιώντας ένα γράφηµα προτύπων. Μέσω της αποτελεσµατικής µεταβίβασης µηνυµάτων µεταξύ όλων των κόµβων, κάθε πρότυπο εµπλουτίζεται από τους πιο παρόµοιους γείτονές του, γεγονός που µπορεί να αντισταθµίσει την περίπτωση των θορυβωδών προτύπων και να βελτιώσει την ακρίβεια ανίχνευσης νέων κλάσεων. Τα πειραµατικά αποτελέσµατα δείχνουν ότι οι προτεινόµενες µέθοδοι βελτιώνουν σηµαντικά την ακρίβεια ανίχνευσης meta-testing του βασικού µοντέλου στο PASCAL VOC σετ δεδοµένων, υπό διαφορετικό αριθµό δειγµάτων (shots) και µετρικών.
Ανάπτυξη ∆υναµικού και Προσωποποιηµένου Συστήµατος Ερωταπαντήσεων µε Πηγή το ...ISSEL
Η Τεχνητή Νοηµοσύνη αποτελεί έναν τοµέα της τεχνολογίας που καθηµερινά πραγµατοποιεί άλµατα. Αποτελεί την αιχµή του δόρατος στην επίλυση πληθώρας προβληµάτων αλλά και στην παροχή υπηρεσιών υψηλού επιπέδου. Οι εµπορικές εφαρµογές, αν και µε απεριόριστες προοπτικές, τα τελευταία χρόνια εστιάζουν κυϱίως στη Συνοµιλητική Τεχνητή Νοηµοσύνη ή στην Τεχνητή Νοηµοσύνη Επεξεργασίας Βίντεο και Εικόνας, µε αποτέλεσµα τον ενθουσιασµό της αγοράς και των χρηστών, οι οποίοι αποκτούν όλο και µεγαλύτερες απαιτήσεις, ως προς την ποιότητα και τις δυνατότητες των εργαλείων τους. Οι συνοµιλητικοί ϐοηθοί, Chatbots, έχουν διεισδύσει στην καθηµερινότητά, µε πληθώρα µορφών και χρήσεων. Η παραδοσιακή µορφή τους, που απαντούσε ένα κλειστό σύνολο απλοϊκών ερωτήσεων, αντικαταστάθηκε από µοντέρνα συστήµατα και εφαρµογές που προτείνουν, συζητούν, συνοµιλούν, διασκεδάζουν, συµβουλεύουν. Είτε ως εφαρµογές στο κινητό του χρήστη, είτε διαθέσιµοι online, οι σύγχρονοι βοηθοί αποτελούν πλέον κοµµάτι της καθηµερινής ϱουτίνας και των εργαλείων που την καθιστούν πιο ανεκτή και ευχάριστη. Αυτή η καθολική πλέον παρουσία τους καθιστά αναγκαίο τον εκλεκτισµό αυτών των υπηρεσιών προσθέτοντας νέα στοιχεία και παραµέτρους, ανάλογα µε την εξειδίκευση κάθε χρήστη και των αναγκών του. Αυτές οι εφαρµογές, όντας συνεχώς συνδεδεµένες στο διαδίκτυο, θυσιάζουν την ιδιωτικότητα του χρήστη, καθιστώντας τον επιρρεπή σε κακόβουλο λογισµικό ή απάτες. Παράλληλα ,όµως, η πλειοψηφία αυτών των εφαρµογών αδυνατούν να χρησιµοποιήσουν τον µεγαλύτερο όγκο της πληροφορίας η οποία είναι διαθέσιµη στο διαδίκτυο, παρότι είναι συνδεδεµένες σε αυτό. Τέλος, τα υπάρχοντα συστήµατα δεν έχουν προσωποποιηµένο χαρακτήρα. Οι απαντήσεις και οι υπηρεσίες τους σπανίως προσαρµόζονται στον εκάστοτε χρήστη. Σε αυτήν τη διπλωµατική εργασία γίνεται µια προσπάθεια ανάπτυξης ενός ψηφιακού βοηθού ερωταπαντήσεων που αναζητά δυναµικά τις απαντήσεις στον ιστό. Αυτό το σύστηµα, χρησιµοποιώντας προεκπαιδευµένα µοντέλα αλλά και τεχνολογίες λογισµικού, απαντάει τις ερωτήσεις του χρήστη αξιοποιώντας το σύνολο της online πληροφορίας. Η ϕορητότητα του συστήµατος µπορεί να εξασφαλίσει µια ιδιωτική εµπειρία καθώς και απαντήσεις από εξειδικευµένες πηγές δεδοµένων. Τα πειραµατικά αποτελέσµατα αποδεικνύουν ότι το συγκεκριµένο σύστηµα είναι επαρκώς ακριβές, ενώ ταυτόχρονα επιτυγχάνει τους σκοπούς για τους οποίους αναπτύχθηκε. Θυσιάζεται η αναλυτικότητα και το συνοµιλητικό ύφος των συµβατικών ψηφιακών βοηθών, για να αξιοποιηθεί το µέγιστο πλήθος πληροφορίας. Επιπλέον, οι προεκτάσεις του συστήµατος µπορούν να οδηγήσουν σε χρήση του σε εξειδικευµένα συστήµατα όπου η πληροφορία που είναι διαθέσιµη είναι περιορισµένη και προέρχεται πάλι από το διαδίκτυο αλλά µόνο από µια συγκεκριµένη πηγή.
Ανάπτυξη Φίλτρων Ανεπιθύμητων Μηνυμάτων με Χρήση Τεχνικών Τεχνητής ΝοημοσύνηςISSEL
Το ”spamming”, δηλαδή η αποστολή ανεπιθύμητων μηνυμάτων σε πολλούς χρήστες, έχει ευνοηθεί με την ανάπτυξη των ψηφιακών επικοινωνιών και την τεχνοκεντρική στροφή στη ζωή του ανθρώπου. Οι συνθήκες αυτές, διευκολύνουν την αποστολή spam μηνυμάτων, αλλά και ο άνθρωπος είναι περισσότερο εκτεθειμένος σ’ αυτά. Ωστόσο, η ερευνητική κοινότητα έχει αναπτύξει συστήματα ανίχνευσης των ανεπιθύμητων μηνυμάτων για να προστατεύσει τους χρήστες και τον απρόσκοπτο χαρακτήρα της επικοινωνίας, που πραγματοποιείται μέσω των ψηφιακών μέσων. Η αγγλική βιβλιογραφία είναι πλούσια σε μεθόδους που μπορούν να χρησιμοποιηθούν για τον περιορισμό του spam. Από την άλλη, η έρευνα σε άλλες γλώσσες είναι αρκετά περιορισμένη. Η παρούσα διπλωματική στοχεύει στην επέκταση των μεθόδων και συστημάτων ανίχνευσης από τα αγγλικά στα ελληνικά. Λόγω της έλλειψης διαθέσιμων ελληνικών δεδομένων, πραγματοποιείται αυτόματη μετάφραση από τα αγγλικά στα ελληνικά, με τη χρήση της υπηρεσίας μετάφρασης Google translate. Οπότε, τα ελληνικά φίλτρα ανίχνευσης, εκπαιδεύονται στα μεταφρασμένα δεδομένα. Ειδικότερα, εξετάζει διαφόρους αλγορίθμους Μηχανικής Μάθησης και Επεξεργασίας Φυσικής Γλώσσας για την ανάπτυξη των συστημάτων ανίχνευσης. Η διπλωματική, καταλήγει ότι η επανεκπαίδευση μοντέλων BERT, στα δεδομένα του προβλήματος, έχουν τις καλύτερες αποδόσεις και στις δυο γλώσσες. Επίσης, πετυχαίνουν τη μικρότερη δυνατή διαφορά στις αποδόσεις των δυο γλωσσών. Οπότε, προτείνει υλοποιήσεις που βασίζονται στo επανεκπαιδευμένo BERT για τα αγγλικά και στο Greek BERT για τα ελληνικά. Ειδικότερα υλοποιεί ένα Καθολικό Φίλτρο, που συνδυάζει τα διαθέσιμα δεδομένα, Θεματικά Φίλτρα που ανιχνεύουν συγκεκριμένες κατηγορίες spam αλλά και ένα Σύστημα Θεματικών Φίλτρων για την ανίχνευση όλων των κατηγοριών. Τελικά, μέσω της σύγκρισης των αποδόσεων των αγγλικών φίλτρων στα πρωτότυπα αγγλικά δεδομένα και των ελληνικών φίλτρων στα μεταφρασμένα ελληνικά (ανθρωπίνως και αυτοματοποιημένα), η συμβολή της μηχανικής μετάφρασης στην ανάπτυξη ελληνικού συστήματος ανίχνευσης, κρίνεται επιτυχημένη.
Ανάπτυξη Ελληνικών Μοντέλων Εντοπισμού Ρητορικής Μίσους.pptxISSEL
Η ραγδαία και συνεχής εξάπλωση των μέσων κοινωνικής δικτύωσης έχει οδηγήσει σε έξαρση της ρητορικής μίσους και της χρήσης προσβλητικής γλώσσας στη σύγχρονη εποχή. Πολλές έρευνες δείχνουν ότι η ρητορική μίσους στα μέσα κοινωνικής δικτύωσης έχει δυσμενείς επιπτώσεις στην ψυχική και σωματική ευεξία των ατόμων που τα χρησιμοποιούν. Κατά συνέπεια, υπάρχει αυξανόμενη ανάγκη για την αυτοματοποίηση της ανίχνευσης της ρητορικής μίσους και του προσβλητικού περιεχομένου. Είναι σημαντικό να σημειωθεί ότι η πλειονότητα των ερευνητικών προσπαθειών επικεντρώνονται στην ανίχνευση ρητορικής μίσους στην αγγλική γλώσσα. Αυτό οφείλεται κυρίως στη διαθεσιμότητα των απαραίτητων μοντέλων και συνόλων δε δομένων για τη εκπαίδευση τους για την ανίχνευση ρητορικής μίσους. Η ανάγκη ανίχνευσης της ρητορικής μίσους σε γλώσσες εκτός της αγγλικής είναι υψίστης σημασίας. Για να γεφυρωθεί αυτό το κενό, η παρούσα εργασία στοχεύει στην αύξηση των διαθέσιμων ελληνικών δεδομένων με την δημιουργία ενός χειροκίνητα σχολιασμένου συνόλου δεδομένων που αποτελείται από ελληνικά tweets με ετικέτα που αφορά την παρουσία ή την απουσία προσβλητικού περιεχομένου. Επιπλέον, δημιουργήθηκε ένα ακόμα σετ δεδομένων από τα tweets που περιείχαν μόνο ρητορική μίσους, τα οποία επιπλέον διαχωρίστηκαν σε υποκατηγορίες ρητορικής μίσους. Στη συνέχεια, χρησιμοποιούμε τα δύο νέα αυτά σύνολα δεδομένων καθώς και ένα προϋπάρχον ελληνικό σύνολο δεδομένων, εκπαιδεύουμε μοντέλα μηχανικής μάθησης, καθώς και γλωσσικά μοντέλα στηριζόμενα σε νευρωνικά δίκτυα για το ζήτημα της ανίχνευσης ρητορικής μίσους.
Εφαρµογή Τεχνικών Μηχανικής Μάθησης για την Ανάλυση Αλλαγών Κώδικα µε στόχο τ...ISSEL
Στη σημερινή εποχή, η ραγδαία ανάπτυξη της τεχνολογίας, έχει οδηγήσει και στη γρήγορη ανάπτυξη έργων λογισµικού πολλών γραμμών κώδικα, τα οποία έχουν επηρεάσει πολλές πτυχές της καθημερινής µας ζωής. Η αναγνωσιμότητας του κώδικα, αποτελεί χρήσιμο ποιοτικό χαρακτηριστικό ενός έργου λογισµικού. Μάλιστα, έρευνες έχουν δείξει ότι επηρεάζει το έργο τόσο κατά το στάδιο ανάπτυξής του όσο και κατά τη διάρκεια συντήρησης του έργου. Για τον σκοπό αυτό, έχουν αναπτυχθεί διάφορα μοντέλα αναγνωσιμότητας κώδικα. Κάθε ένα από αυτά τα μοντέλα βασίζεται σε διαφορετικά χαρακτηριστικά, αναλύοντας πτυχές όπως η δομή του κώδικα, η όψη του κώδικα, αλλά και το περιεχόµενο. Στην παρούσα διπλωματική εργασία, επιχειρούμε, βασιζόμενοι στα ήδη υπάρχοντα μοντέλα αξιολόγησης αναγνωσιμότητας κώδικα, να αναλύσουμε περαιτέρω την έννοια της αναγνωσιμότητας. Αναλύθηκαν commits χρηστών από την πλατφόρμα GitHub, τα οποία είναι συνδεδεμένα µε την αναγνωσιμότητα του κώδικα, µε βάση κάποια από τα ήδη υπάρχοντα μοντέλα αξιολόγησης αναγνωσιμότητας. Αρχικός στόχος ήταν µε βάση τα δεδοµένα που προέκυψαν από αυτά τα commits των προγραμματιστών να διερευνηθεί εάν τα commits, τα οποία ισχυρίζονται τη βελτίωση της αναγνωσιμότητας πράγματι τη βελτιώνουν, καθώς και ποιες αλλαγές ή συνδυασμός αυτών είναι υπεύθυνες για τη βελτίωση ή µη της αναγνωσιμότητας. Ένας δεύτερος στόχος, ο οποίος µας απασχόλησε ήταν εάν θα µπορούσαμε µέσα από τις διαφορές των χαρακτηριστικών του κώδικα πριν και µετά το commit να καταλάβουμε ποια μοντέλα αναγνωσιμότητας είναι ικανά να κατηγοριοποιήσουν ποιες αλλαγές έχουν πραγματοποιηθεί στον κώδικα, καθώς και να προτείνουμε ένα πιο αποδοτικό μοντέλο. Και στα δύο παραπάνω ερωτήματα για την ανάπτυξη των μοντέλων χρησιμοποιήθηκαν μετρικές από διαφορετικά μοντέλα αξιολόγησης αναγνωσιμότητας κώδικα, τα οποία συγκρίθηκαν ως προς την απόδοσή τους.
Ανάπτυξη συστήματος ιεραρχικής ομαδοποίησης και διαχείρισης κειμένων για αποκ...ISSEL
Η ανάκτηση πληροφορίας ανέκαθεν ήταν μια πλέον σημαντική πτυχή κάθε διεργασίας και δεδομένης της ταχείας αύξησης της απαίτησης γρήγορης και εύστοχης παροχής και ανάκτησης πληροφοριών, δεν είναι τίποτα παρά φυσικό να γίνεται συλλογική προσπάθεια προς την βελτιστοποίηση αυτής της διαδικασίας με οποιαδήποτε μέσα είναι διαθέσιμα, όπως η Τεχνητή Νοημοσύνη. Με αυτό τον τρόπο θα μπορεί ένας υπολογιστής να “εκπαιδευτεί” και να βοηθάει στο έργο αυτό, αντί να είναι μονάχα ένα εργαλείο για μαθηματικά πιθανοτήτων και στατιστική. Σε μία εποχή όπου τα πάντα είναι καθοδηγούμενα από την πληροφορία και τα δεδομένα, η ανάγκη για δομημένα δεδομένα και ορθή ανάκτηση πληροφορίας είναι τουλάχιστον επιτακτική. Η δομή και η οργάνωση στα δεδομένα διευκολύνει την λήψη αποφάσεων και μέσω αυτού επιβεβαιώνεται πάντα η σημασία και η συνεισφορά της τεχνητής νοημοσύνης και των μοντέλων μηχανικής μάθησης. Η εφαρμογή και η υλοποίηση μεθόδων και τεχνικών βαθιάς μάθησης μπορεί σταδιακά μπορεί να βοηθήσει στην απαλλαγή μας από την εξάρτηση από λέξεις κλειδιά και να οδεύσουμε προς την διδασκαλία της σημασιολογικής κατανόησης της φυσικής γλώσσας από τους υπολογιστές. Σε αυτό μπορεί να συνεισφέρει εν μέρει από ένα πλήρως αυτόνομο σύστημα ικανό να οργανώνει, να διαχειρίζεται και να ταξινομεί έγγραφα σημασιολογικά, με ελάχιστη εκπαίδευση. Η αξιοποίηση των δυνατοτήτων και της πολυχρηστικότητας της μάθησης και ταξινόμησης μηδενικών και λίγων βολών, καθώς και των σύγχρονων τεχνικών θεματικής μοντελοποίησης, μπορεί κανείς να αναπτύξει μια εφαρμογή που ως είσοδο λαμβάνει ακατέργαστα μη επισημειωμένα ή επεξεργασμένα δεδομένα και να επιστρέφει μια πλήρως λειτουργική εφαρμογή ερωτοαπαντήσεων. Στην προσπάθεια μεγιστοποίησης της πολυχρηστικότητας του εν λόγω συστήματος, η παρούσα διπλωματική εργασία ερευνεί και αξιολογεί την βιωσιμότητα ενός συστήματος τέτοιας φύσεως. Δεδομένου ότι ο τελικός σκοπός είναι η δομημένη πληροφορία και η αποτελεσματική ανάκτηση της, θα εξεταστεί η υπόθεση της αποκεντρωμένης προσέγγισης, καθώς μειώνονται σημαντικά οι απαιτήσεις υπολογιστικής ισχύος και αποθηκευτικού χώρου. Μέσω δοκιμών και πειραμάτων τα παραγόμενα δεδομένα φαίνεται να υποστηρίζουν την υπόθεση υπέρ ενός τέτοιου συστήματος, και δυνητικά με διάφορα πλεονεκτήματα υπέρ ενός αντίστοιχου αλλά ενιαίου συστήματος.
Ανάπτυξη γραφικής διεπαφής σε σύστημα προσομοίωσης ηλεκτρονικών αγορών με στό...ISSEL
Η συνεχής ανάπτυξη της τεχνολογίας έχει εδραιώσει τη χρήση γραφικών διεπαφών ως έναν εύχρηστο και χρήσιμο τρόπο αλληλεπίδρασης με έναν υπολογιστή. Παράλληλα η εξάπλωση του ηλεκτρονικού εμπορίου, που αποτελεί πλέον κυρίαρχο τρόπο πραγματοποίησης εμπορικών συναλλαγών, αλλάζει τα εμπορικά δεδομένα. Αυτά καθιστούν απαραίτητο τον εκσυγχρονισμό των επιχειρήσεων και την αναπροσαρμογή των πολιτικών και στρατηγικών τιμολόγησης που θα υιοθετήσουν, ώστε οι τιμές και οι προωθητικές τους ενέργειες να είναι ανταγωνιστικές, να συμβάλλουν στην επίτευξη των στόχων τους και στην μεγιστοποίηση των κερδών τους μέσα από ένα φιλικό γραφικό περιβάλλον διεπαφής. Η παρούσα διπλωματική εργασία πραγματεύεται τον σχεδιασμό και την ανάπτυξη μιας γραφικής διεπαφής σε σύστημα προσομοίωσης ηλεκτρονικών αγορών με στόχο την εξέλιξη τεχνικών δυναμικής τιμολόγησης. Η γραφική διεπαφή που αναπτύσσεται περιέχει μια φόρμα συμπλήρωσης των παραμέτρων ενός αλγοριθμικού μοντέλου στρατηγικών τιμολόγησης, ένα περιβάλλον γραφικής οπτικοποίησης των εισόδων του χρήστη και ένα αντίστοιχο περιβάλλον προβολής των αποτελεσμάτων του συστήματος.
Δημιουργία Ολοκληρωμένου Συστήματος Επαλήθευσης Ορθότητας ΙσχυρισμώνISSEL
Βασικό χαρακτηριστικό της σημερινής εποχής είναι η ταχύτατη διακίνηση της πληροφορίας. Η ποικιλία και ο τεράστιος όγκος των μεταδιδόμενων πληροφοριών δεν επιτρέπουν πάντα τον έλεγχο της εγκυρότητάς τους πριν τη μαζική αναπαραγωγή τους, με αποτέλεσμα να εμφανίζεται έντονα το φαινόμενο της παραπληροφόρησης. Παλαιότερα ο έλεγχος των ειδήσεων πραγματοποιούνταν χειροκίνητα, ωστόσο πλέον η ανάγκη ανάπτυξης αυτόματων συστημάτων διασταύρωσης της πληροφορίας κρίνεται επιτακτική. Στο πλαίσιο της παρούσας διπλωματικής εργασίας αναπτύσσεται ένα end to end σύστημα ανίχνευσης ψευδών ειδήσεων, το οποίο αποτελείται από επιμέρους εξαρτήματα που ακολουθούν την παρακάτω συλλογιστική πορεία. Σε πρώτη φάση ανιχνεύονται προτάσεις που αξίζει να ελεγχθούν ως προς την ορθότητά τους. Για κάθε μία από αυτές, συγκεντρώνεται ένας αριθμός εγγράφων από μια βάση ‘αλήθειας’, τα οποία λειτουργούν ως αποδεικτικά στοιχεία. Τέλος, με βάση τα παραπάνω αποδεικτικά έγγραφα λαμβάνεται μία απόφαση σχετικά με την εγκυρότητα των προτάσεων που επιλέγονται. Για τη δημιουργία του παραπάνω συστήματος αξιοποιείται το σύνολο δεδομένων FEVER, το οποίο περιέχει προτάσεις γενικού ενδιαφέροντος. Εξετάζεται η απόδοση των προ-εκπαιδευμένων μοντέλων BERT, RoBERTa, DistilBERT και SqueezeBERT τα οποία εκπαιδεύονται σε τμήμα του συνόλου. Διερευνάται η επιρροή του ρυθμού και του αριθμού εποχών εκπαίδευσης στην επίδοσή τους, καθώς και η συμπεριφορά τους σε απλές και σύνθετες διεργασίες, όπως είναι ο εντοπισμός των προτάσεων προς εξέταση και η επαλήθευσή τους αντίστοιχα. Για την ανάκτηση των απαραίτητων εγγράφων που χρησιμοποιούνται για την επαλήθευση της ορθότητας των προτάσεων, αξιοποιούνται αλγόριθμοι που στηρίζονται στα λεξιλογικά χαρακτηριστικά των κειμένων, BM25, αλλά και Sentence Transformers, msmarco distilbert-base-tas-b, που έχουν την ικανότητα να αντιλαμβάνονται τα συμφραζόμενα των κειμένων. Τέλος, δημιουργείται μια εφαρμογή η οποία προσφέρει τη δυνατότητα στο χρήστη να καταθέτει την πρόταση του συνόλου ελέγχου που επιθυμεί να ελέγξει και παράλληλα οπτικοποιεί τα αποτελέσματα του συστήματος παρέχοντας αιτιολόγηση για κάθε απόφαση που λαμβάνεται. Τα πειραματικά αποτελέσματα καταδεικνύουν την απόδοση των επιλεγόμενων υλοποιήσεων στο σύνολο ελέγχου του FEVER Shared Task για κάθε διεργασία ξεχωριστά και το πως επηρεάζει την απόδοση ο συνδυασμός τους. Το σύστημα που προτείνεται επιτυγχάνει ακρίβεια πρόβλεψης 60.2% στο FEVER Shared Task, υπολείπεται 8% της καλύτερης υλοποίησης, και 58.12% στο σύνολο της διεργασίας, συμπεριλαμβανομένης της διαδικασίας ανίχνευσης ισχυρισμών, φανερώνοντας την πολυπλοκότητα δημιουργίας τέτοιων συστημάτων.
Εξόρυξη δεδοµένων για τη δυναµική ενσωµάτωση γνώσης σε πολυπρακτορικά συστήµαταISSEL
Η κατανεµηµένη φύση της τεχνολογίας Εξόρυξης ∆εδοµένων έχει στο παρελθόν
αντιµετωπιστεί επιτυχώς µε τη χρήση και αξιοποίηση της τεχνολογίας των Πρακτόρων Λογισµικού, οι οποίοι καταµερίζουν τις εργασίες, συνεργάζονται και συγχρονίζονται έτσι ώστε να φτάσουν στον τελικό τους στόχο, την εξαγωγή χρήσιµης γνώσης. Μια σειρά από εξελιγµένα εργαλεία Εξόρυξης ∆εδοµένων έχουν ήδη αναπτυχθεί, αποδεικνύοντας ότι η Πολυπρακτορική Τεχνολογία µπορεί πράγµατι να χρησιµοποιηθεί για να επιλύσει τέτοιου είδους προβλήµατα. Αντιστρέφοντας τους ρόλους του σκοπού και του µέσου, όµως, γνώση η οποία εξάγεται µε τη χρήση τεχνικών Εξόρυξης ∆εδοµένων δεν έχει χρησιµοποιηθεί για τη βελτίωση Πολυπρακτορικών Συστηµάτων. Περιορισµοί οι οποίοι σχετίζονται µε τη
διαφορετική φύση της λογικής που υιοθετούν οι δυο εµπλεκόµενες τεχνολογίες
(επαγωγική για την Εξόρυξη ∆εδοµένων και συµπερασµατική για τα Πολυπρακτορικά
Συστήµατα), εµποδίζουν την απρόσκοπτη εφαρµογή της εξαγόµενης γνώσης στο
λογικό µοντέλο των πρακτόρων. Εάν αυτοί οι περιορισµοί υπερκεραστούν, τότε ο
συγκερασµός των δυο τεχνολογιών θα καταστεί εφικτός.
Στα πλαίσια της διατριβής αυτής παρουσιάζεται µια ενοποιηµένη µεθοδολογία, η
οποία επιτρέπει την εφαρµογή δυναµικών, σύνθετων και ανανεώσιµων κανόνων σε
πολυπρακτορικά συστήµατα. Οι κανόνες αυτοί εξάγονται µε τη χρήση τεχνικών
Εξόρυξης ∆εδοµένων, σε πράκτορες και πολυπρακτορικά συστήµατα. Η µεθοδολογία
αυτή αναγνωρίζει τρεις διαφορετικούς τύπους γνώσης, η οποία προέρχεται από την
εφαρµογή τεχνικών Εξόρυξης ∆εδοµένων, και ανάλογα διαφοροποιεί το µοντέλο
διάχυσής της. Οι τρεις αυτοί τύποι γνώσης είναι: α) γνώση η οποία εξάγεται µε τη
χρήση τεχνικών Εξόρυξης ∆εδοµένων στα ιστορικά δεδοµένα µιας εφαρµογής, β)
γνώση η οποία εξάγεται µε τη χρήση τεχνικών Εξόρυξης ∆εδοµένων στα ιστορικά
δεδοµένα των συµπεριφορών των πρακτόρων µιας εφαρµογής και, γ) γνώση η οποία
εξάγεται µε τη χρήση εξελικτικών τεχνικών Εξόρυξης ∆εδοµένων σε πολυπρακτορικές κοινωνίες. Στη διατριβή αυτή µελετάται η δυνατότητα εφαρµογής των τεσσάρωνκυρίαρχων τεχνικών Εξόρυξης ∆εδοµένων σε πολυπρακτορικά συστήµατα:
Οµαδοποίηση για διαχωρισµό, Ταξινόµηση για κατηγοριοποίηση και πρόβλεψη,
εξαγωγή Κανόνων Συσχέτισης για ανακάλυψη συσχετισµών και Γενετικοί αλγόριθµοι
για αυτό-οργάνωση. Για την υλοποίηση και επίδειξη της δυναµικής ενσωµάτωσης
γνώσης σε πράκτορες αναπτύχθηκε ο Data Miner, ένα εργαλείο που περιγράφεται στο Κεφάλαιο 4. Για κάθε έναν από τους τρεις διαφορετικούς τύπους γνώσης αναπτύχθηκε και ένα αντιπροσωπευτικό Πολυπρακτορικό Σύστηµα, του οποίου και γίνεται εκτενής παρουσίαση (Κεφάλαια 5-7). Τέλος, η παρούσα διατριβή πραγµατεύεται και το θέµα της βελτίωσης του γνωσιακού µοντέλου των πρακτόρων, µε την επανάληψη της διαδικασίας χρήσης τεχνικών Εξόρυξης ∆εδοµένων πάνω σε σύγχρονα και ενηµερωµένα δεδοµένα (Επανεκπαίδευση – Κεφάλαιο 8). Τα συµπεράσµατα από την εκπόνηση της διατριβής και πιθανές µελλοντικές επεκτάσεις συνοψίζονται στο Κεφάλαιο 9.
Ανάπτυξη Μηχανισμών Αυτοματοποίησης των διαδικασιών κατασκευής συστημάτων λο...ISSEL
Όπως έχει αποτυπωθεί στην ιστορία μέσω των συντελεσθεισών βιομηχανικών
επαναστάσεων, βαρύνουσας σημασίας στην εξέλιξη της ανθρωπότητας υπήρξε, και συνεχίζει να είναι, η αυτοματοποίηση διαδικασιών στην επαγγελματική και ιδιωτική ζωή του ανθρώπου. Η εξάπλωση της τεχνολογίας σε αυτές και η δεσπόζουσα θέση του διαδικτυακού «παράλληλου σύμπαντος», οδηγούν στην ψηφιοποίηση ολοένα και περισσότερων διαδικασιών, που επομένως βασίζονται σε Λογισμικό. Συνεπώς, το στοίχημα κάλυψης της ταχέως αυξανόμενης ανάγκης ψηφιοποίησης αποτελεί η έτι περαιτέρω αυτοματοποίηση της παραγωγής Λογισμικού μέσω της ανάπτυξης νέων μεθοδολογιών, στοχεύοντας στην παραγωγή ορθού και ποιοτικού Λογισμικού. Στο πλαίσιο αυτό, η παρούσα διατριβή πραγματεύεται τη σχεδίαση και εφαρμογή καινοτόμων μηχανισμών για την αυτοματοποίηση των διαδικασιών παραγωγής λογισμικού, εν προκειμένω RESTful Διαδικτυακών Υπηρεσιών. Προς επίτευξη των στόχων αυτής (μεταξύ άλλων και η ανάπτυξη αντίστοιχου Μηχανισμού Αυτοματοποίησης), χρησιμοποιείται ως μέσο αυτοματοποίησης η Μηχανική Λογισμικού Οδηγούμενη από Μοντέλα, με τους βασικούς δομικούς λίθους της οποίας (μετα-μοντέλα και μετασχηματισμούς) επιχειρείται η επίτευξη αυτοματοποίησης στο ευρύτερο πεδίο
των RESTful διαδικτυακών υπηρεσιών.
Στη συνεισφορά της παρούσας διατριβής στον τομέα της αυτοματοποίησης
συγκαταλέγεται καταρχάς, η διδιάστατη Αρχιτεκτονική Μηχανισμών αυτοματοποίησης με χρήση Μηχανικής Λογισμικού Οδηγούμενης από Μοντέλα, η οποία διευκολύνει την παραλληλοποίηση της ανάπτυξής τους, τη μείωση της πολυπλοκότητάς τους και αυξάνει την συντηρησιμότητα και επεκτασιμότητά τους. Επιπλέον, συνοδεύεται από μία συνεκτική στρατηγική διάσπασης του συνολικού προβλήματος σε μικρότερα, τόσο σε επίπεδο μετα-μοντέλων όσο και σε επίπεδο μετασχηματισμών, λαμβάνοντας υπόψιν τα εγγενή αίτια πολυπλοκότητας της μεθοδολογίας, προκειμένου να διευκολύνει επιπλέον την κατασκευή τους.
Ακολούθως, συνεισφέρει μετα-μοντέλα και μετασχηματισμούς που αφορούν την
αυτοματοποίηση των πτυχών των Διαδικτυακών Υπηρεσιών με τις οποίες ασχολείται όπως: α) δόμηση συστημάτων αρχιτεκτονικής REST, β) με δυνατότητες ταυτοποίησης χρήστη, γ) εξουσιοδότησης χρήστη, δ) αυτόματης εφαρμογής Προτύπων Σχεδίασης για την ικανοποίηση μη λειτουργικών πτυχών αυτών, ε) αναζήτησης δεδομένων, ζ) αλληλεπίδρασης με υπάρχουσες υπηρεσίες στο Διαδίκτυο και, τέλος, η) δυνατότητας μετασχηματισμού υπηρεσιών σε RESTful με ταυτόχρονη διατήρηση των δεδομένων τους.
Τέλος, η παρούσα διατριβή απαντά σε ερευνητικά ερωτήματα που άπτονται: α) της βελτίωσης της παραγωγικότητας των Μηχανικών Λογισμικού για την παραγωγή RESTful Διαδικτυακών Υπηρεσιών, β) της βελτίωσης της παραγωγικότητάς τους κατά την εφαρμογή Προτύπων Σχεδίασης για την επίλυση συχνά συναντώμενων προβλημάτων, γ) την εκτίμηση του χάσματος προσπάθειας ανάμεσα σε ...
ΕΥΦΥΗΣ ΜΕΘΟΔΟΛΟΓΙΑ ΑΠΟΤΙΜΗΣΗΣ ΤΟΥ ΒΑΘΜΟΥ ΔΙΑΤΗΡΗΣΙΜΟΤΗΤΑΣ ΕΡΓΩΝ ΛΟΓΙΣΜΙΚΟΥ ΜΕ...ISSEL
Οι ολοένα αυξανόμενες απαιτήσεις των σύγχρονων έργων λογισμικού τόσο σε
λειτουργικό, όσο και σε μη λειτουργικό επίπεδο έχουν καταστήσει παραπάνω από
εμφανή την ανάγκη επόπτευσης της ποιότητάς τους. Το γεγονός αυτό
καταδεικνύεται από το μεγάλο ποσοστό των έργων λογισμικού που αποτυγχάνουν,
καθώς αδυνατούν να ικανοποιήσουν τις προδιαγραφές που έχουν τεθεί στα
πλαίσια ενός σαφούς χρονοδιαγράμματος και εντός προϋπολογισμού. Η απάντηση
στην πρόκληση αυτή εντοπίζεται στην ανάπτυξη μεθοδολογιών και τεχνικών
αποτίμησης της ποιότητας λογισμικού, διαδικασία που αποτελεί ανοιχτό πεδίο
ερευνητικού ενδιαφέροντος και συγκεντρώνει μεγάλη απήχηση εδώ και δεκαετίες.
...
Εξόρυξη δεδομένων τεχνολογίας λογισμικού για επαναχρησιμοποίηση λογισμικούISSEL
Η ανάγκη για την αποτελεσματική ανάπτυξη και συντήρηση λογισμικού έχει εντοπιστεί εδώ και αρκετό καιρό στο σχετικό κλάδο της Τεχνολογίας Λογισμικού. Σήμερα, ωστόσο, με την εισαγωγή νέων πρακτικών ανάπτυξης λογισμικού και πρωτοβουλιών λογισμικού ανοικτού κώδικα, τα δεδομένα λογισμικού που μπορεί να βρει κανείς στο διαδίκτυο είναι άφθονα, επομένως η πρόκληση που προκύπτει είναι η αποτελεσματική αξιοποίησή τους για την παραγωγή καλύτερων προϊόντων λογισμικού. Και η πρόκληση αυτή αποτελεί στην πραγματικότητα ένα πρόβλημα επαναχρησιμοποίησης. Στο πλαίσιο αυτής της διατριβής προτείνουμε μια ενιαία προσέγγιση που περιλαμβάνει την εφαρμογή τεχνικών εξόρυξης δεδομένων σε δεδομένα τεχνολογίας λογισμικού για τη διευκόλυνση της επαναχρησιμοποίησης σε διάφορες φάσεις του κύκλου ζωής του λογισμικού. Η μεθοδολογία μας προτείνει λύσεις για τη φάση του καθορισμού των απαιτήσεων και της εξαγωγής προδιαγραφών, τις φάσεις της σχεδίασης και ανάπτυξης λογισμικού, ενώ συμβάλλει επίσης στην αξιολόγηση της ποιότητας και τον έλεγχο του λογισμικού.
Ανάλυση ∆εδοµένων ΄Εργων Λογισµικού για Ανάπτυξη σε Νέα Πεδία ΕφαρµογήςISSEL
Η ταχεία παραγωγή έργων λογισµικού σε ανταγωνιστικές αγορές πλέον επιτάσσει
αυτοµατοποίηση των ϕάσεων σχεδίασης και ανάπτυξης. Οι µηχανικοί λογισµικο-
ύ εξοικειώνονται συνεχώς µε νέα εργαλεία και τεχνολογίες που εξασφαλίζουν την
ορθή εφαρµογή σύγχρονων µεθοδολογιών, αλλά καλούνται συχνά να παράξουν
λογισµικό και σε πεδία εφαρµογής µε τα οποία δεν είναι εξοικειωµένοι, πάντο-
τε προσπαθώντας να ικανοποιήσουν τον προϊοντικό χάρτη στον οποίο εργάζονται.
Η παρούσα διδακτορική διατριβή έχει ως στόχο να ϐοηθήσει τους µηχανικούς
σε αυτήν τους την προσπάθεια εισάγοντας µια επικουρική µεθοδολογία ανάπτυ-
ξης. Αυτή ϐασίζεται στην ανάλυση της διαθέσιµης πεδιακής γνώσης προηγούµενων
έργων λογισµικού µε συστήµατα τεχνητής νοηµοσύνης και στη µερικώς αυτοµα-
τοποιηµένη συγγραφή πηγαίου κώδικα µε νέες τεχνικές. Για την ακρίβεια, προ-
τείνεται µια ϱοή ανάπτυξης και µια σειρά ϑεωρητικών και πρακτικών εργαλείων
τα οποία ϐοηθούν στη διερεύνηση υπαρχουσών λύσεων, την κατανόησή τους, και
τη συγγραφή πηγαίου κώδικα για την παραγωγή επαναχρησιµοποιήσιµων έργων
λογισµικού. Η προτεινόµενη µεθοδολογία µπορεί να υιοθετηθεί τόσο από νέους
όσο και από πεπειραµένους µηχανικούς για την επιτάχυνση της διαδικασίας α-
νάπτυξης λογισµικού σε νέα (για αυτούς) πεδία εφαρµογής.
Camera-based localization of annotated objects in indoor environmentsISSEL
As the demands increases, the detection and monitoring of motion are increasingly recognized as significant features in every vision system designed to operate in an uncontrolled, indoor environment. From the autonomous navigation and execution of tasks that require interaction with the environments, to simple monitoring, position detection is considered essential. Due to the variety of the system requirements, several detection approaches have been implemented based on indoor or outdoor sensors. However, one of the most important cases of external sensors are cameras. This dissertation aims to introduce the usage of visual patterns as landmarks to detect the pattern’s exact position by a camera system located in the environment. This attempt could be possibly considered as the main contribution of this thesis, since it introduces a universal way of position detection that can be integrated in various systems regardless of type and task to be implemented. To achieve these goals, three patterns were created, -one with LEDs, one with colors and QR codes, which are based on different recognition principles in order to conclude which one results to more accurate detection over a wide range of conditions. The methodology built has proven to be effective and highly accurate during the experimental process on a small scale environment for all different patterns.
Εντοπισμός θέσης επισημασμένου αντικειμένου σε εσωτερικό χώρο με χρήση πολλαπ...ISSEL
Η ανίχνευση και η παρακολούθηση κίνησης αναγνωρίζονται όλο και περισσότερο ως σημαντικές δυνατότητες σε κάθε σύστημα όρασης σχεδιασμένο να λειτουργεί σε μη ελεγχόμενο, εσωτερικό περιβάλλον καθώς αυξάνονται όλο ένα και περισσότερο οι απαιτήσεις. Από την αυτόνομη πλοήγηση και την επιτέλεση εργασιών που απαιτούν αλληλεπίδραση με το περιβάλλον, μέχρι και την απλή παρακολούθηση αποτελούν δραστηριότητες που ωθούν την ανάπτυξη τεχνολογιών για την δημιουργία ενός εύρωστου τρόπου εντοπισμού της θέσης. Λόγω της ποικιλομορφίας των απαιτήσεων των συστημάτων, έχουν αναπτυχθεί τρόποι εντοπισμού που βασίζονται είτε σε εσωτερικούς είτε σε εξωτερικούς αισθητήρες. Στην περίπτωση των εξωτερικών αισθητήρων από τους πιο σημαντικούς αποτελούν οι κάμερες. Στη διπλωματική αυτή, εισάγεται η χρήση εξωτερικών μοτίβων σαν ορόσημα για την αναγνώριση και τον εντοπισμό της ακριβούς θέσης από ένα σύστημα καμερών που είναι τοποθετημένο στο περιβάλλον. Αυτό μπορεί να θεωρηθεί ενδεχομένως και ως η σημαντικότερη συνεισφορά της διπλωματικής καθώς εισάγει έναν καθολικό τρόπο εντοπισμού, που μπορεί να ενσωματωθεί σε διάφορα συστήματα ανεξάρτητα από το είδος τους και τις εργασίες που επιθυμούμε να υλοποιούν. Για να επιτευχθούν αυτοί οι στόχοι δημιουργήθηκαν τρία διαφορετικά μοτίβα, -ένα με led, ένα με χρώματα και QR Codes βασισμένα σε διαφορετικές αρχές αναγνώρισης με σκοπό να μελετήσουμε ποιο λειτουργεί πιο εύρωστα σε μεγαλύτερο εύρος συνθηκών. Η μεθοδολογία αποδείχθηκε αποτελεσματική και με μεγάλη ακρίβεια στην πειραματική διαδικασία σε ένα περιβάλλον μικρής κλίμακας για όλα τα διαφορετικά μοτίβα.
Design and implementation of an automation mechanism to automatically develop...ISSEL
As the internet acquires an increasingly important role in society, computer systems tend to become larger and more complex. That means there is a greater need for quicker development of reliable software. A promising answer to that need are automated code generation mechanisms. The use of those mechanisms can provide a great increase, both in productivity and in the quality of the final product. However, developing such a mechanism usually follows the “traditional” ways of developing software, therefore exhibits the downsides of those ways such as increased effort in debugging requires a high level in technical skills. Aiming to solve the problems presented in the development of automated code generation mechanisms, in the current diploma thesis, model driven engineering (MDE) is utilized. Specifically, once a subtractive model has been defined, a series of transformations take place, resulting in a fully functional system. In this way, the software development process is accelerated and software is produced with greater reliability. This thesis implements the DeGraCom (Designing Graphical Commands) system. DeGraCom offers a user-friendly interface, which allows its user, even if they do not have any expertise when it comes to web programming, to design and implement web components-commands in an automated way. These components follow the client-server architecture, so that they can be easily integrated to existing automated mechanisms, in order to expand their functionality. To test and evaluate the DeGraCom system, the components-commands produced by DeGraCom are tested on the TekTrain platform. TekTrain offers a number of tools and interfaces, along with a series of smart devices, and aims to ease the learning process of new technologies for children. The main interface offered by TekTrain, allows its users to define a number of commands for its smart devices to perform. DeGraCom aims to automate the process of creating such a command.
ΣΧΕΔΙΑΣΗ ΚΑΙ ΑΝΑΠΤΥΞΗ ΜΗΧΑΝΙΣΜΟΥ ΑΥΤΟΜΑΤΟΠΟΙΗΣΗΣ ΤΗΣ ΑΝΑΠΤΥΞΗΣ ΓΡΑΦΙΚΩΝ ΕΝΤΟΛ...ISSEL
Καθώς το διαδίκτυο αποκτά ολοένα και σημαντικότερο ρόλο στην κοινωνία, τα υπολογιστικά συστήματα γίνονται ολοένα και μεγαλύτερα, και συγχρόνως πολυπλοκότερα. Διογκώνεται έτσι η ανάγκη για γρήγορη παραγωγή αξιόπιστου λογισμικού. Μία υποσχόμενη απάντηση στην ανάγκη αυτή είναι οι μηχανισμοί αυτοματοποίησης παραγωγής κώδικα για συγκεκριμένα προβλήματα. Η χρήση των μηχανισμών αυτών, αποφέρει σημαντικά κέρδη παραγωγικότητας και ποιότητας του τελικού αποτελέσματος. Ωστόσο η ανάπτυξή τους ακολουθεί ως επί το πλείστων τον «παραδοσιακό» τρόπο ανάπτυξης και συνεπώς παρουσιάζει τα μειονεκτήματα αυτού, όπως αυξημένη προσπάθεια εκσφαλμάτωσης και μεγαλύτερη ανθρωποπροσπάθεια ενώ ταυτοχρόνως απαιτεί σημαντικές τεχνικές γνώσεις. Με στόχο να αντιμετωπιστούν οι αγκυλώσεις που παρουσιάζει η ανάπτυξη μηχανισμών αυτοματοποίησης παραγωγής κώδικα, στην παρούσα διπλωματική εργασία, αξιοποιείται η μηχανική οδηγούμενη από μοντέλα ή μοντελοστρεφής μηχανική (Model Driven Engineering ή MDE). Συγκριμένα, αφού οριστεί ένα αφαιρετικό μοντέλο, πραγματοποιείται μια σειρά από μετασχηματισμούς, με τελικό αποτέλεσμα μια πλήρως λειτουργική εφαρμογή. Με αυτό τον τρόπο, επιταχύνεται διαδικασία ανάπτυξης λογισμικού και παράγεται λογισμικό με μεγαλύτερη αξιοπιστία. Η παρούσα διπλωματική εργασία υλοποιεί το σύστημα DeGraCom (Developing Graphical Commands). Το DeGraCom παρέχει μία φιλική γραφική διεπαφή επιτρέπει στους χρήστες του, ακόμη και αν δεν γνωρίζουν διαδικτυακό προγραμματισμό, να παράγουν διαδικτυακά τμήματα-εντολές με αυτοματοποιημένο τρόπο. Τα τμήματα αυτά ακολουθούν την αρχιτεκτονική Client-Server ούτως ώστε να είναι εύκολη η ενσωμάτωσή τους που σε υπάρχοντες διαδικτυακούς Αυτόματους Μηχανισμούς προς επέκταση των δυνατοτήτων τους. Για την δοκιμή και αξιολόγηση αυτού του συστήματος, τα τμήματα-εντολές που παράγονται δοκιμάστηκαν στην πλατφόρμα TekTrain. Το τελευταίο, παρέχει ένα σύνολο από εργαλεία και διεπαφές, παράλληλα με μία σειρά από έξυπνες συσκευές, με στόχο την διευκόλυνση την εκπαίδευσης των παιδιών στις νέες τεχνολογίες. Η βασική γραφική διεπαφή του επιτρέπει στους χρήστες της να ορίσουν ένα σύνολο από δράσεις/εντολές για τις έξυπνες συσκευές του. Το σύστημα DeGraCom στοχεύει στο να αυτοματοποιήσει την διαδικασία δημιουργίας νέων εντολών.
Static Analysis of Python code and Identification of Potential Security Vulne...ISSEL
The advent of computational systems has brought forth significant advancements, but concurrently, it has accentuated the urgency for secure and robust software. Security analysis techniques, specifically static code analysis, have been at the forefront of this pursuit. Inspired by the ability to examine code without executing it, these techniques offer the potential to detect vulnerabilities in systems effectively, including data flow issues, control flow complications, and complex security vulnerabilities. Compared to their traditional counterparts, modern computational systems present unique challenges. These systems often operate in environments where system integrity is paramount and any potential security vulnerability could lead to significant damage. This necessitates the implementation of mechanisms that provide rigorous vulnerability detection while maintaining system performance. The focal point of the present thesis is the application of static Python code analysis for the detection of security vulnerabilities in computational systems. A variety of techniques have been explored, including linting, control flow analysis, data flow analysis, complexity analysis, and pattern matching. Various methodologies for identifying security vulnerabilities are also investigated, such as input validation, output encoding, authentication and access control, cryptography, exception handling, buffer overflow, SQL injection, and file handling. A Python-based program is developed, utilizing these static code analysis techniques for comprehensive security evaluation. This tool probes IP addresses, URLs, API calls, and deploys anti-debugging and anti-virtualization strategies. Further, it scrutinizes the entropy of a file for potential obfuscation and contrasts the file against databases of known viruses via a cloud-based solution. It concludes with a basic dynamic analysis of the application’s source code, performed in a virtual environment. The outcomes of this research emphasize the significant role of Python static code analysis in maintaining the integrity of computational systems. The effective implementation of these techniques, along with appropriate software and a series of optimization steps, have the potential to provide solutions to prevalent security issues in computational systems, solidifying their place in a rapidly evolving digital landscape.
1. Ανάπτυξη και σχεδίαση
αυτοματοποιημένης υποδομής
Continuous Integration σε έργα
λογισμικού
Ιωάννης Τσαφαράς, ΑΕΜ: 7542
Υπό την επίβλεψη του Επίκουρου Καθηγητή
Ανδρέα Λ. Συμεωνίδη
Θεσσαλονίκη, Νοέμβριος 2017
Αριστοτέλειο Πανεπιστήμιο Θεσσαλονίκης
Πολυτεχνική Σχολή
Τμήμα Ηλεκτρολόγων Μηχανικών και Μηχανικών Υπολογιστών
Τομέας Ηλεκτρονικής και Υπολογιστών
Εργαστήριο Επεξεργασίας Πληροφορίας και Υπολογισμών (ΕΠΥ)
2. Δομή της παρουσίασης
• Εισαγωγή στο Continuous Integration (CI)
• Σκοπός εργασίας
• Σύγκριση και επιλογή συστήματος CI
• Βήματα υλοποίησης υποδομής CI
• Εφαρμογή υλοποιημένου συστήματος
• Συμπεράσματα
Νοέμβριος 2017 Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού 2
3. Continuous Integration (CI)
• Grady Booch, 1991, 1 από 12 στοιχεία του Extreme
Programming (XP)
• Συχνή συγχώνευση (merging) κώδικα
• Λειτουργικό προϊόν σε κάθε συγχώνευση
• Προσθήκη λειτουργιών σε κάθε έκδοση
Νοέμβριος 2017 Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού 3
4. Πλεονεκτήματα CI
• Ελαχιστοποίηση προβλημάτων ενσωμάτωσης
• Προβλήματα συγχώνευσης (merge conflicts)
• Προβλήματα συμβατότητας στοιχείων εφαρμογής
• Γρήγορη εύρεση σφαλμάτων λογισμικού (bugs)
• Γρηγορότερη ανάπτυξη ποιοτικού λογισμικού
Νοέμβριος 2017 Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού 4
5. Σκοπός της εργασίας
• Απλοποίηση διαδικασίας ελέγχου ποιότητας
κώδικα έργων λογισμικού
• Χρήση συστημάτων Continuous Integration (CI)
• Αυτόματη παροχή pre-production (staging) έκδοσης του
έργου
• Δυνατότητα αυτόματης ενημέρωσης production
έκδοσης
• Συμβατότητα υλοποιημένου συστήματος με
πλατφόρμες cloud computing
Νοέμβριος 2017 Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού 5
6. Γνώσεις που αποκτήθηκαν
• Συστήματα Continuous Integration
• Συστήματα διαχείρισης διαμόρφωσης λογισμικού
(software configuration management)
• Ανάπτυξη αυτοματοποιημένης διαδικασίας
δημιουργίας CI σε υποδομές cloud computing
Νοέμβριος 2017 Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού 6
CI Στατική ανάλυση κώδικα CD/CDE
CircleCI
Travis CI
Jenkins SonarQube
Chef
Puppet
Ansible
7. Αυτόματα συστήματα CI -1-
• Αυτοματοποίηση διαδικασίας μετά από
συγχώνευση
• Μεταγλώττιση (compile), σύνδεση (link)
• Αυτόματοι Έλεγχοι (tests)
• Unit tests
• API test
• Local CIs
• CI-as-a-Service (cloud-based CIs)
Νοέμβριος 2017 Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού 7
8. Αυτόματα συστήματα CI -2-
• Local CI
• Jenkins CI
• Για open και closed
source έργα
• Πληθώρα plugins
• Μεγάλη υποστήριξη
• CI-as-a-Service
• Travis CI
• Για open source έργα
• Χρήση μέσω GitHub
• Πιο δημοφιλές cloud-
based CI
• CircleCI
• Συνεργασία με GitHub,
BitBucket
• Υποστήριξη λιγότερων
γλωσσών από Travis CI
Νοέμβριος 2017 Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού 8
CI
CircleCI
Travis CI
Jenkins
9. Στατική ανάλυση κώδικα
• Στατική ανάλυση κώδικα μέσω SonarQube
• Κύριες μετρικές:
• Σφάλματα κώδικα (bugs)
• Κενά ασφαλείας (vulnerabilities)
• Διπλότυπος κώδικας (duplications)
• Τεχνικό χρέος (code smells/technical debt)
Νοέμβριος 2017 Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού 9
Στατική ανάλυση κώδικα
SonarQube
10. Continuous Deployment (CD)
Continuous Delivery (CDE)
• Επέκταση του CI
• Εγκατάσταση νέας έκδοσης του κώδικα σε
περιβάλλον, μετά την επιτυχία των βημάτων CI
• CD: Αυτόματο
• CDE: Απαιτεί αποδοχή χρήστη
Νοέμβριος 2017 Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού 10
11. CD, CDE στην εργασία
• Χρήση Continuous Deployment:
Εγκατάσταση κώδικα σε staging περιβάλλον
• Χρήση Continuous Delivery:
Εγκατάσταση κώδικα σε production περιβάλλον
• Υλοποίηση CD, CDE:
Εργαλεία διαχείρισης διαμόρφωσης λογισμικού
(software configuration management)
Νοέμβριος 2017 Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού 11
12. Εργαλεία Software Configuration
Management -1-
• Καταγραφή αλλαγών σε έναν server
• Εγκατάσταση πακέτων
• Ρύθμιση services, συστήματος
• Εγκατάσταση κώδικα κ.ά.
• Σκοπός η επαναπραγματοποίηση των αλλαγών
• Ευρέως χρησιμοποιούμενα εργαλεία:
• Ansible
• Puppet
• Chef
Νοέμβριος 2017 Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού 12
CD/CDE
Chef
Puppet
Ansible
13. Εργαλεία Software Configuration
Management -2-
• Ansible
• Playbooks σε YAML
• Χρήση χωρίς πράκτορα (agentless), επικοινωνία μέσω SSH
• Puppet
• Manifests σε Domain Specific Language (DSL)
• Απαιτείται πράκτορας, επικοινωνία με HTTPS
• Chef
• Cookbooks σε Domain Specific Language (DSL) ή Ruby
• Απαιτείται πράκτορας
Νοέμβριος 2017 Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού 13
14. Εργαλεία Software Configuration
Management -3-
• Επιλογή Ansible
• Αρχιτεκτονική χωρίς χρήση πράκτορα
• Άμεση χρήση
• Εξοικονόμηση πόρων
• Ασφάλεια
• Προϋπόθεση: SSH, Python
• Απλή, εύκολη στην εκμάθηση γλώσσα YAML
• Πολλά plugins, αυτοματοποίηση κάθε λειτουργίας
Νοέμβριος 2017 Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού 14
15. Τελική επιλογή συστήματος CI
• Jenkins
• Προσαρμοστικότητα
• Χρήση σε ανοιχτού και κλειστού κώδικα έργα
• Υποστήριξη από την κοινότητα
• Πολυάριθμα plugins
• SonarQube για στατική ανάλυση κώδικα
• Ansible για CD/CDE
Νοέμβριος 2017 Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού 15
CI Στατική ανάλυση κώδικα CD/CDE
CircleCI
Travis CI
Jenkins SonarQube
Chef
Puppet
Ansible
16. CI Pipeline
Νοέμβριος 2017 Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού 16
Preparation Test
SonarQube
Analysis
SonarQube
Quality Gate
Staging
deploy
Production deploy
approval
Production
deploy
CI Pipeline
Success
SCM Hook or
Manual
Trigger
Error/Failure
CI Pipeline
Failure
Any Step
Continuous Integration (CI)
Continuous Deployment (CD)
+
Continuous Delivery (CDE)
17. Βήματα CI Pipeline -1-
• Preparation
• Διαγραφή workspace
• Checkout νέου κώδικα
• Δημιουργία αρχείων μεταβλητών για τα deployments
• Εγκατάσταση test/build dependencies
• Build/compile, αν απαιτείται
Νοέμβριος 2017 Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού 17
Preparation Test
SonarQube
Analysis
SonarQube
Quality
Gate
18. Βήματα CI Pipeline -2-
• Test
• Εκτέλεση unit tests
• Εκτέλεση API tests
• Αποθήκευση test coverage
• SonarQube Analysis
• Στατική ανάλυση κώδικα
• Παρουσίαση αποτελεσμάτων στο SonarQube WebUI
• SonarQube Quality Gate
• Πληροί ο νέος κώδικας τις προϋποθέσεις ποιότητας;
Νοέμβριος 2017 Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού 18
Preparation Test
SonarQube
Analysis
SonarQube
Quality
Gate
19. Βήματα CI Pipeline -3-
• Staging deploy
• Χρήση Ansible για deployment στον staging server
• Production deploy approval
• Αποδοχή/άρνηση deployment στο production
• Production deploy
• Χρήση Ansible για deployment στον production server
Νοέμβριος 2017 Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού 19
Staging
deploy
Production deploy
approval
Production
deploy
20. Εκτέλεση CI Pipeline
Νοέμβριος 2017 Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού 20
Βήμα Pipeline “Production deploy approval”
21. Διαδικασίες CD/CDE
Νοέμβριος 2017 Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού 21
deploy-app-
production.yml
deploy-app-
staging.yml
app_type
app-nodejs
role
app-django
role
app-jetty
role
nodejs
django
jettyStaging Server Production Server
SSH SSH
22. Αρχιτεκτονική CI server -1-
• Χρήση Docker
• Ασφάλεια
• Δημιουργία υπηρεσιών μέσω παραμετροποιημένων
images (Dockerfiles)
• Φορητότητα
• 3 Docker containers
• Jenkins
• SonarQube
• MySQL (για χρήση από SonarQube)
Νοέμβριος 2017 Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού 22
23. Αρχιτεκτονική CI server -2-
• Σύνδεση των containers μέσω Docker network cinet
• Jenkins ↔ SonarQube
• SonarQube ↔ MySQL
• Xρήση Docker volumes, για διατήρηση δεδομένων
Jenkins και MySQL
Νοέμβριος 2017 Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού 23
Jenkins SonarQube
MySQL
24. CI creator -1-
• Webapp γραμμένο σε flask
• Ansible εγκατεστημένο
• Playbook, ρόλοι για deployment CI
• Ουρά Celery με RabbitMQ, για την εκτέλεση
Ansible
Νοέμβριος 2017 24Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού
25. CI creator -2-
• Λήψη μεταβλητών από το WebUI:
• App name
• App type
• Node.js
• Django
• Jetty
• CI host/username
• SonarQube MySQL passwords
• staging host/username
• production host/username
• Απαίτηση: Ύπαρξη SSH keys
Νοέμβριος 2017 25Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού
26. CI creator video
Νοέμβριος 2017 26Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού
27. Εγχειρίδιο χρήσης CI
Νοέμβριος 2017 27Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού
28. Αποτελέσματα -1-
Εκτέλεση CI build στο project του ISSEL, Web Recorder Server
Νοέμβριος 2017 Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού 28
29. Αποτελέσματα -2-
Αποτελέσματα SonarQube για Web Recorder Server
Νοέμβριος 2017 Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού 29
30. Αποτελέσματα -3-
Παρακολούθηση διεργασιών Web Recorder Server μέσω
Node.js Production Process Manager, PM2
Νοέμβριος 2017 Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού 30
31. Αποτελέσματα -4-
Δημιουργία υπηρεσίας Continuous Integration για την εταιρία
YummyWallet
Νοέμβριος 2017 Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού 31
32. Συμπεράσματα
• Διευκόλυνση διαδικασίας εγκατάστασης
συστήματος CI + CD/CDE
• Συμβατότητα αρχιτεκτονικής με υποδομές cloud,
δοκιμή σε υποδομές:
•
•
•
Νοέμβριος 2017 Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού 32
33. Μελλοντική Εργασία
• Πλήρης αυτοματοποίηση παραμετροποίησης CI
• Συμβατότητα με διαφορετικά λειτουργικά
συστήματα (RedHat-based)
• Αξιοποίηση APIs cloud παρόχων
Νοέμβριος 2017 Ανάπτυξη και σχεδίαση αυτοματοποιημένης υποδομής Continuous Integration σε έργα λογισμικού 33