Service management in NoSQL data stores via replica-group reconfigurations (Master thesis)

Μπέκας, Εύδοξος


Internet-scale services increasingly rely on NoSQL data store technologies for scalable, highly available data persistence. Workload variations or imbalances in data-store resource utilization typically require adaptation actions that involve movement of data (e.g., migrating data between nodes) and thus involve high overhead. In this thesis we propose the use of low-cost adaptation actions based on targeted reconfigurations of replica groups as an effective way to offer rapid response to performance degradation (such as when a node experiences a temporary resource shortage). Such reconfigurations can be exercised and controlled by a management system that uses measurement-based analysis to ensure they are only applied when their benefit outweighs their cost. Such a management system may also leverage external cross-layer notifications from an underlying container management system (CMS) about resourcespecific conditions that are expected to impact the data store. We evaluate a prototype implementation of the management system in the context of the RethinkDB data store on Google Container Engine with the Kubernetes CMS, and on a dedicated cluster, using the Yahoo Cloud Serving Benchmark. Our results demonstrate that low-cost data-store adaptation actions can improve overall system manageability, availability, and performance, and that events exposed by the CMS can be leveraged to drive proactive adaptation actions, improving overall quality of service.
Institution and School/Department of submitter: Πανεπιστήμιο Ιωαννίνων. Σχολή Θετικών Επιστημών. Τμήμα Μηχανικών Η/Υ & Πληροφορικής
Subject classification: Service management
Keywords: Αποθετήρια δεδομένων,Αυτόνομη διαχείριση,Αναδιοργανώσεις ομάδων αντιγράφων,Διαστρωμάτωση,Autonomic management,NoSQL datastores,Cross-layer,Reconfigurations
URI: http://olympias.lib.uoi.gr/jspui/handle/123456789/28125
Item type: masterThesis
Subject classification: Service management
Submission Date: 2017-09-01T11:14:01Z
Item language: en
Item access scheme: free
Institution and School/Department of submitter: Πανεπιστήμιο Ιωαννίνων. Σχολή Θετικών Επιστημών. Τμήμα Μηχανικών Η/Υ & Πληροφορικής
Publication date: 2017
Bibliographic citation: Βιβλιογραφία : σ. 47-51
Abstract: Internet-scale services increasingly rely on NoSQL data store technologies for scalable, highly available data persistence. Workload variations or imbalances in data-store resource utilization typically require adaptation actions that involve movement of data (e.g., migrating data between nodes) and thus involve high overhead. In this thesis we propose the use of low-cost adaptation actions based on targeted reconfigurations of replica groups as an effective way to offer rapid response to performance degradation (such as when a node experiences a temporary resource shortage). Such reconfigurations can be exercised and controlled by a management system that uses measurement-based analysis to ensure they are only applied when their benefit outweighs their cost. Such a management system may also leverage external cross-layer notifications from an underlying container management system (CMS) about resourcespecific conditions that are expected to impact the data store. We evaluate a prototype implementation of the management system in the context of the RethinkDB data store on Google Container Engine with the Kubernetes CMS, and on a dedicated cluster, using the Yahoo Cloud Serving Benchmark. Our results demonstrate that low-cost data-store adaptation actions can improve overall system manageability, availability, and performance, and that events exposed by the CMS can be leveraged to drive proactive adaptation actions, improving overall quality of service.
Οι συνεχώς αυξανόμενες ανάγκες των διαδικτυακών εφαρμογών για υψηλή από- δοση και διαθεσιμότητα στην αποθήκευση δεδομένων έχουν οδηγήσει στη δημιουρ- γία μιας νέας κατηγορίας κατανεμημένων αποθετηρίων δεδομένων (data stores) γνωστή με τον όρο NoSQL. Τα NoSQL συστήματα είναι βελτιστοποιημένα ως προς την επεκτασιμότητα και την κλιμακωσιμότητα σε σύγκριση με τα συστήματα SQL (δηλαδή με τα DBMS). Σε περιπτώσεις όπου υπάρχουν μεταβολές στον φόρτο εργασίας ή δεν είναι εφικτή η δέσμευση των απαιτούμενων υπολογιστικών πό- ρων από τα αποθετήρια δεδομένων, απαιτείται να γίνουν ενέργειες προσαρμογής οι οποίες περιλαμβάνουν μετακίνηση δεδομένων από κόμβο σε κόμβο εισάγοντας υψηλό φόρτο στο σύστημα. Στην παρούσα εργασία προτείνουμε την χρήση ενερ- γειών προσαρμογής χαμηλού κόστους βασισμένες σε στοχευμένες αναδιοργανώσεις ομάδων αντιγράφων όταν ένας κόμβος αντιμετωπίζει μια προσωρινή υπερφόρτωση. Αναδιοργανώσεις αυτού του τύπου μπορούν να προγραμματιστούν και εκτελεστούν από ένα σύστημα διαχείρισης του αποθετηρίου δεδομένων, εκτιμώντας την αποτε- λεσματικότητά τους με βάση ανάλυση συστηματικών μετρήσεων, που υποδεικνύει πότε το πλεονέκτημα από τη χρήση του μηχανισμού υπερβαίνει το κόστος του. Ένα τέτοιο σύστημα διαχείρισης μπορεί επίσης να αντλήσει σημαντικά πλεονεκτήματα από τη χρήση διαστρωματικών (cross layer) ειδοποιήσεων από σύστημα διαχείρι- σης υποδομής για επικείμενα γεγονότα (όπως κατάρρευση ή υπερφόρτωση) που αφορούν πόρους του συστήματος και που εκτιμάται ότι θα επηρεάσουν την από- δοση και διαθεσιμότητα του αποθετηρίου. Στα πλαίσια της εργασίας αυτής υλοποιούμε ένα τέτοιο σύστημα διαχείρισης με βάση το αποθετήριο RethinkDB και το σύστημα διαχείρισης υποδομής Kubernetes, στην υποδομή Google Container Engine και σε υποδομή τοπικού cluster, με φόρτο παραγώμενο από το Yahoo Cloud Serving Benchmark. Τα πειράματα που εκτελέστηκαν έχουν ως σκοπό να δείξουν τα οφέλη μια τέ- τοιας αρχιτεκτονικής για την διαχείριση αναδιοργανώσεων ομάδων δεδομένων. Εξε- τάζονται οι περιπτώσεις όπου γίνεται προδραστική αναδιοργάνωση ενός RethinkDB cluster βασιζόμενη σε ειδοποίηση (notification) ότι κάποιος κόμβος επρόκειτο να τερματιστεί, καθώς και σε περιπτώσεις όπου ένας κόμβος βρίσκεται υπό συνθή- κες υψηλού φόρτου που δεν οφείλονται στο αποθετήριο δεδομένων. Με αυτή την ανάλυση στοχεύουμε να προσδιορίσουμε εάν οι προδραστικές ενέργειες προσαρ- μοστικότητας, στην περίπτωση που προηγουμένως έχει ληφθεί ειδοποίηση για τον τερματισμό κάποιο κόμβου, μπορούν να βελτιώσουν την απόδοση σε σχέση με την περίπτωση οπού ο τερματισμός του κόμβου γίνει χωρίς προειδοποίηση. Επιπρόσθετα, πραγματοποιήθηκε πειραματική ανάλυση συγκρίνοντας την επίδραση, βάση δοθέντων Service-Level Objectives (SLOs), περιόδων υψηλού φόρτου (hot-spots) διαφορετικής διάρκειας στην επίδοση, σε σχέση με την επίδραση των αναδιοργανώσεων ομάδων δεδομένων που πραγματοποιήθηκαν για την αποφυγή αυτών των hot-spot με βάσει τα ίδια SLOs. Το κόστος της αναδιοργάνωσης ομάδων αντιγράφων για την αποφυγή υψηλού φόρτου είναι μικρότερο σε σχέση με την περίπτωση όπου δεν εκτελείται καμία ενέργεια (αναδιοργάνωσης ομάδων αντιγράφων), ακόμα και για περιπτώσεις όπου η διάρκεια που επηρεάζεται ένας κόμβος από υψηλό φόρτο είναι αρκετά μικρή. Επίσης σύμφωνα με την ανάλυση που πραγματο- ποιήθηκε (θεωρητική και πειραματική) η αποτελεσματικότητα του μηχανισμού ανα- διοργάνωσης ομάδων αντιγράφων μειώνεται δραστικά με την αύξηση των κόμβων που επηρεάζονται ταυτόχρονα από υψηλό φόρτο. Επομένως, είναι αποδοτικότερο –όταν είναι εφικτό– να προγραμματίζεται η ανάθεση εργασιών υψηλού φόρτου έτσι ώστε να ελαχιστοποιείται ο χρόνος που συμβαίνουν ταυτόχρονα. Τα αποτελέσματα υποδεικνύουν ότι ο μηχανισμός προσαρμογής βασιζόμενος στις στοχευμένες αναδιοργανώσεις ομάδων αντιγράφων μπορεί να βελτιώσει ση- μαντικά την διαθεσιμότητα, διαχειρισιμότητα, και να συνεισφέρει στην τήρηση των στόχων απόδοσης των εφαρμογών. Ταυτόχρονα, οι ειδοποιήσεις από σύστημα δια- χείρισης υποδομής για επικείμενα γεγονότα που αναμένεται να επηρεάσουν την απόδοση του αποθετηρίου επιτρέπουν την εφαρμογή προδραστικών ενεργειών διαχείρισης της ποιότητας των παρεχομένων υπηρεσιών.
Advisor name: Μαγκούτης, Κωνσταντίνος
Examining committee: Μαγκούτης, Κωνσταντίνος
Δημακόπουλος, Βασίλειος
Πιτουρά, Ευαγγελία
Publishing department/division: Πανεπιστήμιο Ιωαννίνων. Σχολή Θετικών Επιστημών. Τμήμα Μηχανικών Η/Υ & Πληροφορικής
Publishing institution: uoi
Number of pages: 51 σ.
Appears in Collections:Διατριβές Μεταπτυχιακής Έρευνας (Masters)

Files in This Item:
File Description SizeFormat 
Μ.Ε. ΜΠΕΚΑΣ ΕΥΔΟΞΟΣ 2017.pdf2.87 MBAdobe PDFView/Open



 Please use this identifier to cite or link to this item:
http://olympias.lib.uoi.gr/jspui/handle/123456789/28125
  This item is a favorite for 0 people.

Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.