Detailansicht
Deadline-aware resource allocation and scheduling for serverless workloads in heterogeneous clusters
Matthias Fritz
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Informatik
Betreuer*in
Siegfried Benkner
Mitbetreuer*in
Enes Bajrovic
DOI
10.25365/thesis.78448
URN
urn:nbn:at:at-ubw:1-23928.67369.705272-8
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Serverless Computing hat als benutzerfreundliche Alternative zu traditionellen Cloud-Lösungen immer mehr an Bedeutung gewonnen. Durch die Abstraktion und Automatisierung der Infrastrukturverwaltung ermöglicht es Entwicklern, Anwendungen einfach und kosteneffizient in der Cloud auszuführen. Allerdings bieten aktuelle Serverless-Dienste kaum Möglichkeiten, Ressourcen gezielt an die Leistungsanforderungen von Anwendungen anzupassen. Zusätzlich zur fehlenden Transparenz bezüglich der eingesetzten Hardware wird es zunehmend schwieriger, Service-Level-Objectives (SLOs) zuverlässig einzuhalten. Gleichzeitig könnte die Hardwarevielfalt in modernen Cloud-Umgebungen bedeutende Chancen für Entwickler bieten, um Anwendungen mit unterschiedlichen Ressourcenanforderungen effizienter zu betreiben. Um diese Hardware- und Leistungsvariabilität zu berücksichtigen, stellt diese Masterarbeit DHRT vor, ein Framework zur automatischen Ressourcenverwaltung, das eine zuverlässigere Einhaltung von SLOs für leistungskritische Serverless-Workloads ermöglicht. Um eine breite Kompatibilität zwischen verschiedenen Umgebungen und Cloud-Anbietern zu ermöglichen, nutzt es Knative, eine Open Source Serverless-Plattform basierend auf Kubernetes. DHRT setzt Online-Optimierungen basierend auf Heuristiken ein, um die Ressourcenzuweisung von Anwendungen dynamisch anhand von Echtzeitdaten anzupassen. Dabei integriert das System kontinuierlich Daten vergangener Ausführungen, um die Verwendung von Ressourcen iterativ zu verbessern. Dadurch kann es spezifische Workload-SLOs sowie die Heterogenität der verfügbaren Hardware gezielt berücksichtigen. DHRT wird in der Google Kubernetes Engine mit synthetischen Workloads gegen Referenzmethoden evaluiert. Die Ergebnisse zeigen, dass DHRT den Ressourcenbedarf von Workloads bereits nach wenigen Ausführungen erlernen kann und dadurch den Aufwand manueller Ressourcenanpassungen deutlich reduziert. Im Vergleich zu den Referenzmethoden kann DHRT die verfügbaren Ressourcen effizienter nutzen, da die Heterogenität der Hardware gezielt in den Ressourcenoptimierungsprozess integriert wird. Außerdem kann das System das Risiko von SLO-Verletzungen erheblich senken, indem CPU-Zuweisungen dynamisch angepasst werden, wenn sich Workloads ihrer Deadline nähern.
Abstract
(Englisch)
Serverless computing has become widely adopted as a cloud execution model due to its ease of use and fine-grained pay-as-you-go pricing model. By abstracting away infrastructure management, it simplifies access to cloud resources, allowing developers to better focus on writing application code. However, most serverless platforms operate on a best-effort basis and offer limited flexibility when it comes to tuning resource allocations for performance. In addition to the lack of insight into the underlying hardware, it becomes increasingly difficult to reliably achieve Service Level Objectives (SLOs). However, the inherent heterogeneity of cloud environments also provides significant opportunities to deploy workloads with diverse resource requirements at different performance and price points. To address this hardware and performance variability, this thesis introduces DHRT, a deadline- and heterogeneity-aware scheduling and resource allocation framework for performance-critical serverless workloads. To ensure compatibility across different environments and cloud providers, DHRT utilises Knative, an open-source serverless platform built on Kubernetes. Applying online optimisation techniques based on heuristics, DHRT iteratively refines its resource estimates according to workload requirements and the available node heterogeneity by leveraging real-time metrics and historical execution data from live workloads. Using synthetic workloads, evaluations are conducted within the Google Kubernetes Engine to evaluate DHRT against baseline resource allocation and scheduling policies commonly employed by cloud providers for Function-as-a-Service (FaaS) offerings. The results show that DHRT can accurately learn resource demands of workloads from just a few live execution samples, eliminating the need for extensive manual resource tuning. Compared to baseline methods, it effectively exploits node heterogeneity for more targeted resource allocation and scheduling decisions, therefore achieving higher resource efficiency. Additionally, by proactively increasing CPU allocations as workloads approach their deadlines, DHRT is able to significantly reduce the risk of deadline violations.
Schlagwörter
Schlagwörter
(Deutsch)
Serverless Computing Dynamisches Ressourcenmanagement Ausführungsfristen von Anwendungen Heterogene Cluster Kubernetes
Schlagwörter
(Englisch)
Serverless Computing Dynamic Resource Management Execution Deadlines Heterogeneous Clusters Kubernetes
Autor*innen
Matthias Fritz
Haupttitel (Englisch)
Deadline-aware resource allocation and scheduling for serverless workloads in heterogeneous clusters
Publikationsjahr
2025
Umfangsangabe
ix, 103 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Siegfried Benkner
Klassifikation
54 Informatik > 54.00 Informatik. Allgemeines
AC Nummer
AC17536486
Utheses ID
75408
Studienkennzahl
UA | 066 | 921 | |