Detailansicht
Pipeline quality insight as a service for pattern detection and quality assessment in MLOps systems
Francesco Urdih
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Informatik
Betreuer*in
Uwe Zdun
DOI
10.25365/thesis.76995
URN
urn:nbn:at:at-ubw:1-28875.60782.309376-1
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Das wachsende Interesse an Machine Learning (ML) Anwendungen hat die Bedeutung des Bereichs MLOps (ML Operations) erhöht, dessen Ziel es ist, ML in die Produktion zu bringen. Gleichzeitig hat das Reinforcement Learning (RL) in der künstlichen Intelligenz an Popularität gewonnen und ermöglicht das Trainieren und die Nutzung intelligenter Agenten. Für beide Bereiche wurden bereits eine Reihe von Prinzipien und Techniken vorgeschlagen, die angewendet werden können. Angesichts der Komplexität von MLOps und RL-Systemen ist es jedoch zeitaufwändig, diese Muster und Praktiken im Quellcode zu identifizieren. Wir untersuchen 9 Kategorien von Mustern und Praktiken und 7 Technologien, um sie anzuwenden. Wir schlagen einen Pipeline Quality as a Service-Ansatz vor, um automatisch Erkenntnisse zu diesen 9 Kategorien direkt aus dem Quellcode zu gewinnen. Wir evaluieren unseren Service anhand von 15 Fallstudien. Unser Framework erreicht eine hohe Genauigkeit mit einem F1-Wert von 0,99 bei der Erkennung von MLOps-bezogenen Mustern und Praktiken und 0,82 für RL-bezogene Muster. Diese Ergebnisse unterstreichen die Anwendbarkeit des Ansatzes für automatische Analysen von MLOps- und RL-Architekturen.
Abstract
(Englisch)
The growing interest in Machine Learning (ML) applications has increased the significance of the MLOps (ML Operations) field, which aims to bring ML to production. At the same time, Reinforcement Learning (RL) popularity has risen in artificial intelligence, allowing the training and usage of intelligent agents. For both areas, collections of principles and techniques to apply have already been proposed. Nevertheless, given the complexity of MLOps and RL systems, identifying these patterns and practices from source code is time-consuming. We investigate 9 categories of patterns and practices and 7 technologies to apply them. We propose a Pipeline Quality as a Service approach, to automatically extract insights, related to these 9 categories, directly from source code. We evaluate our approach using 15 case studies. Our framework reaches a high level of accuracy with an F1-score of 0.99 in detecting MLOps-related patterns and practices and 0.82 for the RL-related ones. These results highlight the approach’s applicability for automatic MLOps and RL architectures analyses.
Schlagwörter
Schlagwörter
(Deutsch)
Reinforcement Learning MLOps Praktiken Muster Architekturregeln
Schlagwörter
(Englisch)
Reinforcement Learning MLOps Best Practices Patterns Architecture Rules
Autor*innen
Francesco Urdih
Haupttitel (Englisch)
Pipeline quality insight as a service for pattern detection and quality assessment in MLOps systems
Publikationsjahr
2024
Umfangsangabe
xv, 91 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Uwe Zdun
Klassifikationen
54 Informatik > 54.30 Systemarchitektur. Allgemeines ,
54 Informatik > 54.52 Software engineering
AC Nummer
AC17361437
Utheses ID
73392
Studienkennzahl
UA | 066 | 921 | |