Detailansicht
Systematic MLOps and RLOps engineering
architectural knowledge, comprehension models, conformance assessment and pipeline generation
Stephen John Warnett
Art der Arbeit
Dissertation
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Doktoratsstudium der technischen Wissenschaften Informatik
Betreuer*in
Uwe Zdun
DOI
10.25365/thesis.81507
URN
urn:nbn:at:at-ubw:1-13799.42668.490631-3
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Machine learning operations (MLOps) und reinforcement learning operations (RLOps) haben sich als zentrale Disziplinen für den Betrieb und die Wartung von Machine‑Learning‑ (ML) und Reinforcement‑Learning‑ (RL) Modellen in produktiven Systemen etabliert. Das Feld ist jedoch mit mehreren miteinander verknüpften Herausforderungen konfrontiert, die die Reife und Zugänglichkeit der MLOps‑ und RLOps‑Praxis beeinträchtigen. Erstens fehlt es Praktikerinnen und Praktikern an einer systematischen Orientierung zu den erforderlichen architektonischen Designentscheidungen (ADDs) für die Gestaltung wirkungsvoller MLOps‑ und RLOps‑Systeme, wobei vorhandenes Wissen weitgehend implizit und undokumentiert bleibt. Zweitens gilt dieser Mangel an architektonischem Wissen insbesondere für RL in spezialisierten Kontexten wie Industrie‑4.0‑cyber‑physischen Produktionssystemen und für die sich herausbildende Praxis von RLOps. Drittens führt die Komplexität von MLOps‑ und RL‑Systemarchitekturen zu Verständnishürden, insbesondere für Entwicklerinnen und Entwickler mit begrenzter ML‑ und RL-Erfahrung, was den Wissenstransfer und die kollaborative Gestaltung erschwert. Viertens ist die Sicherstellung der Konformität mit ADDs, Mustern, Praktiken und Entscheidungsoptionen in MLOps‑ und RLOps‑Systemen eine aufwändige, fehleranfällige manuelle Aufgabe. Objektive Messgrößen -- etwa Metriken -- zur Bewertung architektonischer Entscheidungsoptionen fehlen ebenfalls, und es besteht Bedarf an standardisierten, automatisierten Verfahren zur Erkennung der Konformität mit Best Practices, insbesondere hinsichtlich der Trainingsmethoden für RL. Fünftens ist der manuelle Aufwand für die Gestaltung, Konfiguration und Validierung von MLOps‑ und RLOps‑Pipelines arbeitsintensiv und fehleranfällig, schafft Hürden für Praktikerinnen und Praktiker ohne spezialisierte DevOps‑Expertise und begrenzt die Demokratisierung des ML‑ und RL‑Einsatzes. Diese Dissertation adressiert diese Herausforderungen durch umfassende Studien, die von der Erschließung architektonischen Wissens über die Qualitätsbewertung bis hin zur Automatisierung reichen. Wir identifizieren und formalisieren systematisch die wichtigsten ADDs, ihre Entscheidungsoptionen, Beziehungen und Entscheidungsfaktoren für ML- und RL-Systeme mithilfe einer qualitativen, auf Strauss basierenden Grounded Theory, die auf dem Wissen von Praktikern aufbaut. Dabei dokumentieren wir, wie MLOps und RLOps unterschiedliche architektonische Muster aufweisen und wie RL‑spezifische Anforderungen Anpassungen allgemeiner MLOps‑Entscheidungen erfordern, wenn sie für cyber‑physische Produktionssysteme angewendet werden. Wir untersuchen in empirischen Studien, wie architektonische Modelle und Dokumentation das Verständnis von Entwicklerinnen und Entwicklern für MLOps‑ und RL‑Systeme beeinflussen, und entwickeln ein modellgetriebenes, metrikenbasiertes Rahmenwerk zur systematischen Bewertung, ob MLOps‑Systeme kritische Qualitätsaspekte wie die Automatisierung hinreichend unterstützen. Darüber hinaus erforschen wir den Einsatz von Large Language Models (LLMs) als Bewertungsansatz zur Identifikation der Konformität mit Best Practices für RL‑Trainingspipelines und vergleichen deren Wirksamkeit mit traditionellen heuristikbasierten Code‑Detektoren. Abschließend zeigen wir, wie LLMs die Generierung korrekter MLOps‑ und RLOps‑Pipelinekonfigurationen mit Low‑Code‑, templatebasierten, modularen Ansätzen verlässlich automatisieren können, und evaluieren mehrere LLMs empirisch in allgemeinen RL‑Kontexten sowie in spezialisierten Industrie‑4.0‑Umgebungen. Unsere Ergebnisse zeigen, dass: (1) ML‑Workflows und Deployment 16 zentrale ADDs mit miteinander verknüpften Beziehungen und domänenspezifischen Entscheidungsfaktoren umfassen; (2) RL-Architekturen führen sechs zentrale ADDs ein, mit speziellen Mustern in Bezug auf Trainingsstrategien, Agentenkonfiguration und -einsatz. Eine Fallstudie aus der Industrie bestätigt, welche Teile des ML/RL-ADD-Katalogs unverändert übernommen wurden, welche RL-spezifische Anpassungen erforderten, welche nicht angewendet wurden und welche nicht anwendbar waren; (3) semi‑formale Architekturmodelle das MLOps-Systemverständnis und die Aufgabenerfüllung von Praktikerinnen und Praktikern signifikant verbessern, wobei sich das Verständnis des RL-Quellcodes in bestimmten Kontexten verbessert; (4) systematische Qualitätsbewertungsrahmen, die sowohl Metriken als auch architektonische Regeln einsetzen, Best‑Practice‑Konformität in MLOps‑ und RLOps‑Systemen wirksam identifizieren; (5) LLMs korrekte MLOps‑Pipelinekonfigurationen für RL mit anfänglichen Fehlerraten von nur 0,09 (GPT‑4o) erzeugen können und nach gezielten Verbesserungen eine fehlerfreie Generierung erreichbar ist, und LLM‑basierte Pipelinegenerierungsansätze sich mit perfekten Ergebnissen zuverlässig auf spezialisierte Industrie‑4.0‑RLOps‑Kontexte übertragen lassen, Entwicklungszeit reduzieren und die Notwendigkeit spezialisierter DevOps‑Kenntnisse eliminieren. Unsere Arbeit macht MLOps und RLOps in verschiedenen organisatorischen Kontexten zugänglicher, verständlicher und praktikabler. Sie bietet ein umfassendes formales ADD-Modell für ML- und RL-Systeme, liefert empirische Belege für die Vorteile einer semi-formalen Architekturdokumentation, entwickelt ein modellgetriebenes Framework für die Qualitätsbewertung in MLOps, nutzt LLMs zur regelkonformen Architekturbewertung in RL-Systemen und bietet LLM-basierte Lösungen für die automatisierte, zuverlässige Pipeline-Generierung. Zusammengenommen erhöhen diese Beiträge die Reife des ML/RL-System-Engineerings und zeigen, wie Pipelines mithilfe neuer Technologien der künstlichen Intelligenz automatisiert generiert werden können.
Abstract
(Englisch)
Machine learning operations (MLOps) and reinforcement learning operations (RLOps) have established themselves as central disciplines for the operation and maintenance of machine learning (ML) and reinforcement learning (RL) models in production systems. However, the field faces several interrelated challenges that affect the maturity and accessibility of MLOps and RLOps practices. Firstly, practitioners lack systematic guidance on the necessary architectural design decisions (ADDs) for designing effective MLOps and RLOps systems, with existing knowledge remaining largely implicit and undocumented. Secondly, this lack of architectural knowledge applies in particular to RL in specialised contexts such as Industry 4.0 cyber‑physical production systems (CPPSs) and to the emerging practice of RLOps. Thirdly, the complexity of MLOps and RL system architectures creates barriers to understanding, particularly for developers with limited ML and RL experience, which hinders knowledge transfer and collaborative design. Fourthly, ensuring compliance with ADDs, patterns, practices and decision options in MLOps and RLOps systems is a time‑consuming and error‑prone manual task. Objective measures -- such as metrics -- for evaluating architectural decision options are also lacking, and there is a need for standardised, automated procedures to detect compliance with best practices, particularly regarding training methods for RL. Fifthly, the manual effort involved in designing, configuring and validating MLOps and RLOps pipelines is labour‑intensive and error‑prone, creating barriers for practitioners without specialist DevOps expertise and limiting the democratisation of ML and RL adoption. This doctoral thesis addresses these challenges through comprehensive studies ranging from the extraction of architectural knowledge to quality assessment and automation. We systematically identify and formalise the most important ADDs, their decision options, relationships and decision drivers for ML and RL systems, using qualitative Straussian Grounded Theory that builds on the knowledge of practitioners. In doing so, we document how MLOps and RLOps exhibit distinct architectural patterns and how RL‑specific requirements necessitate adaptations to general MLOps decisions when applied to CPPSs. Through empirical studies, we investigate how architectural models and documentation influence developers’ understanding of MLOps and RL systems, and we develop a model‑driven, metrics‑based framework for systematically assessing whether MLOps systems adequately support critical quality aspects such as automation. Furthermore, we explore the use of large language models (LLMs) as an evaluation approach to identify compliance with best practices for RL training pipelines and compare their effectiveness with traditional heuristic‑based code detectors. Finally, we demonstrate how LLMs can reliably automate the generation of correct MLOps and RLOps pipeline configurations using low‑code, template‑based, modular approaches, and empirically evaluate several LLMs in general RL contexts as well as in specialised Industry 4.0 environments. Our results show that: (1) ML workflows and deployment comprise 16 key ADDs with interlinked relationships and domain‑specific decision drivers; (2) RL architectures introduce six key ADDs, with specific patterns relating to training strategies, agent configuration and deployment. An industry case study confirms which parts of the ML/RL ADD catalogue were adopted unchanged, which required RL‑specific adaptations, which were not applied and which were not applicable; (3) semi‑formal architectural models significantly improve practitioners’ understanding of MLOps systems and their task performance, with understanding of the RL source code improving in specific contexts; (4) systematic quality assessment frameworks that employ both metrics and architectural rules effectively identify best practice compliance in MLOps and RLOps systems; (5) LLMs can generate correct MLOps pipeline configurations for RL with initial error rates as low as 0.09 (GPT‑4o), and error-free generation is achievable following targeted improvements; and LLM‑based pipeline generation approaches can be reliably transferred to specialised Industry 4.0 RLOps contexts with perfect results, reducing development time and eliminating the need for specialised DevOps expertise. Our work makes MLOps and RLOps more accessible, understandable and practical across various organisational contexts. It provides a comprehensive formal ADD model for ML and RL systems, delivers empirical evidence for the benefits of semi‑formal architectural documentation, develops a model‑driven framework for quality assessment in MLOps, employs LLMs for compliance-based architectural evaluation in RL systems, and offers LLM‑based solutions for automated, reliable pipeline generation. Taken together, these contributions advance the maturity of ML/RL system engineering and demonstrate how emerging artificial intelligence technologies can automate pipeline generation.
Schlagwörter
Schlagwörter
(Deutsch)
Softwarearchitektur Software-Engineering Künstliche Intelligenz Maschinelles Lernen MLOps RLOps
Schlagwörter
(Englisch)
Software Architecture Software Engineering Artificial Intelligence Machine Learning MLOps RLOps
Autor*innen
Stephen John Warnett 
Haupttitel (Englisch)
Systematic MLOps and RLOps engineering
Hauptuntertitel (Englisch)
architectural knowledge, comprehension models, conformance assessment and pipeline generation
Publikationsjahr
2026
Umfangsangabe
xxi, 366 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*innen
Philipp Leitner ,
Cesare Pautasso
AC Nummer
AC17923069
Utheses ID
80686
Studienkennzahl
UA | 786 | 880 | |