Detailansicht
Enhancing process mining with LLMs by applying instruction tuning
Vira Pyrih
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Informatik
Betreuer*in
Han van der Aa
DOI
10.25365/thesis.78648
URN
urn:nbn:at:at-ubw:1-13027.24223.142158-2
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Das Interesse am Process Mining ist gewachsen, da Organisationen zunehmend Ereignisdaten nutzen, um Einblicke in ihre Prozesse zu gewinnen. Traditionell stützt sich Process Mining auf statistische Methoden zur Analyse von Ereignisprotokollen. Jüngste Fortschritte im Bereich der Large Language Models (LLMs) bieten jedoch eine neuartige Alternative, bei der das semantische Verständnis im Vordergrund steht, ohne stark auf historischen Kontext angewiesen zu sein. Instruction Tuning,das Trainieren von Modellen zur Befolgung natürlicher Sprachinstruktionen, zeigt großes Potenzial für das Process Mining. Es ermöglicht Modellen, innerhalb einer Domäne zu generalisieren, wodurch der Bedarf an wiederholtem Fine-Tuning für einzelne Aufgaben reduziert wird und gleichzeitig das Verständnis für nutzerseitige Anweisungen verbessert wird. Diese Arbeit untersucht das Potenzial von Instruction Tuning im Process Mining, gestützt durch die Erstellung eines domänenspezifischen Instruction-Datensatzes. Der Datensatz ist in drei Aufgabencluster gegliedert: Anomalieerkennung, Vorhersage und Discovery. Diese Cluster basieren auf fünf Process-Mining-Aufgaben, die in früheren Arbeiten identifiziert wurden. Wir trainieren quelloffene LLMs der Llama- und Mistral-Familien mithilfe einer Leave-One-Cluster-Out-Strategie, bei der jeweils ein Cluster ausgeschlossen wird, um die Generalisierungsfähigkeit zu evaluieren. Die Modellleistung wird anhand des Macro-F1-Scores für Klassifikationsaufgaben und der footprint-basierten Fitness für Generierungsaufgaben bewertet. Die Ergebnisse zeigen, dass Instruction Tuning insbesondere in den Clustern Vorhersage und Discovery die Generalisierung konsistent verbessert, insbesondere bei Modellen mit mehr als 60 Milliarden Parametern, während die Effekte bei der Anomalieerkennung weniger eindeutig ausfallen. Zusätzlich zu den quantitativen Metriken zeigt unsere qualitative Analyse, dass instruction-getunte Modelle Formatvorgaben zuverlässiger einhalten und interpretierbarere Antworten liefern als Basismodelle. Unsere Ergebnisse belegen, dass Instruction Tuning ein vielversprechender Ansatz zur Entwicklung flexibler, semantikbewusster Modelle im Bereich Process Mining ist.
Abstract
(Englisch)
The interest in process mining has grown as organizations increasingly take advantage of event data to gain insight into their processes. Traditionally, process mining relies on statistical methods to analyze event logs. However, recent advancements in Large Language Models (LLMs) offer a novel alternative, emphasizing semantic understanding without depending heavily on historical context. Instruction tuning, the practice of training models to follow natural language instructions, shows significant potential for process mining. It enables models to generalize within a domain, reducing the need for repeated fine-tuning across tasks while improving their ability to comprehend user prompts. This thesis explores the potential of instruction tuning in process mining supported by the construction of a domain-specific instruction dataset. The dataset is organized into three task clusters: anomaly detection, prediction, and discovery. These clusters are built from five process mining tasks identified in prior research. We train open-source LLMs from the Llama and Mistral families using a leave-one-cluster-out strategy, where each cluster is excluded in turn to evaluate generalization. We evaluate model performance using macro F1 scores for classification tasks and footprint-based fitness for generation tasks. Results show that instruction tuning consistently improves generalization in the prediction and discovery clusters, particularly with models exceeding 60B parameters, while effects on anomaly detection remain less conclusive. In addition to quantitative metrics, our qualitative analysis shows that instruction-tuned models follow formatting constraints more reliably and produce more interpretable responses compared to base models. Our findings demonstrate that instruction tuning is a promising approach for developing flexible, semantics-aware models in the process mining domain.
Schlagwörter
Schlagwörter
(Deutsch)
Process Mining Large Language Models LLMs Instruction Tuning Semantische Prozessanalyse Prompt Engineering Prozessmodell-Entdeckung Anomalieerkennung Vorhersage der nächsten Aktivität Transformator-Modelle
Schlagwörter
(Englisch)
Process Mining Large Language Models LLMs Instruction Tuning Semantic Process Analysis Prompt Engineering Process Model Discovery Anomaly Detection Next Activity Prediction Transformer Models
Autor*innen
Vira Pyrih 
Haupttitel (Englisch)
Enhancing process mining with LLMs by applying instruction tuning
Publikationsjahr
2025
Umfangsangabe
xii, 67 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Han van der Aa
Klassifikationen
54 Informatik > 54.72 Künstliche Intelligenz ,
54 Informatik > 54.99 Informatik. Sonstiges
AC Nummer
AC17565242
Utheses ID
76184
Studienkennzahl
UA | 066 | 921 | |