Detailansicht
Pairwise evaluation of explanation methods for black-box models on tabular data
Tobias Manuel Wetzel
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Wirtschaftsinformatik
Betreuer*in
Sebastian Tschiatschek
DOI
10.25365/thesis.78679
URN
urn:nbn:at:at-ubw:1-28086.74664.281833-1
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Fortschritte in der Leistung von Black-Box-Modellen haben das Interesse an einem tieferen Verständnis ihrer internen Mechanismen gesteigert, insbesondere da diese Modelle in kritischen Bereichen außergewöhnliche Vorhersagefähigkeiten demonstrieren. Obwohl zahlreiche Erklärungsverfahren existieren, wurde deren kombinierte Wirkung bisher nicht systematisch untersucht, was eine Wissenslücke hinsichtlich der potenziellen Vorteile der Integration mehrerer Techniken schafft. Diese Arbeit schließt diese Lücke durch eine systematische Evaluierung etablierter Erklärungsverfahren – darunter SHAP, LIME und Partial Dependence Plots – sowie drei neuartige Ansätze, wobei ein besonderer Schwerpunkt auf Modellen liegt, die tabellarische Daten verarbeiten. Die Arbeit kombiniert eine Analyse anhand synthetischer Daten mit einer realen Nutzerstudie, um zu untersuchen, ob verschiedene Erklärmethoden in Bezug auf das subjektive und objektive Verständnis variieren und ob ihre Kombination das Gesamtverständnis des Modells verbessert. Die Nutzerstudie mit 129 Teilnehmern wurde so konzipiert, dass sie das Verständnis der Erklärmethode sowie des zugrunde liegenden Modells sowohl quantitativ als auch qualitativ bewertet. Die Annahmen für die Evaluierung synthetischer Daten wurden speziell entwickelt, um die Eigenschaften der zugrunde liegenden Daten zu testen, die jedes Erklärungsverfahren aufdecken soll. Die Evaluierung mit synthetischen Daten bestätigte zentrale Annahmen der neuartigen Ansätze. An verschiedenen Breakpoints im Trainingsprozess wurden die SHAP-Werte in einen Embedding-Raum mittels UMAP (Uniform Manifold Approximation and Projection) projiziert – einer nichtlinearen Dimensionsreduktionsmethode zur Visualisierung hochdimensionaler Daten. Eine zunehmende Modellkomplexität korrelierte mit stärkeren Verschiebungen in den Embedding-Positionen an diesen Breakpoints, und es bildeten sich Cluster, die Unterschiede zwischen den Subgruppen hervorhoben. Frequent Pattern Mining ergab, dass Merkmale mit starken Interaktionseffekten tendenziell hohe Lift-Werte aufweisen – ein Maß dafür, wie viel häufiger zwei Merkmale gemeinsam auftreten als zufällig erwartet – und dass Feature Context Embeddings, die Vektorrepräsentationen der Merkmale basierend auf dem Kontext ihrer Verwendung erzeugen, verwandte Merkmale effektiv gruppierten. Die Ergebnisse der Evaluierung mit synthetischen Daten zeigen, dass die neuartigen Erklärungsansätze in der Lage sind, Eigenschaften der zugrunde liegenden Daten zu erfassen und somit eine Grundlage für ihre Anwendbarkeit in realen Szenarien zu schaffen. Die Ergebnisse der Nutzerstudie zeigen, dass die Erweiterung bestehender Erklärungsverfahren – insbesondere durch den Einsatz von UMAP zur Verbesserung von SHAP, um die Lernmuster des Modells besser sichtbar zu machen – statistisch signifikante Verbesserungen im subjektiven Verständnis und in der Interpretation der Merkmalswichtigkeit bewirkt. Die Ergebnisse deuten darauf hin, dass die auf UMAP basierende SHAP-Erweiterung subjektiv gut verstanden wurde, wohingegen das objektive Verständnis niedriger ausfiel als bei PDP und SHAP, was vermutlich auf unterschiedliche Abstraktionstiefen zurückzuführen ist. Die Bildung hatte einen signifikanten Einfluss auf beide Verständnistypen, wobei ein höherer Bildungsgrad mit einem besseren subjektiven Verständnis korrelierte, jedoch nicht mit einer verbesserten objektiven Leistung. Das durch die Kombination zweier Erklärungen entstandene Modellverständnis konnte zuverlässig durch die Summe ihrer Einzelbeiträge vorhergesagt werden, und die Ergebnisse deuten auf einen möglichen abnehmenden Effekt bei der Integration unterschiedlicher Ansätze hin, obwohl dieser Effekt auf dem 5%-Niveau statistisch nicht signifikant war. Insgesamt zeigen die Ergebnisse der Nutzerstudie, dass die Kombination von zwei Erklärungsverfahren das Gesamtverständnis des Modells verbessert.
Abstract
(Englisch)
Advances in black-box model performance have increased interest in understanding their internal mechanisms, particularly as these models demonstrate exceptional predictive capabilities across critical domains. While numerous explanation methods exist, research has not systematically measured their combined effects, creating a knowledge gap regarding the potential benefits of integrating multiple techniques. This thesis addresses this gap through a systematic evaluation of established explanation methods—including SHAP, LIME, and Partial Dependence Plots—and three novel approaches, with a specific focus on models processing tabular data. The research methodology combines synthetic data experiments with a real-world user study to examine whether different explanation methods vary in subjective and objective understanding and if their combination enhances the overall understanding of the model. The user study, involving 129 participants, was designed to quantitatively and qualitatively assess the understanding of the explanation method and the underlying model. The assumptions of the synthetic data evaluation were specifically designed to test the characteristics of the underlying data that each explanation method was intended to uncover. The synthetic data evaluation validated key assumptions of the novel approaches. At various breakpoints in the training process, SHAP values are embedded into a lower-dimensional space using UMAP (Uniform Manifold Approximation and Projection), a non-linear dimensionality reduction technique for high-dimensional data visualization. Increased model complexity correlates with larger shifts in embedding positions across these breakpoints, and distinct clusters that highlight differences among subgroups are observed. Frequent Pattern Mining indicated that features with strong interactions tend to have high Lift values—a metric that quantifies how much more frequently two features occur together compared to what would be expected by chance—and that Feature Context Embeddings, which generate vector representations of features based on the contexts in which they are used, effectively group related features. The findings of the synthetic data evaluation demonstrate that the novel explanation approaches are capable of capturing properties of the underlying data, which establishes a practical basis for real-world applications. Results from the user study demonstrate that extending existing explanation techniques, most notably by using UMAP to enhance SHAP to better expose model learning patterns, produces statistically significant improvements in subjective understanding and feature importance interpretation. The findings indicate that the UMAP-based SHAP extension was well understood subjectively, although objective understanding scores were lower than for PDP and standard SHAP, likely due to varying abstraction depths. Education significantly impacted both types of understanding, with higher education correlating with better subjective understanding but not with improved objective performance. Notably, the enhanced understanding of the model, generated by combining two explanations, could be reliably predicted by summing their individual contributions, and the results suggest a potential diminishing effect when integrating different approaches, although this effect was not statistically significant at the 5% level. The results of the user study demonstrate that combining two explanation method does improve overall understanding of the model.
Schlagwörter
Schlagwörter
(Deutsch)
Maschinelles Lernen Erklärmethode Tabellarische Daten Evaluierung
Schlagwörter
(Englisch)
Machine Learning Black-Box XAI Explanation Method Evaluation
Autor*innen
Tobias Manuel Wetzel
Haupttitel (Englisch)
Pairwise evaluation of explanation methods for black-box models on tabular data
Paralleltitel (Deutsch)
Paarweise Bewertung von Erklärmethoden für Black-Box-Modelle anhand tabellarischer Daten
Publikationsjahr
2025
Umfangsangabe
vii, 91 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Sebastian Tschiatschek
Klassifikation
54 Informatik > 54.00 Informatik. Allgemeines
AC Nummer
AC17569110
Utheses ID
75444
Studienkennzahl
UA | 066 | 926 | |