Detailansicht
Select or project?
evaluating lower-dimensional vectors for LLM training data explanations
Lukas Hinterleitner
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Data Science
Betreuer*in
Benjamin Roth
DOI
10.25365/thesis.80348
URN
urn:nbn:at:at-ubw:1-29267.88201.259270-5
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Große Sprachmodelle (LLMs) sind weitgehend intransparent, was die Identifizierung jener Trainingsbeispiele erschwert, die eine bestimmte Vorhersage beeinflussen. Instanzbasierte Erklärungsmethoden, die auf Modellgradienten basieren, stellen aufgrund der hohen Dimensionalität moderner LLMs eine große rechnerische Herausforderung dar. Diese Arbeit untersucht, ob niedrigdimensionale Gradienten-Surrogate, die entweder durch die Auswahl (Selektion) einer Teilmenge von Schichtkomponenten oder durch die Projektion des gesamten Gradienten erstellt werden, instanzbasierte Erklärungen effektiv reproduzieren können. Die zentrale Fragestellung lautet: Ist es effektiver, auszuwählen oder zu projizieren? Zur Evaluierung instanzbasierter Erklärungen wird ein neuartiges, effizientes retrievalbasiertes Benchmark vorgestellt. Die Aufgabe besteht darin, ein originales Trainingsbeispiel anhand seiner paraphrasierten Version zu identifizieren, indem die Kosinus-Ähnlichkeit der jeweiligen Kostengradienten gemessen wird. Dieses Benchmark wird verwendet, um zwei Strategien zur Erstellung niedrigdimensionaler Gradientenrepräsentationen auf einem 1,2B-Parameter-LLM zu vergleichen: (1) ein gieriger Vorwärtsauswahl-Algorithmus, der eine kleine, architekturbasiert informierte Teilmenge einflussreicher Layerkomponenten identifiziert, und (2) die zufällige Projektion, die den vollständigen Gradienten auf einen dichten, niedrigdimensionalen Raum abbildet. Die Ergebnisse zeigen, dass für die Retrieval-Aufgabe eine gezielte Auswahl einer kleinen Teilmenge von Gradientenkomponenten überlegen ist. Eine gierig ausgewählte Teilmenge, die oft weniger als 5 % der Modellparameter umfasst und hauptsächlich aus MLP- und Attention-Query/Output-Blöcken besteht, übertrifft nicht nur zufällige Projektionen, sondern erzielt auch eine höhere Abrufgenauigkeit als der vollständige Modellgradient selbst. Dies deutet darauf hin, dass der vollständige Gradient für diese Aufgabe ein verrauschtes und suboptimales Signal sein kann. Während die zufällige Projektion die globale Geometrie des Gradientenraums effektiv bewahrt, ist sie für das spezifische Abrufziel rechenintensiver und ungenauer. Die Resultate liefern eine klare Antwort: Für die Entwicklung effizienter und effektiver instanzbasierter Erklärungswerkzeuge, die als Retrieval-Aufgabe konzipiert sind, ist die Auswahl einer kleinen, architekturbewussten Repräsentation des Gradienten genauer und recheneffizienter als die Projektion des gesamten Gradienten. Diese Arbeit leistet einen Beitrag durch ein effizientes Benchmark für instanzbasierte Erklärungen, einen prinzipiengeleiteten Vergleich von Dimensionsreduktionsstrategien und empirische Belege, die eine gezielte Auswahl gegenüber einer holistischen Projektion befürworten.
Abstract
(Englisch)
Large Language Models (LLMs) are largely opaque, making it difficult to identify which training examples influence a given prediction. Instance-based explanation methods that rely on model gradients are computationally challenging due to the high dimensionality of modern LLMs. This thesis investigates whether lower-dimensional gradient surrogates, constructed either by selecting a subset of layer components or by projecting the full gradient, can effectively reproduce instance-level explanations. The central question is: Is it more effective to select or to project? A novel and efficient retrieval-based benchmark is proposed to evaluate instance-based explanations. The task is to identify an original training sample from its paraphrased version by measuring the cosine similarity of their respective loss gradients. This benchmark is used to compare two strategies for creating low-dimensional gradient representations on a 1.2B parameter LLM: (1) a greedy forward selection algorithm that identifies a small, architecturally-informed subset of influential layer components, and (2) random projection, which maps the full gradient to a dense, lower-dimensional space. The results demonstrate that, for the retrieval task, a targeted selection of a small subset of gradient components is superior. A greedily selected subset, often comprising less than 5% of the model’s parameters and drawing heavily from MLP and attention query/output blocks, not only outperforms random projections, but also achieves higher retrieval accuracy than the full model gradient itself. This suggests that the full gradient can be a noisy and suboptimal signal for this task. Although random projection effectively preserves the global geometry of the full-gradient space, it is computationally more expensive and less accurate for the specific retrieval objective. The findings provide a clear answer: for building efficient and effective instance-based explanation tools framed as a retrieval task, selecting a small, architecturally-aware representation of the gradient is more accurate and computationally efficient than projecting the entire gradient. This work contributes an efficient benchmark for instance-based explanations, a principled comparison of dimensionality reduction strategies, and empirical evidence advocating for targeted selection over holistic projection.
Schlagwörter
Schlagwörter
(Deutsch)
Dateneinfluss Erklärbarbeit von großen Sprachmodellen Machinelles Lernen Erklärbare künstliche Intelligenz
Schlagwörter
(Englisch)
data influence explainability of large language models machine learning explainable artificial intelligence
Autor*innen
Lukas Hinterleitner
Haupttitel (Englisch)
Select or project?
Hauptuntertitel (Englisch)
evaluating lower-dimensional vectors for LLM training data explanations
Publikationsjahr
2025
Umfangsangabe
xvii, 78 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Benjamin Roth
AC Nummer
AC17781284
Utheses ID
78706
Studienkennzahl
UA | 066 | 645 | |