Detailansicht
Unveiling knowledge graphs in neural language models through vector space transformations
Giacomo Munda
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Zentrum für Translationswissenschaft
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Joint-Masterstudium Multilingual Technologies
Betreuer*in
Dagmar Gromann
DOI
10.25365/thesis.76460
URN
urn:nbn:at:at-ubw:1-15692.26001.468115-3
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Der Bereich des Machinellen Lernens wurde durch die Einführung vom Deep Learning und vortrainierten Sprachmodellen (engl. Pre-trained Language Models, PLMs) revolutioniert, die bei vielen Aufgaben hervorragende Ergebnisse liefern. Ihr Erfolg hat zur Entwicklung verschiedener Methoden geführt, die darauf abzielen, die von solchen Modellen gelernten Informationen zu verstehen und zu interpretieren, einschließlich linguistischem und faktischem Wissen. Ansätze zur Aufdeckung kodierter faktischer Assoziationen beziehen sich auf Prompt-basierte Methoden, Techniken zur Lokalisierung oder Bearbeitung spezifischer Modellgewichte und zur Verfolgung des Informationsflusses während der Inferenz. In dieser Masterarbeit wird eine Methode implementiert, die faktisches Wissen direkt aus Vektorräumen von PLMs extrahiert. Dazu wird eine lineare Transformation mit annotierten Daten trainiert, um geometrische Eigenschaften von Knowledge Graphs numerisch zu approximieren. Konkret wird ein annotierter Datensatz mit Entitäten von Wikidata, sowohl Subjekten als auch Objekten, konstruiert. Diese Entitäten sind jeweils mit einem Ähnlichkeitswert gepaart, der ihre relationale Nähe darstellt. Der orginale Vektorraum wird dann so transformiert, dass Kosinus-Ähnlichkeiten zwischen Vektoren im Knowledge Graph nur durch Embeddings von PLMs effektiv approximiert werden können. Das weist auf einen latenten Raum, in dem Eigenschaften von Knowledge Graphs implizit aus umfangreichen Trainingsdaten erworben werden. Die Ergebnisse zeigen die überraschende Fähigkeit von BERT, GPT-2 und BART-Vektorräume, die Ähnlichkeitswerte angesichts der Bewertungsmetriken zu approximieren, wobei BERT die vielversprechendsten Ergebnisse erzielt.
Abstract
(Englisch)
Machine learning has been revolutionized by the introduction of deep learning and Pre-trained Language Models (PLMs), which exhibit state-of-the-art results for a variety of downstream tasks. Their success has led to the development of different methods that aim at understanding and interpreting the information learned by such models, including linguistic and factual knowledge. Approaches to unveil encoded factual associations relate to prompt-based methods, techniques to localize or edit specific model weights, and to trace the information flow during inference. Addressing a gap in existing research, this thesis proposes a methodology to directly extract factual knowledge from vector spaces of PLMs. This involves training a linear transformation with supervised data to numerically approximate geometric properties of knowledge graphs. Specifically, a labeled dataset is constructed featuring knowledge graph entities of Wikidata, both subjects and objects, each paired with a similarity score, indicating their relational proximity. The vector space is then transformed in a way that cosine similarities of knowledge graph embeddings can be effectively approximated using only contextual embeddings of PLMs, indicating a latent space in which knowledge graph properties are implicitly acquired from training data. Results show the surprising ability of BERT, GPT-2 and BART embeddings to approximate the similarity scores given the evaluation metrics, i.e., the Pearson correlation coefficient, the Spearman’s Rank correlation coefficient, the mean-squared error and the root mean-squared error, with BERT achieving the most promising results in terms of correlation between predicted and actual scores as well as low error rates.
Schlagwörter
Schlagwörter
(Deutsch)
Sprachmodelle Vektorraum Wissensgraphen Lineare Transformation Embeddings Deep Learning
Schlagwörter
(Englisch)
Language Models Vector Space Knowledge Graph Linear Transformation Embeddings Deep Learning
Autor*innen
Giacomo Munda
Haupttitel (Englisch)
Unveiling knowledge graphs in neural language models through vector space transformations
Publikationsjahr
2024
Umfangsangabe
xii, 110 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Dagmar Gromann
Klassifikationen
54 Informatik > 54.72 Künstliche Intelligenz ,
54 Informatik > 54.82 Textverarbeitung
AC Nummer
AC17267434
Utheses ID
72334
Studienkennzahl
UA | 066 | 587 | |