Detailansicht
Illuminating what multilingual PLMs know
a probe via linear transformation
Nastasia Mazur
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Zentrum für Translationswissenschaft
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Joint-Masterstudium Multilingual Technologies
Betreuer*in
Dagmar Gromann
DOI
10.25365/thesis.79102
URN
urn:nbn:at:at-ubw:1-21034.64188.111151-4
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Die meisten Forschungsarbeiten zum Abruf faktischen Wissens konzentrieren sich auf Modelle, die überwiegend auf Englisch trainiert wurden, während Untersuchungen in mehrsprachigen Kontexten vergleichsweise selten sind. Diese Masterarbeit zielt darauf ab, diese Lücke zu schließen, indem sie die Repräsentation faktischen Wissens in mehrsprachigen vortrainierten Sprachmodellen (engl. Pre-trained Language Models, PLMs) untersucht und bestehende Probing-Methoden auf einen mehrsprachigen Kontext ausweitet. Der Fokus liegt darauf, wie solche Modelle faktische Informationen in ihren Vektorräumen kodieren, wobei Kosinus-Ähnlichkeiten zwischen Entitätspaaren aus mehrsprachigen Knowledge Graph Embeddings als Referenz herangezogen werden. Zur Analyse werden lineare Transformationen eingesetzt, um die Erhaltung und das Alignment faktischer Relationen über mehrere Sprachen hinweg zu bewerten. Die Beiträge dieser Arbeit umfassen die Erweiterung von Probing-basierten Ansätzen zur Analyse mehrsprachigen faktischen Wissens, die Evaluation der Wissenskodierung in drei Sprachen sowie die Darstellung von Herausforderungen und Potenzialen zur Weiterentwicklung der mehrsprachigen Wissensrepräsentation. Darüber hinaus geben die Ergebnisse einen tieferen Einblick in die interne Repräsentation faktischen Wissens in mehrsprachigen PLMs und bilden eine Grundlage für weiterführende Forschung im Bereich der mehrsprachigen natürlichen Sprachverarbeitung.
Abstract
(Englisch)
Most research on factual knowledge retrieval has concentrated on models trained predominantly in English; however, investigations into multilingual settings remain comparatively limited. This study addresses this gap by investigating the representation of factual knowledge in multilingual Pre-trained Language Models (PLMs) through the extension of probing methodologies to a multilingual context. The exploration focuses on how such models encode factual information within their vector spaces, using cosine similarities computed between entity pairs from multilingual knowledge-graph embeddings as the reference, and applying linear transformation techniques to assess the preservation and alignment of factual associations across multiple languages. The contributions comprise an extension of probing-based methodologies to multilingual factual knowledge analysis, an evaluation of knowledge encoding in three languages, and a delineation of challenges and opportunities for improving multilingual knowledge representation. Moreover, the findings provide a deeper understanding of the multilingual PLMs' internal representation of factual knowledge, providing a foundation for research in multilingual Natural Language Processing (NLP).
Schlagwörter
Schlagwörter
(Deutsch)
Sprachmodelle Vektorraum Wissensgraphen Lineare Transformation Multilingual Embeddings Deep Learning
Schlagwörter
(Englisch)
Language Models Vector Space Knowledge Graph Linear Transformation Multilingual Embeddings Deep Learning
Autor*innen
Nastasia Mazur
Haupttitel (Englisch)
Illuminating what multilingual PLMs know
Hauptuntertitel (Englisch)
a probe via linear transformation
Publikationsjahr
2025
Umfangsangabe
11, 115 Seiten
Sprache
Englisch
Beurteiler*in
Dagmar Gromann
Klassifikationen
54 Informatik > 54.72 Künstliche Intelligenz ,
54 Informatik > 54.82 Textverarbeitung
AC Nummer
AC17624601
Utheses ID
77321
Studienkennzahl
UA | 066 | 587 | |