Detailansicht
Primitive rule learning in deep neural language models
Lukas Manfred Thoma
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Philologisch-Kulturwissenschaftliche Fakultät
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Allgemeine Linguistik: Grammatiktheorie und kognitive Sprachwissenschaft
Betreuer*in
Benjamin Roth
DOI
10.25365/thesis.71062
URN
urn:nbn:at:at-ubw:1-17437.04821.240379-9
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Im Bereich Deep Learning Sprachmodelle ließen sich in den vergangenen Jahren beachtliche Leistungsverbesserungen bei vielen Natural Language Processing (NLP) Aufgaben beobachten. Zum Teil sind diese auf einen Pre-Training-Fine-Tuning Ansatz zurückzuführen, in welchem die neuronalen Modelle zuerst generelles linguistisches Wissen erwerben müssen, bevor sie auf spezifische Aufgaben optimiert werden. Die Sprachmodellierung wird dadurch in gewissen Aspekten ähnlicher dem menschlichen Lern- und Verarbeitungsprozessen, was beispielsweise im Bereich Syntax bereits gezeigt werden konnte.
In der entsprechenden computerlinguistischen Forschung steht man somit heute vor Herausforderungen, die in der Grammatiktheorie bzw. der Psycholinguistik schon länger bekannt sind.
In dieser Masterarbeit werden Methoden aus der psycholinguistischen Forschung in die Deep Learning NLP Domäne transferiert, um zu untersuchen, inwieweit die Leistungsverbesserungen darauf zurückzuführen sind, dass neuronale Modelle hinsichtlich der Sprachverarbeitung menschenähnlicher geworden sind. Der Fokus fällt dabei auf einen elementaren kognitiven Mechanismus, der in der Psycholinguistik als zentral für regelbasiertes Lernen von Grammatiken angesehen wird: Der Verarbeitung von abstrakten Äquivalenzrelationen.
Die Ergebnisse der hierzu durchgeführten Experimente lassen den Schluss zu, dass dieser Mechanismus in modernen Deep Learning Sprachmodellen - im besten Falle - eine sehr untergeordnete Rolle spielt. Demnach liefern die Resultate einen unerwarteten, aber dennoch interessanten Einblick in das Verhalten der untersuchten neuronalen NLP Modelle.
Abstract
(Englisch)
In recent years, deep learning language models have made remarkable progress in many natural language processing (NLP) tasks. Among other things, this is due to a pre-training-fine-tuning approach, in which the neural models first have to acquire general linguistic knowledge before they are optimized for a specific task. Accordingly, the language modeling approximates in certain aspects human language learning and processing, as has, for example, already been demonstrated in the field of syntax. As a result, the corresponding computational linguistic research now encounters challenges already known from grammar theory or psycholinguistics.
In this master's thesis, methods from psycholinguistic research are transferred to the domain of deep learning NLP to investigate to what extent the performance improvements can be explained by a more human-like language processing in neural models. It is focused on an elementary cognitive mechanism that is considered central to rule-based grammar learning in psycholinguistics: The computation of abstract sameness relations.
The results of the conducted experiments suggest that this mechanism plays - in the best case - a very minor role in state-of-the-art deep learning language models. Accordingly, these results provide unexpected but nevertheless interesting insights into the behavior of the investigated neural NLP models.
Schlagwörter
Schlagwörter
(Deutsch)
Deep Learning NLP Neuronale Sprachmodelle Spracherwerb Kognitive Linguistik Computerlinguistik Regellernen Äquivalenzrelationen Artificial Grammar Learning Paradigm BERT XLNet OpenAI GPT-2
Schlagwörter
(Englisch)
Deep Learning NLP Neural Language Models Language Acquisition Cognitive Linguistics Computational Linguistics Rule Learning Sameness Relations Artificial Grammar Learning Paradigm BERT XLNet OpenAI GPT-2
Autor*innen
Lukas Manfred Thoma
Haupttitel (Englisch)
Primitive rule learning in deep neural language models
Paralleltitel (Deutsch)
Primitives Regellernen in Deep Learning Sprachmodellen
Publikationsjahr
2022
Umfangsangabe
95 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Benjamin Roth
AC Nummer
AC16535489
Utheses ID
61999
Studienkennzahl
UA | 066 | 867 | |