Detailansicht
Syntactic parsing with generative language models
the impact of in-context learning on romance minority languages
Marlene Albrecht
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Philologisch-Kulturwissenschaftliche Fakultät
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Digital Humanities
Betreuer*in
Benjamin Roth
DOI
10.25365/thesis.79783
URN
urn:nbn:at:at-ubw:1-13428.00837.460386-1
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Für das Training generativer Sprachmodelle werden oft große Datenmengen benötigt, die allerdings nicht für alle Sprachen verfügbar sind. In-Context Learning bietet einen Ansatz, bei dem Modelle aus den im Prompt gezeigten Beispielen lernen. Das Ziel dieser Forschung war es, zu untersuchen, wie Faktoren wie Anzahl der Beispielannotationen, linguistische Diversität, Sprachähnlichkeit zwischen Quell- und Zielsprache und syntaktische Ähnlichkeit den Modelloutput beeinflussen. Hierfür wurden In-Context Learning Experimente zu POS-Tagging und Dependency Parsing mit romanischen Sprachen und Baskisch durchgeführt, wobei die romanischen Minderheitensprachen Galizisch, Katalanisch und Okzitanisch im Fokus standen. Die Ergebnisse zeigten, dass das Zeigen von Beispielen wenig Einfluss auf die Modellperformanz hat, wenn strukturelle und linguistische Constraints eingesetzt werden, da bereits 0-Shot Ergebnisse überzeugend sind. Darüber hinaus erzielen Constraints, die für eine Hochressourcensprache erstellt wurden, auch für Minderheitensprachen gute Ergebnisse. Zudem korrelieren Sprach- und syntaktische Ähnlichkeit der Beispielannotationen in manchen Fällen mit der Modellperformanz, wobei jedoch keine klaren Zusammenhänge ableitbar sind. Diese Forschung demonstriert das Potenzial computerlinguistischer Methoden in traditionellen philologischen Disziplinen, insbesondere der Romanistik, und deren Beitrag zur Optimierung von Verfahren für unterrepräsentierte Sprachen.
Abstract
(Englisch)
Training generative language models often requires large amounts of data, which are not available for all languages. In-context learning offers an approach in which models learn from examples shown in the prompt. The goal of this research was to investigate how factors such as the number of example annotations, linguistic diversity, language similarity between the source and target languages, and syntactic similarity influence model output. To this end, in-context learning experiments on POS tagging and dependency parsing were conducted with Romance languages and Basque, focusing on the Romance minority languages Galician, Catalan, and Occitan. The results indicated that showing examples hardly affects model performance when structural and linguistic constraints are applied, as even 0-shot results are promising. Additionally, constraints created for high-resource languages also yield satisfactory results for minority languages. Furthermore, in some cases, the linguistic and syntactic similarity of the example annotations correlates with model performance, although no clear relation can be deduced. This research demonstrates the potential of computational linguistic methods in traditional philological disciplines, especially Romance studies, and their contribution to optimizing procedures for underrepresented languages.
Schlagwörter
Schlagwörter
(Deutsch)
Digitale Geisteswissenschaften romanische Minderheitensprachen Syntaktisches Parsing Abhängigkeitsgrammatik Generative Sprachmodelle
Schlagwörter
(Englisch)
In-Context Learning Syntactic Parsing Dependency Parsing POS Tagging Constrained Decoding Romance Minority Languages Prompt Engineering Generative Language Models Digital Humanities
Autor*innen
Marlene Albrecht
Haupttitel (Englisch)
Syntactic parsing with generative language models
Hauptuntertitel (Englisch)
the impact of in-context learning on romance minority languages
Publikationsjahr
2025
Umfangsangabe
78 Seiten, 12 ungezählte Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Benjamin Roth
AC Nummer
AC17724333
Utheses ID
78056
Studienkennzahl
UA | 066 | 647 | |