Detailansicht
Prompting skills and German-Italian legal translation with LLMs
Martina Carmotti
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Zentrum für Translationswissenschaft
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Translation Italienisch Deutsch
Betreuer*in
Dagmar Gromann
DOI
10.25365/thesis.81899
URN
urn:nbn:at:at-ubw:1-13094.80471.860295-9
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Aufgrund der rasanten Entwicklung und der Verbreitung von Large Language Modellen (LLMs) in den traditionellen Einsatzbereichen der Fachübersetzung, wie z.B. im Rechtswesen, könnten Translationskompetenzen neu definiert werden müssen. Dabei wäre die Inklusion der notwendigen Fertigkeiten für den Umgang mit LLMs besonders wichtig. Qualitätssicherungsprozesse, wie das Post-Editing von maschinell übersetzten Texten, könnten ebenfalls neu konzipiert werden müssen, denn LLMs führen zu nachweislich besseren Translaten als herkömmliche, neuronale maschinelle Übersetzungssysteme (NMT-Systeme). In diesem Zusammenhang könnte Prompt Engineering – die Fähigkeit, zielgerichtete Prompts zu schreiben – eine wichtige, zusätzliche Kompetenz für Übersetzer*Innen darstellen, die in der nun von LLMs geprägten Sprachindustrie tätig werden möchten. Im Rahmen dieser Masterarbeit konnten erste Erkenntnisse über den Einfluss von Prompting-Erfahrung und -Kenntnisse auf die Qualität der von LLMs wie ChatGPT generierten Übersetzungen gewonnen werden, indem die Teilnehmer*Innen mit unterschiedlichen Kompetenzprofilen mit dem Prompting für drei unterschiedlich herausfordernde Aufgaben der Rechtsübersetzung beauftragt wurden. Dabei wurde die Qualität der einzelnen LLM-Outputs sowohl anhand automatischer Metriken als auch mittels menschlicher Evaluierung hinsichtlich der Qualitätsebenen der Adäquatheit, Relevanz und des fließenden Sprachgebrauchs bewertet. Diese Qualitätsebenen können zur Beurteilung der Wirksamkeit der einzelnen Prompts ebenso herangezogen werden und die Leistung der Prompter*Innen in Bezug auf ihre jeweilige Erfahrung und ihre Expertise konnte somit anhand der Ergebnisse dieser Bewertung überprüft werden. Darüber hinaus wurde eine Fehlerannotation durchgeführt, um Daten zur Verteilung von Fehlertypen unter die von den einzelnen Prompter*Innen eingereichten Outputs zu gewinnen. Somit wurde ermittelt, ob einige Qualitätsdimensionen stärker von bestimmten Kompetenzen und Vorgehensweisen beeinflusst wurden. Außerdem weisen die gewonnenen Daten daraufhin, dass bestimmte Prompting-Techniken und -Strategien für MT mit LLMs im Bereich der Rechtsübersetzung besonders relevant sein könnten. Die Ergebnisse suggerieren, dass reine Translationskompetenz möglicherweise nicht ausreicht, um wirkungsvolle Prompts zu verfassen, die zur Generierung adäquater und relevanter Rechtsübersetzungen führen können. Zusätzliche Erfahrung mit Prompt-Engineering scheint in den meisten Fällen notwendig zu sein, um qualitativ hochwertige Outputs für diesen Fachbereich zu erhalten. Die Ergebnisse zeigen ebenfalls, dass Prompting-Strategien, die Few-Shot-Prompting zusammen mit Role-Prompting und Context-Prompting einsetzen, wirksamer sind als Ansätze, die kein Few-Shot-Prompting einbeziehen.
Abstract
(Englisch)
In light of the quick rise of Large Language Models (LLMs) and their widespread use in traditional translation subdomains, like the legal field, the concept of translation competence may need to be expanded once again to integrate additional skills that could be relevant for working with LLMs. The fact that LLMs have been shown to outperform conventional Neural Machine Translation (NMT) systems, also seems to suggest that quality assurance tasks like post-editing need to be reconceptualised. In this regard, prompt engineering, the ability to write effective prompts that guide LLMs to generate relevant, human-quality outputs, could represent a useful asset for prospective translators who might seek employment in the now LLM-driven language industry. Thanks to the participation of prompters with diverse competence profiles, both with regards to translation competence and prompting expertise, the present Master’s thesis was able to gather some initial insights into the influence of varying prompting experience and knowledge on the quality of the outputs generated by LLMs like ChatGPT for three different legal translation tasks. The quality evaluation of the outputs submitted by each prompter was conducted both via automatic MTQA employing different metrics and via human MTQA on graded scales for the assessment of the quality dimensions of adequacy, relevance and fluency. Because these three parameters can also be used to assess prompt effectiveness, the MTQA results helped review the prompters’ performance in relation to their respective experience and educational background. Error annotation was also used to gather data on error type distribution across the tasks as submitted by each prompter, with the goal of determining which quality dimensions were more influenced by certain competences and approaches. The data thus collected also provided insight into which prompting techniques and strategies might be specifically relevant for MT with LLMs involving legal translation. The findings suggest that translation competence as conceived and acquired so far, may not suffice to craft effective prompts that ensure the generation of adequate and relevant legal translations; additional prompting experience on top of translation expertise is in most cases necessary to obtain higher quality outputs for this highly technical translation subdomain. The results also show that the use of a prompting strategy that employs few-shots-prompting, in conjunction with role-prompting and context-prompting that takes into account the relevant translation specifications, proves more effective than approaches that do not incorporate translation examples into the prompts.
Schlagwörter
Schlagwörter
(Deutsch)
Large-Language-Models Rechtsübersetzung Maschinelle Übersetzung Prompt-Engineering Rechtsübersetzung Deutsch-Italienisch Translationskompetenz
Schlagwörter
(Englisch)
Large Language Models Legal Translation Machine Translation Prompt Engineering German-Italian Legal Translation Translation Competence
Autor*innen
Martina Carmotti
Haupttitel (Englisch)
Prompting skills and German-Italian legal translation with LLMs
Paralleltitel (Deutsch)
Prompting-Erfahrung und deutsch-italienische Rechtsübersetzungen mit LLMs
Publikationsjahr
2026
Umfangsangabe
143 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Dagmar Gromann
Klassifikation
17 Sprach- und Literaturwissenschaft > 17.45 Übersetzungswissenschaft
AC Nummer
AC18018038
Utheses ID
81892
Studienkennzahl
UA | 070 | 348 | 331 |