Detailansicht
Quality and usability of free online machine translation tools in rendering legal content from English into Polish
Dominika Edyta Ziobro
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Zentrum für Translationswissenschaft
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Translation Polnisch Deutsch
Betreuer*in
Dragos Ioan Ciobanu
DOI
10.25365/thesis.81349
URN
urn:nbn:at:at-ubw:1-20558.32123.466125-0
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Diese Masterarbeit untersucht die Qualität und Benutzerfreundlichkeit von zwei der bekanntesten kostenlosen Online-Maschinenübersetzungstools, DeepL und ChatGPT, in einem juristischen Kontext. Der Text ist auf Englisch verfasst und wird ins Polnische übersetzt. Der Ausgangstext wurde in vier Teile geteilt, von denen zwei mit DeepL und zwei mit ChatGPT übersetzt wurden. Jede/r Übersetzer/in erhielt eine Hälfte des von DeepL und die andere von ChatGPT übersetzten Textes. Für diese Untersuchung wurden sechs professionelle Übersetzer/innen gebeten, Fehler zu markieren und den Text nachzubearbeiten. Die Übersetzer/innen arbeiteten im Programm Matecat, in dem alle Änderungen leicht zugänglich und sichtbar sind, und auch die Anzahl der von ihnen entdeckten Fehler, das Schweregrad, das Gewicht und die Art der Fehler in einer Tabelle dargestellt werden. Es gibt drei Schweregrade: schwerwiegend (Gewicht 2), geringfügig (Gewicht 0,5), neutral (Gewicht 0). Die Fehlertypologie basiert auf dem Goldstandard für menschliche Bewertung in der maschinellen Übersetzung, der MQM-Fehlertypologie. Die in der Forschung verwendeten Fehlerkategorien sind Stil (Lesbarkeit, einheitlicher Stil und Tonfall), Tag-Probleme (Inkongruenz, Leerzeichen), Übersetzungsfehler (Fehlübersetzungen, Hinzufügungen oder Auslassungen), Terminologie und Übersetzungskonsistenz sowie Sprachqualität (Grammatik, Zeichensetzung, Rechtschreibung). Anmerkungen und die PEMT-Zeit werden ebenfalls analysiert. In der Übersicht werden auch die Anzahl der überprüften Wörter sowie die Bearbeitungszeit und die Qualitätsbewertung angegeben. Anschließend wurden die Übersetzer/innen gebeten, einen Fragebogen auszufüllen, um ihre Eindrücke vom Post-Editing, ihre Bewertung des maschinell übersetzten Textes sowie ihre allgemeinen Erfahrungen mit maschinellen Übersetzungstools zu erfassen. Sowohl die quantitative als auch die qualitative Analyse deuten darauf hin, dass die Qualität der von DeepL und ChatGPT erstellten Übersetzungen für juristische Texte tendenziell nicht ausreichend ist. Die größten Schwierigkeiten bemerkten die Übersetzer/innen mit Terminologie, sprachlichen Entlehnungen und Stil. Beispielsweise mussten passive Konstruktionen oft in die aktive Form umgewandelt werden, da diese im Polnischen natürlicher klingt. Diese Arbeit könnte auch für zukünftige Studien, die sich zum Beispiel auf andere Sprachkombinationen oder die kostenpflichtigen Versionen der Tools fokussieren, interessant sein.
Abstract
(Englisch)
This master’s thesis examines the quality and usability of two of the best-known free online machine translation tools, DeepL and ChatGPT, in the context of a legal text. The text is written in English and translated into Polish. The source text was split into four parts, two of which were translated by DeepL and two by ChatGPT. Each translator was given half of the text translated by DeepL and the other half by ChatGPT. For this research, six professional translators were asked to flag errors and post-edit the text. The translators were using Matecat, where all the changes are easily accessible and visible, together with a table with the number of mistakes spotted by them, the mistakes’ gravity, weight and type. There are three levels of gravity: major (weight 2), minor (weight 0,5), neutral (weight 0). The error’s typology is based on the gold standard for human evalua-tion in MT, the MQM error typology. The types of errors analysed in this research are Style (readability, consistent style and tone), Tag issues (mismatches, whitespaces), Translation errors (mistranslation, additions or omissions), Terminology and translation consistency, and Language quality (grammar, punctuation, spelling). The annotation and PEMT time are also taken into consideration. In the QR job summary the number of reviewed words is also given, along with edi-tion’s time and quality score. Afterwards, the translators were asked to complete a question-naire designed to gather their reflections on the post-editing process, their assessment of the MT output, as well as their broader experiences with machine translation tools. Both the quantitative and qualitative analyses indicate that the quality of the transla-tions produced by DeepL and ChatGPT tends to be insufficient for legal texts. The greatest difficulties encountered by the translators were related to terminology, linguistics calques, and style. For example, passive constructions often needed to be changed into the active voice, which sounds more natural in Polish. This study could be of interest for further studies focusing on other language combi-nations or on the paid versions of the tools.
Schlagwörter
Schlagwörter
(Deutsch)
maschinelle Übersetzung DeepL ChatGPT juristischer Text Qualitätsbewertung Post-Editing
Schlagwörter
(Englisch)
machine translation DeepL ChatGPT legal text quality evaluation post-edition
Autor*innen
Dominika Edyta Ziobro
Haupttitel (Englisch)
Quality and usability of free online machine translation tools in rendering legal content from English into Polish
Publikationsjahr
2026
Umfangsangabe
125 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Dragos Ioan Ciobanu
Klassifikation
17 Sprach- und Literaturwissenschaft > 17.45 Übersetzungswissenschaft
AC Nummer
AC17912225
Utheses ID
80781
Studienkennzahl
UA | 070 | 375 | 331 |