Detailansicht
Productivity and effort in intralingual translation
a comparative process-oriented study of human text-simplification and MT/LLM-assisted text-simplification into easy Japanese in crisis settings
Ryunosuke Sannomiya
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Zentrum für Translationswissenschaft
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Translation Japanisch Deutsch
Betreuer*in
Dragos Ioan Ciobanu
DOI
10.25365/thesis.81357
URN
urn:nbn:at:at-ubw:1-13790.51256.866727-6
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Diese Masterarbeit erforscht die Anwendbarkeit maschineller Übersetzung (MÜ) und großer Sprachmodelle (LLMs) für die Textvereinfachung in das Leichte Japanisch in der Krisenkommunikation. Es besteht ein hoher Bedarf an Leichtem Japanisch unter Nicht-MuttersprecherInnen in Japan und übertrifft oft die Nachfrage nach Englisch. Beamten fehlen jedoch oft die erforderlichen Arbeitskräfte, Fachkenntnisse und Schulungen, was dazu führt, dass sie sich auf die MÜ-Tools für die Textvereinfachung verlassen. Basierend auf früheren Forschungen, die die Zunahme der Produktivität sowie Qualität von Post-Editing der MÜ (MTPE) in interlingualen Übersetzungen zeigen, stellen sich die folgenden Forschungsfragen: „Welche Auswirkungen hat das Arbeiten mit Outputs von MÜ und LLMs beim japanischen intralingualen Übersetzen auf den temporalen, technischen und kognitiven Aufwand (RQ1) von Citizen Translators mit Japanisch als Muttersprache und welche Auswirkungen auf die Lesbarkeit der Zieltexte (RQ2)?“ Die Daten der drei Arten von Aufwand (temporal, technisch und kognitiv) werden anhand von einem Keylogging-Tool (Translog-II), das Dauer, Pausen und Keystrokes aufzeichnet, gesammelt. Außerdem wird der subjektive Aufwand mithilfe des NASA-TLX-Fragenbogens bewertet und die Textqualität anhand des japanischen Lesbarkeit-Tools (jReadability) beurteilt. Drei vergleichbare krisenbezogene Texte werden für das Experiment herangezogen: einer übersetzt von einem MÜ-Tool namens „Tsutaeru-Web (伝えるウェブ)“, der zweite übersetzt von einer LLM (Gemini), die zuvor mit Richtlinien zu Leichtem Japanisch trainiert worden ist, und der dritte ohne jegliche maschinelle Übersetzung. Das Ergebnis zeigt positive und negative Auswirkungen auf das Arbeiten mit MÜ und LLMs bei einer japanischen intralingualen Übersetzungsaufgabe. Während mithilfe der LLM eine hohe Zunahme der Produktivität im Post-Editing-Prozess und der Lesbarkeit des Zieltextes erreicht werden konnte, war die Produktivität bei der Arbeit mit der MÜ mittelmäßig und die Lesbarkeit des Zieltextes hat sich im Vergleich zur Human-Textvereinfachung verschlechtert. Des Weiteren weist die Diskussion darauf hin, dass die Lesbarkeit des Ausgangstextes und des maschinell übersetzten Textes den Grad jedes gemessenen Aufwands in der MT/LLM-gestützten Textvereinfachung beeinflussen kann. Dies zeigt, je höher die Lesbarkeit des Ausgangstextes und der MÜ-Outputs ist, desto mehr reduziert sich der verlangte temporale, technische und kognitive Aufwand für MT/LLM-gestützte Textvereinfachung. Weiters haben wenig lesbare Ausgangstexte eine negative Auswirkung auf die Qualität der MÜ-Outputs und fordern ein größeres Maß an Post-Editing-Aufwand.
Abstract
(Englisch)
This Master's thesis investigates the applicability of Machine Translation (MT) and Large Language Models (LLMs) for simplifying text into Easy Japanese in crisis settings. Easy Japanese is in high demand among non-native speakers in Japan, often surpassing the demand for English. However, public servants often lack the necessary manpower, expertise and training, leading them to rely on MT tools for simplification. Based on prior research demonstrating productivity and quality gains from MT Post-Editing (MTPE) in interlingual translation, the following research questions arise: “What is the impact of working with MT and LLMs' output in a Japanese intralingual text simplification task on the temporal, technical, and cognitive effort (RQ1) of citizen translators with Japanese as their native language and what is the impact on the readabilityof the target text (RQ2)?” The data for the three types of effort (temporal, technical, and cognitive) will be collected using a keylogging tool (Translog-II), which records duration, pauses, and keystrokes. In addition, subjective cognitive effort will also be assessed using the NASA-TLX questionnaire, and text quality will be evaluated using the Japanese readability tool (jReadability). Three comparable crisis-related texts will be used in the experiment: one processed with the MT tool called “Tsutaeru-Web (伝えるウェブ)”, one with an LLM (Gemini) trained on Easy Japanese guidelines, and one translated by humans without machine assistance. The findings show a positive and negative impact of working with MT and LLMs in a Japanese intralingual translation task. While high-grade gains in productivity in the Post-Editing process and readability of the target text can be reached using an LLM, the productivity gain of working with an MT was moderate, and the readability of the target text decreased compared to Human Text-Simplification. Furthermore, based on the collected data, the discussion suggests that the readability of source texts and machine-translated texts can affect the grade of each effort in the MT/LLM-assisted Text-Simplification stage. This indicates that as the readability of the source texts and the MT/LLM outputs increases, the temporal, technical, and cognitive effort required for MT/LLM-assisted Text-Simplification decreases. Moreover, it can be said that less readable source texts have a negative impact on the quality of MT/LLM outputs, requiring a greater degree of Post-Editing effort.
Schlagwörter
Schlagwörter
(Deutsch)
Einfache Sprache Leichte Sprache Intralinguale Übersetzung Krisenkommunikation Textvereinfachung Maschinelle Übersetzung Großes Sprachmodell
Schlagwörter
(Englisch)
Easy Language Plain Language Intralingual Translation Crisis Communication Easy Japanese Text Simplification Machine Translation Large Language Model Post-Editing
Autor*innen
Ryunosuke Sannomiya
Haupttitel (Englisch)
Productivity and effort in intralingual translation
Hauptuntertitel (Englisch)
a comparative process-oriented study of human text-simplification and MT/LLM-assisted text-simplification into easy Japanese in crisis settings
Publikationsjahr
2026
Umfangsangabe
130 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Dragos Ioan Ciobanu
Klassifikation
17 Sprach- und Literaturwissenschaft > 17.45 Übersetzungswissenschaft
AC Nummer
AC17912418
Utheses ID
80681
Studienkennzahl
UA | 070 | 378 | 331 |