Detailansicht
The quality and reception of machine translated subtitles
Sophie Kalny
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Zentrum für Translationswissenschaft
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Translation Deutsch Englisch
Betreuer*in
Dragos Ioan Ciobanu
DOI
10.25365/thesis.75920
URN
urn:nbn:at:at-ubw:1-28976.64014.768653-4
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
In dieser Masterarbeit wurden die Qualität und die Nutzererfahrung von maschinell übersetzten Untertiteln eines TED-Talks zum Thema Umweltschutz in der Sprachkombination Englisch-Deutsch untersucht. Da maschinelles Übersetzen im Bereich der Untertitelung in den letzten Jahren an Bedeutung gewonnen hat und die Erfahrungen der Nutzer*innen in ähnlichen Studien noch selten berücksichtigt werden, hatte diese Arbeit zum Ziel, diese Forschungslücke zu beleuchten. Zur Analyse der Qualität der maschinell übersetzten Untertitel wurde die Multidimensionale Qualitätsmetrik (MQM) verwendet. Um die Nutzererfahrung zu analysieren, wurde die kognitive Belastung mittels Eye-Tracking untersucht, während die Teilnehmenden die untertitelten Videos anschauten. Mittels Einstellungsfragen wurde auch die Meinung der Teilnehmenden zu den Untertiteln ermittelt. Zusätzlich wurden Verständnisfragen eingesetzt, um zu prüfen, wie gut die Teilnehmenden den Inhalt verstanden haben. Im Vorfeld wurde davon ausgegangen, dass die Eye-Tracking-Parameter auf eine höhere kognitive Belastung schließen lassen, wenn die Qualität schlechter ist. In diesem Fall wurden auch weniger richtige Antworten auf die Verständnisfragen erwartet, was ebenfalls ein Indikator für eine höhere kognitive Belastung ist. Des Weiteren wurde bei höherer kognitiver Belastung angenommen, dass die Teilnehmenden die Untertitel bei den Einstellungsfragen schlechter bewerten würden, da der Leseprozess mühsamer gewesen sein muss. In dieser Arbeit wurden die meisten dieser Hypothesen bestätigt. Einige wurden jedoch nur teilweise bestätigt oder die Unterschiede zwischen den verschiedenen Arten von Untertiteln waren nicht besonders groß. Die Ergebnisse lassen darauf schließen, dass die Zuschauer*innen mit Untertiteln von schlechterer Qualität umgehen können, da das Verständnis nicht in hohem Maße beeinträchtigt wird. Auch wenn nicht jedes Detail verstanden wurde, konnten die Teilnehmenden dennoch das Wesentliche erfassen. Allerdings gab es einen deutlichen Unterschied in der Nutzererfahrung zwischen dem Lesen von menschlich und maschinell übersetzten Untertiteln. Es war anstrengender, maschinell übersetzte Untertitel zu lesen, die von schlechterer Qualität waren. Daher wurde das Fazit gezogen, dass es von der jeweiligen Situation abhängt, ob maschinelle Übersetzungssysteme für die Übersetzung von Untertiteln geeignet sind. Die Durchführung dieser Untersuchung mit feingetunten maschinellen Übersetzungsmodellen könnte jedoch zu anderen Ergebnissen führen.
Abstract
(Englisch)
This paper examined the quality and user experience of machine translated subtitles of a TED Talk in the domain of environmental protection in the language combination English-German. Given that machine translation has recently gained importance in this field and the users’ reception is still rarely taken account of in similar studies, this thesis aimed at contributing to bridging this gap. The MQM framework was used to analyse the quality of the machine translated subtitles. To study the user experience, I measured the cognitive load with eye-tracking parameters while the participants were watching the subtitled videos. Additionally, their attitude towards the subtitles was measured with a post-task questionnaire. To see how well the subtitles were understood by the participants, comprehension questions were used as well. I expected the eye-tracking parameters to show a higher cognitive load when the quality was worse. In this case, I also expected fewer correct answers in the comprehension questionnaire. A worse rating in the attitude questions was expected when the cognitive load was higher as the reading process must have been more tedious. In this study, most of these hypotheses were confirmed. However, some were only partially confirmed or the differences between the different kinds of subtitles were not very large. The results lead to the conclusion that viewers could deal with bad quality subtitles as comprehension was not impaired to a great extent. Although they might not catch every detail, the participants were still able to get the gist. However, there was a great difference in viewing experience between human translated and machine translated subtitles. It was more exhausting to watch machine translated subtitles, which were of worse quality. Therefore, I concluded that it depends on the situation whether general-purpose machine translation models are an appropriate choice for the translation of subtitles. Conducting this research with fine-tuned MT models may lead to different results.
Schlagwörter
Schlagwörter
(Deutsch)
maschinelle Übersetzung Qualität maschinell übersetzte Untertitel
Schlagwörter
(Englisch)
machine translation quality evaluation machine translated subtitles
Autor*innen
Sophie Kalny
Haupttitel (Englisch)
The quality and reception of machine translated subtitles
Publikationsjahr
2024
Umfangsangabe
184 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Dragos Ioan Ciobanu
Klassifikation
17 Sprach- und Literaturwissenschaft > 17.45 Übersetzungswissenschaft
AC Nummer
AC17197131
Utheses ID
71272
Studienkennzahl
UA | 070 | 331 | 342 |