Detailansicht
Linguistic challenges in automatic speech recognition (ASR)
a comparison of non-native interpreted and non-interpreted speech
Sandra Anita Dahl
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Zentrum für Translationswissenschaft
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Translation Deutsch Englisch
Betreuer*in
Dragos Ioan Ciobanu
DOI
10.25365/thesis.81388
URN
urn:nbn:at:at-ubw:1-17183.28231.306295-4
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Das Ziel dieser Masterarbeit ist die Untersuchung der Leistung automatischer Spracherkennungssysteme (Engl. ASR) bei der Transkription von nicht-muttersprachlichem Englisch in drei verschiedenen Modi: einem nicht-gedolmetschten, spontanen Monolog (E1), einer vorgeschriebenen Rede, die laut vorgelesen wird (E2) und einer Konsekutivdolmetschung dieser Rede vom Deutschen ins Englische (E3). Um lexikalische Konsistenz zu gewährleisten, wird in allen drei Phasen dieselbe Quellrede, eine Ansprache von Alain Berset (2024) genutzt. Die Studie basiert außerdem auf einem erklärenden sequenziellen Design. Sie vergleicht die ASR-Transkripte, erstellt von der Word Dictate Funktion, mit den dazugehörigen Verbatim-Transkriptionen. Diese verschriftlichen das Gesprochene ohne jegliche Anpassungen, genau so wie es von der Forscherin wahrgenommen wurde. Dabei werden die zwei zentrale Fragen behandelt: Was sind die wesentlichen Unterschiede in der ASR-Leistung zwischen einer nicht-muttersprachlichen, Deutsch-Englisch Dolmetschung und nicht-gedolmetschter Sprache, die von Sprecher:innen ohne jeglichen akademischen Hintergrund im Sprachbereich stammt? (Forschungsfrage 1) Wie beeinflussen spezifische linguistische Faktoren wie Redefluss, die Komplexität von Satzstrukturen, phonologische Fehler, Selbstkorrektur und Interpunktion den Transkriptionsprozess? (Forschungsfrage 2) Die Auswertung der Fehlerkategorien erfolgt mittels der Normalized Error Rate (NER), die Fehler pro Tausend Wörter darstellt. Die Ergebnisse der Studie zeigen schließlich eine deutliche Hierarchie: Das Vorlesen (E2) erzielte die höchste Übereinstimmung zwischen den ASR-Versionen und den dazugehörigen manuellen Transkripten (NER 65,22), da die Ausgangsrede vollständig vorgeschrieben war und somit eng mit schriftlichen Sprachkonventionen übereinstimmt, auf die ASR-Systeme normalerweise optimiert sind. Im Gegensatz dazu führten sowohl der nicht-gedolmetschte Monolog (NER 164,47), als auch die Konsekutivdolmetschung (NER 181,10), zu deutlich höheren Fehlerquoten. Die Dolmetschung (E3) führte, primär aufgrund adaptiver Interferenz, zu der höchsten Fehlerquote, was vermutlich aufgrund der kognitiven Strategien der Dolmetscherin zu Transkriptionsfehlern seitens ASR geführt hat. Im Gegensatz dazu ist der spontane Monolog (E1) durch strukturelle Instabilität gekennzeichnet, wobei das System funktionale Pausen als Satzgrenzen fehlinterpretierte, was zu schweren syntaktischen Fragmentierungen führte. Letztlich deuten die Ergebnisse darauf hin, dass das generische ASR-System aktiv und voreingenommen agiert, indem es die Transkription so verändert das sie bestmöglich schriftlichen Sprachkonventionen ähnelt, anstatt das Gesprochene wortwörtlich wiederzugeben.
Abstract
(Englisch)
The present research investigates the performance of Automatic Speech Recognition (ASR) systems within non-native English speech, produced in three different modes: unmediated spontaneous monologue, planned read-aloud speech, and consecutive interpreting (CI). In the frame of a small-scale empirical study, transcripts generated by the Word Dictate Function were systematically compared to denaturalized manual transcripts produced by the researcher, maintaining all original oral characteristics the way they have perceived by the researcher. The ASR-transcription errors of all three speech tasks were identified and categorized, using both raw error counts and Normalized Error Rates per 1,000 words (NER), allowing for comparison across tasks of varying lengths. The research addresses two primary questions: What are the key differences in ASR performance when transcribing non-native English speech produced in the modes of non-interpreted speech versus interpreted speech from German to English (RQ1)? Specifically, how might Fluency Features, Syntactic Complexity, Speech errors, Phonological errors, Self-correction and Punctuation errors influence the transcription (RQ2)? The findings reveal a performance hierarchy, where, as it has been hypothesized, the Read-aloud task (E2) exhibits the lowest number of deviations between ASR and manual transcript (NER 65.22), likely because of its predictable nature that resembles written language the most. In contrast, both unmediated spontaneous (NER 164.47) and interpreted speech (NER 181.10) resulted in significantly higher error rates. The CI task, partially due to the specific cognitive management strategies of the trainee interpreter, exhibits the highest overall NER. In contrast, the non-interpreted monologue shows structural instability, where pauses appear to be algorithmically misinterpreted as terminal boundaries, resulting in severe syntactic fragmentation and therefore more punctuation mistakes. Ultimately, this led to the conclusion that ASR actively reshapes the output to match written-style language in some cases, while literally transcribing redundant repetitions in other cases where the acoustic signal is clear.
Schlagwörter
Schlagwörter
(Deutsch)
Spracherkennungssystem nicht-muttersprachlich Konsekutivdolmetschung
Schlagwörter
(Englisch)
ASR performance performance hierarchy Automatic Speech Recognition non-native interpreted speech CI
Autor*innen
Sandra Anita Dahl
Haupttitel (Englisch)
Linguistic challenges in automatic speech recognition (ASR)
Hauptuntertitel (Englisch)
a comparison of non-native interpreted and non-interpreted speech
Publikationsjahr
2026
Umfangsangabe
100 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Dragos Ioan Ciobanu
AC Nummer
AC17913321
Utheses ID
80718
Studienkennzahl
UA | 070 | 331 | 342 |