Detailansicht
Hybrid machine learning approaches for detection of LLM-generated english texts
Bohdan Zhvalevskyi
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Zentrum für Translationswissenschaft
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Joint-Masterstudium Multilingual Technologies
Betreuer*in
Dagmar Gromann
DOI
10.25365/thesis.81854
URN
urn:nbn:at:at-ubw:1-21113.85093.283789-1
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Große Sprachmodelle (LLMs) haben maschinell generierte Texte in Bereichen wie Bildung, Journalismus und Online-Kommunikation alltäglich gemacht, wobei ihre nicht offengelegte Verwendung Bedenken bezüglich Authentizität, Urheberschaft und wissenschaftlicher Integrität aufwirft. Erkennungssysteme, die bei „sauberen“ Texten gute Ergebnisse liefern, werden oft unzuverlässig, wenn der Text durch Paraphrasierung, Synonymersetzung oder stilistische Überarbeitung gezielt manipuliert wird. Diese Masterarbeit untersucht, ob das Hinzufügen extrahierter linguistischer Merkmale zu einem neuronalen Klassifikator die Robustheit der Erkennung von durch LLMs generierten englischen Texten verbessern kann, und welche dieser Merkmale den größten Beitrag leisten. Zu diesem Zweck wird eine hybride Architektur entwickelt, die kontextuelle Repräsentationen aus einem vortrainierten RoBERTa-Encoder mit extrahierten linguistischen Merkmalen über einen „Gated Fusion“-Mechanismus kombiniert, der die beiden Informationsquellen für jeden einzelnen Eingabetext unterschiedlich gewichtet. Das Modell wird auf der RAID-Teilmenge des RealBench-Benchmarks trainiert und evaluiert, die mehrere Modellfamilien, Domänen und Arten von adversariellen Angriffen umfasst. Das Hybridmodell erreicht einen F1-Wert auf Dokumentebene von etwa 95%, was eine Verbesserung um rund 3,5 Punkte gegenüber einer starken RoBERTa-Baseline darstellt, wobei die größten Verbesserungen bei den schwierigsten Angriffen erzielt werden, nämlich bei der stilistischen Überarbeitung und der Paraphrasierung auf Satzebene. Eine permutationsbasierte Analyse identifiziert Perplexität, lexikalische Vielfalt und syntaktische Komplexität als die aussagekräftigsten linguistischen Merkmale. Das gelernte Gate zeigt ein interpretierbares, klassenabhängiges Verhalten, das sich bei von Menschen verfassten Texten stärker auf linguistische Merkmale stützt und bei von LLMs generierten Texten beide Quellen ausgewogen berücksichtigt. Insgesamt deuten die Ergebnisse darauf hin, dass linguistische Merkmale ein ergänzendes Signal liefern, das die Anfälligkeit neuronaler Detektoren unter adversariellem Druck teilweise ausgleicht, auch wenn diese Robustheit davon abhängt, wie gut die Trainingsdaten die in der Praxis auftretenden Generatoren und Angriffe abdecken.
Abstract
(Englisch)
Large Language Models (LLMs) have made machine-generated text common in education, journalism, and online communication, where its undisclosed use raises concerns about authenticity, authorship attribution, and academic integrity. Detectors that perform well on clean text often become unreliable when the text is adversarially manipulated through paraphrasing, synonym substitution, or style polishing. This master's thesis investigates whether adding extracted linguistic features to a neural classifier can improve the robustness of LLM-generated English text detection, and which of these features contribute most. To this end, it develops a hybrid architecture that fuses contextual representations from a pre-trained RoBERTa encoder with extracted linguistic features through a gated fusion mechanism, which weighs the two information sources differently for each individual input text. The model is trained and evaluated on the RAID subset of the RealBench benchmark, which spans multiple model families, domains, and adversarial attack types. The hybrid model reaches about 95% document-level F1, improving over a strong RoBERTa baseline by roughly 3.5 points, with the largest gains on the hardest attacks, namely style polishing and sentence-level paraphrasing. A permutation-based analysis identifies perplexity, lexical diversity, and syntactic complexity as the most informative linguistic features. The learned gate shows an interpretable, class-conditional pattern, relying more on linguistic features for human-written text and balancing both sources for LLM-generated text. Overall, the results suggest that linguistic features provide a complementary signal that partly offsets the fragility of neural detectors under adversarial pressure, though this robustness still depends on how well the training data covers the range of generators and attacks encountered in practice.
Schlagwörter
Schlagwörter
(Deutsch)
Große Sprachmodelle Natürliche Sprachverarbeitung Maschinelles Lernen Deep Learning Fine-Tuning Erkennung von LLM-generierten Texten LLMs Linguistische Merkmale Fusion Gate
Schlagwörter
(Englisch)
LLMs Natural Language Processing Machine Learning Deep Learning Fine-Tuning LLM generated text detection LLMs Linguistic features Fusion Gate
Autor*innen
Bohdan Zhvalevskyi 
Haupttitel (Englisch)
Hybrid machine learning approaches for detection of LLM-generated english texts
Publikationsjahr
2026
Umfangsangabe
113 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Dagmar Gromann
Klassifikationen
54 Informatik > 54.72 Künstliche Intelligenz ,
54 Informatik > 54.82 Textverarbeitung
AC Nummer
AC18013482
Utheses ID
82149
Studienkennzahl
UA | 066 | 587 | |