Detailansicht
Assessing story coherence of long narratives using large language models and retrieval-augmented generation
Enno Peter Stubler
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Informatik
Betreuer*in
Helmut Hlavacs
DOI
10.25365/thesis.79170
URN
urn:nbn:at:at-ubw:1-27163.69086.268147-0
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Große Texte stellen für die automatische Bewertung der Handlungskohärenz eine besondere Herausforderung dar – nicht zuletzt wegen ihrer schieren Länge, strukturellen Vielfalt und narrativen Tiefe. In der vorliegenden Arbeit nähern wir uns dieser Problematik mit einem neu- artigen Ansatz: Es werden große Sprachmodelle mit Retrieval Augmented Generation Systemen kombiniert, um die Kohärenz ausgedehnter Texte systematisch zu analysieren. Zuerst werden die zentralen Dimensionen, die diesem Forschungsbereich zugrunde liegen untersucht. Auf dieser Grundlage werden vier Validierungssysteme vorgestellt. Die Evaluation basiert auf einem Datensatz von 120 Büchern aus der Project Gutenberg Datenbank, die jeweils über 150.000 Tokens umfassen und mehrere literarische Genres abdecken. Es wird eine detaillierte Analyse der Methoden durchgeführt, einschließlich eingehender Fallstudien zu ausgewählten Titeln. Darüber hinaus werden die Systeme hinsichtlich Validierungsgenauigkeit und Rechenaufwand verglichen, um Einblicke in die praktischen Abwägungen bei der Bewertung von Narrativen zu geben. Die Ergebnisse zeigen, dass die vorgeschlagenen Systeme zuverlässig zwischen kohärenten und inkohärenten (positiven und negativen) Erzählproben unterscheiden können – im Gegensatz zu einer Baseline-Methode, die hierzu nicht in der Lage ist – und belegen so die Wirksamkeit des Ansatzes. Letztlich werden mithilfe von Perturbationen der Validierungsbeispiele gezielt bestimmte inkohärente Szenarien nachgestellt. Dabei konnte gezeigt werden, dass die Validierungsmethoden besser auf negativ veränderte Textabschnitte reagieren und Fehler zuverlässiger aufzeigen.
Abstract
(Englisch)
Long-form story narratives present unique challenges in automated coherence evaluation due to their scale, complexity, and diverse structures. In this work, the assessment of story coherence in extended texts is explored using large language models (LLMs) enhanced with retrieval-augmented generation (RAG). The work begins by surveying the key dimensions underpinning this research area. Building on these foundations, four validation systems are introduced, designed to score story coherence within long texts. The evaluation leverages a dataset of 120 full-length books from Project Gutenberg, each exceeding 150,000 tokens and spanning multiple literary genres. An in-depth analysis of model performance is conducted, including detailed case studies on selected titles. Additionally, the systems are benchmarked in terms of validation accuracy and computational cost, offering insights into their practical trade-offs for narrative assessment. The results show that the proposed systems can reliably distinguish between coherent and incoherent (positive and negative) story samples—whereas a baseline validation method fails to do so—demonstrating the effectiveness of the approach. Finally, specific incoherent scenarios are systematically simulated by applying perturbations to the validation examples. It was shown that the proposed validation methods respond more effectively to negatively altered text segments and are able to identify errors more reliably.
Schlagwörter
Schlagwörter
(Deutsch)
Retrieval-Augmented Generation Validierung von Textnarrativen Große Sprachmodelle LLMs Validierungsmethoden Graph Retrieval-Augmented Generation
Schlagwörter
(Englisch)
Retrieval Augmented Generation Large Language Models Text Coherence Analysis Graph Retrieval Augmented Generation Text continuation validation Narrative coherence evaluation Coherence validation of long texts
Autor*innen
Enno Peter Stubler
Haupttitel (Englisch)
Assessing story coherence of long narratives using large language models and retrieval-augmented generation
Paralleltitel (Deutsch)
Bewertung des Handlungszusammenhangs langer Narrative unter Verwendung von Sprachmodellen und Retrieval-unterstützte Textgenerierung
Publikationsjahr
2025
Umfangsangabe
x, 82 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Helmut Hlavacs
Klassifikationen
54 Informatik > 54.72 Künstliche Intelligenz ,
54 Informatik > 54.82 Textverarbeitung
AC Nummer
AC17631973
Utheses ID
77430
Studienkennzahl
UA | 066 | 921 | |