Detailansicht
Local LLM-driven NPCs with retrieval-augmented memory in Unreal Engine 5
Lev Subbota
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Medieninformatik
Betreuer*in
Helmut Hlavacs
DOI
10.25365/thesis.81817
URN
urn:nbn:at:at-ubw:1-16496.84323.338538-3
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Aktuelle Fortschritte bei Large Language Models eröffnen neue Möglichkeiten für Spielfiguren, die nicht nur auf festen Dialogbäumen basieren, sondern in natürlicher Sprache reagieren können. In Spielen müssen solche Systeme jedoch zusätzliche Anforderungen erfüllen: Sie müssen die Identität der Figur bewahren, das geschriebene Hintergrundwissen respektieren, innerhalb akzeptabler Gameplay-Latenz antworten und zuverlässig in einer Echtzeit-Engine laufen. Diese Masterarbeit behandelte diese Herausforderungen durch die Entwicklung und Evaluation eines lokalen LLM-basierten NPC-Dialogsystems mit retrieval-augmentierter Erinnerung in Unreal Engine. Der implementierte Prototyp zeigt eine Architektur, in der eine Game Engine, ein lokales Sprachmodell-Backend, eine embedding-basierte Retrieval-Pipeline und charakterbezogene Erinnerung während der Dialoggenerierung zusammenwirken. Spielereingaben werden über Engine-Komponenten verarbeitet, relevantes Weltwissen und Erinnerungen werden abgerufen, und der daraus entstehende Kontext steuert die generierte Antwort des NPCs. Das System wurde in ein eigens erstelltes narratives Testlevel für ein Indie-Spielprojekt integriert, in dem das geschriebene Setting, nicht-standardisierte Fantasy-Regeln und unterschiedliche NPC-Persönlichkeiten eine praktische Umgebung für lore-gebundene Dialoge boten. Die Evaluation betrachtete sowohl die technische Machbarkeit als auch das Spielerfeedback. Laufzeitmessungen wurden genutzt, um zu untersuchen, ob lokale Generierung parallel zu einer interaktiven Unreal-Engine-Szene betrieben werden kann, während Spielerfeedback Relevanz, Konsistenz, Erinnerung, Charakterpersönlichkeit, Immersion und Präferenz gegenüber konventionellen geskripteten Dialogen bewertete. Die Ergebnisse zeigen, dass lokale LLM-Inferenz in Kombination mit retrieval-augmentierter Erinnerung eine praktikable Grundlage für kohärente und charakterstarke NPC-Interaktionen in einer Echtzeit-Game-Engine bilden kann. Gleichzeitig zeigt die Arbeit, dass breitere Hardware-Abdeckung, kontrolliertere Vergleiche und weitere Optimierung notwendig sind, bevor solche Systeme als produktionsreife Dialoglösungen betrachtet werden können.
Abstract
(Englisch)
Recent advances in large language models have created new possibilities for game characters that can respond through natural language instead of relying only on fixed dialogue trees. For games, however, such systems must satisfy constraints that are less prominent in general chatbot applications: they must preserve character identity, respect authored lore, react within acceptable gameplay latency, and run reliably inside a real-time engine. This thesis addressed these challenges by developing and evaluating a local LLM-driven NPC dialogue system with retrieval-augmented memory in Unreal Engine. The implemented prototype demonstrates an architecture in which a game engine, a local language model backend, an embedding-based retrieval pipeline, and character-specific memory cooperate during dialogue generation. Player input is routed through engine components, relevant world knowledge and memory are retrieved, and the resulting context is used to guide the generated NPC response. The system was integrated into a custom narrative test level created for an indie game project, where the authored setting, non-standard fantasy rules, and distinct NPC personalities provided a practical environment for testing lore-grounded dialogue. The evaluation examined both technical feasibility and player perception. Runtime measurements were used to study whether local generation could operate alongside an interactive Unreal Engine scene, while player feedback was used to assess relevance, consistency, memory, character personality, immersion, and preference compared with conventional scripted dialogue. The results indicate that local LLM inference combined with retrieval-augmented memory can form a practical foundation for coherent and characterful NPC interactions in a real-time game engine. At the same time, the work shows that broader hardware coverage, more controlled comparisons, and further optimisation are necessary before such systems can be treated as production-ready dialogue solutions.
Schlagwörter
Schlagwörter
(Deutsch)
lokale große Sprachmodelle NPC-Dialog Retrieval-Augmented Generation persistentes Gedächtnis Unreal Engine 5 llama.cpp On-Device-Inferenz Spiel-KI interaktive Erzählung prozeduraler Dialog
Schlagwörter
(Englisch)
local large language models NPC dialogue retrieval-augmented generation persistent memory Unreal Engine 5 llama.cpp on-device inference game AI interactive narrative procedural dialogue
Autor*innen
Lev Subbota
Haupttitel (Englisch)
Local LLM-driven NPCs with retrieval-augmented memory in Unreal Engine 5
Paralleltitel (Deutsch)
Lokale LLM-gesteuerte NPCs mit retrieval-gestütztem Gedächtnis in Unreal Engine 5
Publikationsjahr
2026
Umfangsangabe
vii, 82 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Helmut Hlavacs
Klassifikation
54 Informatik > 54.72 Künstliche Intelligenz
AC Nummer
AC18004858
Utheses ID
82074
Studienkennzahl
UA | 066 | 935 | |