Detailansicht
Large language models (LLM) for NPC interactions in a dialogue-based textadventure game
Kang Da Ji
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Informatik
Betreuer*in
Helmut Hlavacs
DOI
10.25365/thesis.80100
URN
urn:nbn:at:at-ubw:1-22498.43730.653869-6
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Die Dialoge von Nicht-Spieler Charakteren, auch bekannt als NPCs, wurden für lange Zeit von menschlicher Hand verfasst, welche Aufwand und Resourcen beanspruchen, die man anderweitig verwenden könnte. Durch die Weiterentwicklung von neuen Technologien, wie zum Beispiel neuronale Netzwerke, wie Large Language Models (LLM), haben wir die Möglichkeit bekommen solche Dialoge stattdessen generieren zu lassen. Zusätzlich hat man den Vorteil, dass solche Konversationen individuell auf die Eingabe von User:innen reagieren können, welches die Interaktionsmöglichkeiten mit dem Spiel verbessern kann. Diese Masterarbeit zielt darauf hin, ein solches System, unter Anwendung eines LLM und dessen Fähigkeit Charakterdialoge, in einem Textadventure zu analysieren. Mithilfe von Retrieval-Augmented Generation (RAG), welches eine Methode ist um relevantes Wissen zu holen das als Kontext für die Generierung verwendet wird, entwickelten wir ein Spiel, bei dem Spieler:innen Fortschritte machen, indem sie sich mit den Charakter:innen unterhalten und bestimmte Lösungssätze verwenden die ihnen den Weg zum nächsten Charakter:in weisen. Um festzustellen ob die Eingabe der Spieler:innen korrekt war, verglichen wir die Ähnlichkeit mit vordefinierten Lösungssätzen mithilfe von einem kleinen sentence-transformer Modell welches wir ebenfalls in RAG verwendet haben. Das Spielerfeedback wurde mithilfe von eines Fragebogens festgehalten in welchem Spieler:innen die Verhaltensweise der Charakter:innen bewerten und kommentieren konnten. Zusammenfassend war die Bewertung in allen Kategorien, wie die Verwendung von korrektem Englisch, Kohärenz, Neuartigkeit, Bedeutsamkeit und weiteren Kategorien, sehr positiv. Jedoch fanden wir in den Spielaufzeichnungen, dass Charakterantworten oft auf erfundenen Informationen beruhten. Dies passierte, wenn Spieler:innen fragen stellten bei dem RAG kein relevantes Wissen finden konnte. Außerdem war die Anwendung von RAG nicht immer zuverlässig, da manchmal Eingaben nicht als korrekte Lösungssätze gesehen wurden, obwohl das der Fall war. Des Weiteren, konstruierten wir eine Umfrage bei dem wir Teilnehmer:innen zu ihrer Präferenz und zu ihrer Fähigkeit, zwischen von Menschen geschriebenen Dialogen und LLM generierten Dialogen zu unterscheiden, befragten. Wir fanden keine signifikante Präferenz zwischen von Menschenhand geschriebenen Konversationen und generierten Konversationen, ausgenommen wenn der Text stottern beinhaltete, wo das menschengeschriebene deutlich besser war und als natürlicher wahrgenommen wurde. Außerdem konnten wir anhand der Daten feststellen, dass die Präferenz der Teilnehmer:innen stark davon beeinflusst wurde, je nachdem ob sie glaubten, dass ein Mensch der Autor war oder nicht. Dies war unabhängig davon ob der Autor tatsächlich ein Mensch war oder auch nicht.
Abstract
(Englisch)
For a long time non-player characters (NPC) dialogues in games were hand-written and required time and resources that could otherwise have been invested in developing other areas of the game. Due to the emergence of new technology, writing character dialogue may be substituted by Large Language Models (LLM) text generation, instead of writing the NPC texts per hand. Additionally, using models has the advantage that the game would be capable to react dynamically to player inputs and as a result, increase the interactivity with the game. This thesis aims to research to what extend LLMs are capable to generate dialogue in a textadventure, where each character powered by Llama 2-chat models. Using Retrieval-Augmented Generation (RAG), which is a method to fetch relevant knowledge and provide them as context to the LLM, we implemented a game, in which players advance in the story by typing certain solution phrases that will let the player progress to the next character. The correct answer is determined by comparing the input with the predefined solution using the RAG model. Moreover, player’s experience was recorded using a questionnaire where the performance was rated and feedback was given on each character. In total, the model received high ratings in all categories like the use of correct English, coherency, novelty or meaningfulness. Although, by analyzing the game logs and feedback we found that the model frequently hallucinates information when RAG did not find any relevant knowledge to the players’ inquiry. Additionally, we have seen that sometimes correct answers were not correctly detected by the RAG system, thus incorrectly preventing the player from progressing the game. Furthermore, we assembled a questionnaire in which we identified the preference of participants and their ability to distinguish between human-written dialogues or LLM generated dialogues. As a result, we have found that no clear preference could be determined between either option, except when the text included stuttering, in which the human-written stutter proved to be more natural. However, based on the data, we found that the preference of either text is heavily influenced by which the participants thought was the human text.
Schlagwörter
Schlagwörter
(Deutsch)
Computerspiel mit KI NPC Interaktion Künstliche Intelligenz KI Large Language Model LLM Retrieval-Augmented Generation RAG Textadventure Mensch vs. KI Texte Generierte Dialoge Fine-tuning Llama 2-chat LoRA QLoRA
Schlagwörter
(Englisch)
Videogame with AI NPC interaction Artificial Intelligence AI Large Language Model LLM Retrieval-Augmented Generation RAG Textadventure Human vs. AI texts Generated dialogues Fine-tuning Llama 2-chat LoRA QLoRA
Autor*innen
Kang Da Ji
Haupttitel (Englisch)
Large language models (LLM) for NPC interactions in a dialogue-based textadventure game
Publikationsjahr
2025
Umfangsangabe
viii, 72 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Helmut Hlavacs
Klassifikationen
54 Informatik > 54.72 Künstliche Intelligenz ,
54 Informatik > 54.88 Computer in der Freizeit
AC Nummer
AC17754192
Utheses ID
78898
Studienkennzahl
UA | 066 | 921 | |