Detailansicht
Shaping AI behavior: a Q-learning driven approach to automatic behavior tree creation
Ralph Dworzanski
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Informatik
Betreuer*in
Helmut Hlavacs
DOI
10.25365/thesis.74371
URN
urn:nbn:at:at-ubw:1-28840.88521.757584-1
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Videospiele haben heute immense Popularität erlangt und sind ein fester Bestandteil unserer Kultur und sind zu einem integralen Bestandteil der modernen Gesellschaft geworden. Bemerkenswerterweise übertrifft der finanzielle Erfolg führender Videospielprodukte mittlerweile sogar die Einnahmen der teuersten Filme, was die außergewöhnliche kommerzielle Stärke und dominante Marktposition dieser blühenden Branche unterstreicht. Mit der wachsenden Komplexität von Videospielen geht auch eine zunehmende Komplexität der zur Entwicklung hochwertiger Grafiken und glaubwürdiger sowie herausfordernder Nicht-Spieler-Charaktere erforderlichen Werkzeuge einher. Hierbei haben sich insbesondere als beliebte Modelle zur Abbildung der Aufgaben solcher Nicht-Spieler-Charaktere Behavior Trees etabliert. Sie lösen das Problem der kombinatorischen Explosion, das bei der Modellierung komplexer Verhaltensweisen als Zustandsmaschinen häufig auftritt. Das händische Anfertigen von Behavior Trees kann jedoch nach wie vor schwierig, komplex und fehleranfällig sein. Daher ist mit deren steigender Beliebtheit auch ein weitreichendes Interesse an der Methoden entstanden zur automatischen Generierung entstanden. Die vollständige und automatische Erzeugung wird üblicherweise durch evolutionäre Algorithmen realisiert, während Ansätze auf Basis maschinellen Lernens sich in der Regel darauf konzentrieren, bestehende Behavior Trees zu verbessern. In dieser Arbeit wird ein neuartiger Ansatz vorgeschlagen, der eine vollständig automatische und autonome Generierung Behavior Trees aus autonomen, durch maschinellen Lernens erworbenem Wissen ermöglicht. Hierfür wurde ein "Capture the Flag"-Spiel entwickelt, bei dem zwei Teams um den Sieg konkurrieren. Die Behavior Trees werden durch Extraktion und Analyse des Wissens der Agenten generiert, die in diesem Spiel antreten. Der vorgestellte Algorithmus ermöglicht die Generierung von Behavior Trees die zu den autonomen Agenten vergleichbar leistungsfähig handeln. Darüber hinaus zeigen wir, dass die generierten Behavior Trees sich an Einschränkungen anpassen können, die während ihrer Erstellung nicht berücksichtigt wurden.
Abstract
(Englisch)
Video games have gained immense traction today, ingraining themselves deeply within popular culture and captivating a global audience. These interactive digital experiences have become an integral part of the fabric of modern society. Notably, the financial success of top-tier video game products now surpasses even the most lucrative film productions, underscoring the industry's exceptional commercial prowess and dominant market position. With the rising complexity of video games, we also find a rising complexity of tools required to develop high-fidelity graphics or believable and challenging Non-Player-Characters. Specifically, Behavior Trees have emerged as popular tools to model the tasks of such a Non-Player-Character as a network of hierarchical nodes. Addressing the issues of combinatorial explosion, which were a common problem in complex behaviors modeled as state machines, Behavior Trees solve this issue. However, hand-making Behavior Trees can still be difficult, complex, and error-prone. Thus, the rising popularity of Behavior Trees also brought widespread interest in ways to generate them automatically. Fully automatic creation is commonly solved using Evolutionary Algorithms, while machine-learning-backed approaches typically focus on improving existing Behavior Trees. In this thesis, we propose a novel solution to generate Behavior Trees automatically and autonomously from reinforcement learned autonomous agents. We developed a Capture The Flag-style game in which two teams compete to win. The Behavior Trees are generated from the knowledge of agents competing in this game by extracting this knowledge and parsing it into a Behavior Tree format. The proposed algorithm can generate these trees with comparable performance to the autonomous agents. Additionally, the generated trees are shown to be versatile, adapting to constraints not considered while they were created.
Schlagwörter
Schlagwörter
(Deutsch)
Verhaltensbaum Verstärkendes Lernen Automatische Kreation Videospiel Nicht-Spieler-Charakter
Schlagwörter
(Englisch)
Behavior Tree Reinforcement Learning Automatic Creation Video Game Non-Player-Character
Autor*innen
Ralph Dworzanski
Haupttitel (Englisch)
Shaping AI behavior: a Q-learning driven approach to automatic behavior tree creation
Paralleltitel (Deutsch)
Gestaltung von KI-Verhalten: ein Q-Learning-basierter Ansatz zur automatisierten Erstellung von Behavior Trees
Publikationsjahr
2023
Umfangsangabe
xv, 76 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Helmut Hlavacs
Klassifikationen
54 Informatik > 54.72 Künstliche Intelligenz ,
54 Informatik > 54.80 Angewandte Informatik
AC Nummer
AC16951562
Utheses ID
68504
Studienkennzahl
UA | 066 | 921 | |