Detailansicht
improving multi-agent reinforcement learning through agent representation
Justus Rass
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Physik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Computational Science
Betreuer*in
Sebastian Tschiatschek
DOI
10.25365/thesis.78171
URN
urn:nbn:at:at-ubw:1-28942.56342.801880-4
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Im Multi-Agenten-Deep-Reinforcement-Learning stellen nicht-stationäre Umgebungen eine der größten Herausforderungen dar, wenn es darum geht, optimale Strategien für Agenten zu erlernen, insbesondere wenn diese nicht miteinander kommunizieren können. Dies liegt daran, dass Agenten auf Grundlage ihrer eigenen Beobachtungen handeln und dadurch Veränderungen in der Umgebung hervorrufen, die andere Agenten nicht vorhersehen können, was den Entscheidungsprozess individuell trainierter Agenten destabilisiert. Während zentralisierte Ansätze dieses Problem in einigen Fällen abmildern können, sind sie nicht immer anwendbar. In dieser Arbeit werden Repräsentationen von Agenten untersucht, die aus Interaktionsdaten erstellt werden, sowie deren Einfluss auf den Lernprozess. Diese Repräsentationen zielen darauf ab, das Verhalten eines Agenten in einer niedrigdimensionalen Einbettung darzustellen und diese Einbettungen als privilegierte Information während des Trainings zu nutzen. In den Experimenten zeigen wir Verbesserungen in Benchmark-Umgebungen für Multi-Agenten-Szenarien, die kooperative, kompetitive und gemischte Aufgaben mit zwei oder mehr Agenten in jeder Umgebung umfassen. Unser Ansatz wird in Konzepten des dezentralen Trainings mit dezentraler Ausführung sowie des zentralisierten Trainings mit dezentraler Ausführung getestet, unter Verwendung von Deep-Learning-Algorithmen.
Abstract
(Englisch)
In multi-agent reinforcement learning, non-stationarity poses one of the biggest challenges in learning optimal policies for agents, especially when they cannot communicate with each other. This is due to agents acting upon their own observations and thus inducing changes in the environment that other agents cannot predict, hindering convergence towards the best solution during the learning process of individually trained agents. While utilizing centralized approaches alleviates this issue for some cases, it is not always applicable. In this thesis, representations of agents, created from from interaction data, and their impact on learning are investigated. These representations aim to capture the behavior of an agent inside a low-dimensional embedding and utilizing those embeddings as privileged information during training.In experiments we show improvements in benchmark multi-agent environments using cooperative, competitive and mixed settings with two or more agents in each environment. Our approach is evaluated on decentralized training and decentralized execution, as well as centralized training and decentralized execution multi-agent learning concepts using deep learning algorithms.
Schlagwörter
Schlagwörter
(Deutsch)
Maschinelles Lernen Reinforcement Learning Multi-Agenten Reinforcement Learning Agentenrepräsentationen
Schlagwörter
(Englisch)
Machine Learning Reinforcement Learning Multi-Agent Reinforcement Learning Agent Representations
Autor*innen
Justus Rass
Haupttitel (Englisch)
improving multi-agent reinforcement learning through agent representation
Paralleltitel (Deutsch)
Verbesserung des Multi-Agenten-Reinforcement-Learning durch Agentenrepräsentation
Publikationsjahr
2025
Umfangsangabe
xii, 103 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Sebastian Tschiatschek
Klassifikation
54 Informatik > 54.72 Künstliche Intelligenz
AC Nummer
AC17488207
Utheses ID
75155
Studienkennzahl
UA | 066 | 910 | |