Detailansicht
Representative subset selection from RL benchmarks
Varun Devgon
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Informatik
Betreuer*in
Sebastian Tschiatschek
DOI
10.25365/thesis.76896
URN
urn:nbn:at:at-ubw:1-15348.50389.773473-5
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Diese Proof-of-Concept-Forschung zielt darauf ab, repräsentative environments aus mehreren Reinforcement Learning Benchmarks zu identifizieren, um effizientes Multi-Benchmark-Testing zu ermöglichen und damit allgemeinere und robustere Reinforcement Learning Algorithmen zu entwickeln. Die in dieser Arbeit vorgeschlagene Methodik baut auf den Ideen aus dem Atari-5-Papier auf, um das repräsentativste drei Environment-Subset für einen kombinierten Benchmark von 38 environments zu bestimmen, die 26 Atari100k environments und 12 DeepMind Control environments umfasst. Dies wird durch eine neue Normalisierungstechnik erreicht, die die Leistung eines zufälligen Agenten als Basislinie und den score eines PPO-Agenten bei Konvergenz als Referenz verwendet, gefolgt von einer logarithmischen Transformation. Dies geschieht, um die algorithm scores über verschiedene Benchmarks vergleichbar zu machen. Anschließend werden lineare Regressionsmodelle aus den Benchmark-Teilsets erstellt, um die gewichteten Medianscores des vollständigen Benchmarks über alle Algorithmen vorherzusagen. Die Ergebnisse zeigen, dass die drei environments - Ms. Pacman, Ball in Cup Catch und Pendulum Swingup - erfolgreich die Medianscores der Algorithmen mit einem relativen Fehler von nur 6.59% vorhersagen, bei nur 7.9% der Rechenkosten im Vergleich zum vollständigen Benchmark von 38 environments.
Abstract
(Englisch)
This proof of concept research aims to identify representative environments from multiple Reinforcement Learning benchmarks, enabling efficient multi-benchmark testing to develop more generalizable and robust Reinforcement Learning algorithms. The methodology proposed in this thesis builds upon the ideas presented in the Atari-5 paper to determine the most representative three environment subset for a combined benchmark of 38 environments, which includes 26 Atari100k environments and 12 DeepMind Control environments. This is achieved using a new normalization technique that uses the performance of a random agent as a baseline and a PPO agent's score at convergence as a reference, followed by a log transformation. This is performed to make the algorithm scores across different benchmarks comparable. Linear regression models from benchmark subsets are then created to predict full benchmark weighted median scores across all algorithms. The results reveal that the three environments Ms. Pacman, Ball in Cup Catch, and Pendulum Swingup, successfully predict algorithm median scores with a relative error of only 6.59% at only 7.9% of computational costs compared to the full benchmark of 38 environments.
Schlagwörter
Schlagwörter
(Deutsch)
Reinforcement Learning
Schlagwörter
(Englisch)
Reinforcement Learning Deep Reinforcement Learning RL Benchmarks Atari DeepMind Control
Autor*innen
Varun Devgon
Haupttitel (Englisch)
Representative subset selection from RL benchmarks
Publikationsjahr
2024
Umfangsangabe
69 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Sebastian Tschiatschek
Klassifikation
54 Informatik > 54.72 Künstliche Intelligenz
AC Nummer
AC17355071
Utheses ID
73129
Studienkennzahl
UA | 066 | 921 | |