Detailansicht
Imitation learning from multiple perspectives
a multi-discriminator framework
Susanna Maria Weinberger
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Data Science
Betreuer*in
Sebastian Tschiatschek
DOI
10.25365/thesis.74866
URN
urn:nbn:at:at-ubw:1-13719.21340.286376-6
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Diese Arbeit widmet sich der Lösung des Problem des imitierenden Lernens mit Hilfe der Nachahmung eines Experten, wobei mehrere Perspektiven dieses Experten in Form von Videosequenzen bereitgestellt werden. Die Miteinbeziehung von mehreren Perspektiven bietet nicht nur den Vorteil eines größeren Informationsgehalts, der mit einer Perspektive nicht abgedeckt werden kann, sondern ermöglicht es auch den Fokus des lernenden Algorithmus auf die zu diesem Zeitpunkt lehrreichste Perspektive zu lenken. Dieser Ansatz kann beispielsweise in der Robotik verwendet werden, um einen Menschen in Bezug auf verschiedene Perspektiven effizient nachzuahmen. Zu diesem Zweck geben wir einen Überblick über die derzeitige Forschung im Bereich des imitierenden Lernen und formalisieren das Problem des imitierenden Lernens aus mehreren Perspektiven. Wir stellen ein erweitertes GAIL - Generative Adversarial Imitation Learning - Framework vor, das durch Verwendung von verschiedenen Perspektiv-Auswahl Strategien versucht den Lernprozess eines Agenten bestmöglich zu unterstützen. Wir evaluieren unser Framework in umfangreichen Experimenten und illustrieren empirisch seine Funktionalität und Lernfähigkeit. Außerdem diskutieren wir den Effekt der verschiedenen Strategien auf die Performance, beweisen die weiterhin gute Performance bei eingeschränkter Verfügbarkeit von Expertendaten und demonstrieren eine Verbesserung der Performance durch unseren Ansatz im Vergleich zu relevanten Baselines.
Abstract
(Englisch)
This thesis focuses on the problem of imitation learning from observations based on expert’s demonstrations from multiple perspectives provided as images. On the one hand, introducing multiple perspectives increases the amount of available information in comparison to using only one fixed perspective. On the other hand, training an agent on multiple perspectives offers the possibility to steer the focus of the learning agent to perspectives which support it best in its current learning progress by showing the agent a curated selection of perspectives. Such an approach could prove for example helpful in robotics when learning through video sequences of different perspectives from a human demonstrator. To this end, we provide an overview of relevant related work in the field of imitation learning with special focus on learning purely from observations and formalise the imitation learning problem from multiple perspectives. We propose an extended imitation learning framework based on GAIL - Generative Adversarial Imitation Learning – that leverages the provided information from multiple perspectives utilising different strategies for perspective selection. We evaluate the proposed framework in extensive experiments and show empirically its ability to learn with our proposed strategies. Furthermore, we assess the impact of various strategies on imitation performance, show the capability of the framework in the face of a restricted access to expert demonstrations and demonstrate that our proposed approach outperforms relevant baselines.
Schlagwörter
Schlagwörter
(Deutsch)
Imitierendes Lernen Lernen durch Beobachtung mehrere Perspektiven
Schlagwörter
(Englisch)
Imitation Learning Learning from Observations multi perspective
Autor*innen
Susanna Maria Weinberger
Haupttitel (Englisch)
Imitation learning from multiple perspectives
Hauptuntertitel (Englisch)
a multi-discriminator framework
Paralleltitel (Deutsch)
Imitierendes Lernen mit mehreren Perspektiven
Paralleluntertitel (Deutsch)
ein Multi-Diskriminator Ansatz
Publikationsjahr
2023
Umfangsangabe
xv, 79 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Sebastian Tschiatschek
Klassifikation
54 Informatik > 54.72 Künstliche Intelligenz
AC Nummer
AC17014202
Utheses ID
69052
Studienkennzahl
UA | 066 | 645 | |