Detailansicht
Adaptive gesture recognition system, transforming dance performance into music
Evaldas Jablonskis
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Philosophie und Bildungswissenschaft
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Joint Degree Programme MEi :CogSci Cognitive Science
Betreuer*in
Hannes Kaufmann
DOI
10.25365/thesis.52586
URN
urn:nbn:at:at-ubw:1-10409.00762.395361-1
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Das Ziel dieser Arbeit war, ein Gestenerkennungssystem zu entwickeln, welches Tanz zu Musik umwandelt und dabei einen maschinellen Lernalgorithmus nutzen konnte. Das Projekt dieser These war in sechs Phasen, den Verarbeitungsketten, gegliedert: Eingang, Merkmalsextraktion, Segmentierung, Klassifizierung, Nachbearbeitung und Ausgabe.
Microsoft Kinect v2 Gerät wurde als Eingabemedien ausgewählt. Kinect SDK 2.0 wurde ausgewählt, um relevante Merkmale aus dem Tiefenbild zu extrahieren. Das Bar-Maß wurde als der geeignetste Ansatz zur Segmentierung des Datenstroms auf verschiedene Gesten gewählt. Dynamic Time Warping wurde als der am besten geeignete Algorithmus ausgewählt. Die Umgebung von EyesWeb wurde ausgewählt, um eine vorhergesagte Kategorie in einen Tonauslöser zu verwandeln und eine "Gesten Engine" zu erstellen. Ableton Live wurde ausgewählt, als "Musik Engine" zu fungieren.
Das entworfene System hat virtuelle Instrumente mit Körperteilen gepaart: Das System musste Gesten jeder Gruppe von Körperteilen lernen und wissen, welche Geste welchen Clip in einer Musikkomposition spielt. Ein funktionierender Prototyp eines solchen Systems wurde implementiert und geprüft. Die Ergebnisse unterstützten die Hypothese von dieser Arbeit, dass ein maschineller Lernalgorithmus für die flexible Gestenerkennung verwendet werden kann.
Die Leistung des Systems wurde unter verschiedenen Bedingungen bewertet, um eigene Stärken und Schwächen aufzudecken. Messungen basierend auf der Signaldetektionstheorie wurden sowohl in der Anpassungs- als auch in der Kreuzvalidierungsanalyse berechnet. Die Ergebnisse zeigten eine sehr hohe Vorhersagegenauigkeit des Systems: in den meisten Fällen waren es mehr als 90 %. Die Analyse zeigte, dass das System am besten funktioniert, wenn alle vorhergesagten Gesten in dem Trainingsdatenset aufgenommen wurden und wenn jede Geste mindestens 16 Trainingsproben hatte.
Abstract
(Englisch)
The objective of this thesis was to develop a gesture recognition system that would transform dance to music using a machine learning algorithm. This thesis is divided into the six stages of the processing chain: Input, Feature Extraction, Segmentation, Classification, Post-processing, Output.
Microsoft Kinect v2 device was chosen as input. Kinect SDK 2.0 was chosen to extract relevant features from the depth image. Music bar measure was chosen as the most suitable approach to segment the data stream to distinct gestures. For classification, Dynamic Time Warping was chosen as the most suitable algorithm. EyesWeb environment was chosen for post-processing and to build an overall “gesture engine”. Ableton Live was selected to function as the output.
The designed system coupled virtual instruments with body parts: the system had to learn gestures of each group of body parts and know how gestures were paired with music clips in a composition. A working prototype of such a system was implemented and tested. Results supported the hypothesis of this thesis that a machine learning algorithm could be used for flexible gesture recognition.
Performance of the system under various conditions was evaluated in order to reveal its strengths and weaknesses. Results disclosed a very high prediction accuracy of the system: in most of the cases it was over 90%. Analysis showed that the system performed best when all predicted gestures were included in the training dataset and when each gesture had at least 16 training samples.
Schlagwörter
Schlagwörter
(Englisch)
Gesture recognition system machine learning algorithms Kinect EyesWeb
Schlagwörter
(Deutsch)
Gestenerkennungssystem maschinelle Lernalgorithmen Kinect EyesWeb
Autor*innen
Evaldas Jablonskis
Haupttitel (Englisch)
Adaptive gesture recognition system, transforming dance performance into music
Publikationsjahr
2018
Umfangsangabe
108 Seiten : Illustrationen, Diagramme
Sprache
Englisch
Beurteiler*in
Hannes Kaufmann
AC Nummer
AC15318176
Utheses ID
46443
Studienkennzahl
UA | 066 | 013 | |