Detailansicht
Automated queueing in opera.guru through live music alignment
Dennis Gubbels
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Informatik
Betreuer*in
Peter Reichl
Mitbetreuer*in
Oliver Hödl
DOI
10.25365/thesis.71991
URN
urn:nbn:at:at-ubw:1-15649.15994.314324-6
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Opera.guru, "the smart subtitle solution", bietet eine Lösung Opern und andere Live-Aufführungen in Echtzeit zu untertiteln. Heutzutage ist ein Bediener erforderlich, der während der Aufführung Untertitelmeldungen zum richtigen Zeitpunkt sendet. Im Rahmen dieser Arbeit wurde ein automatisches System entwickelt, das diese Aufgabe übernehmen kann, sofern eine Tonaufnahme vorab vorhanden ist. Das System basiert auf dem Abgleich von Musiksequenzen, verwendet die Methode des Online Dynamic Time Warping und wurde erfolgreich in das bestehende System von opera.guru integriert. Zusätzlich wurden einige Erweiterungen des Basisalgorithmus entwickelt und analysiert. Besonders effektiv ist eine Erweiterung, die Kostenmatrizen verarbeitet, womit lineare Muster reduziert werden. Dies führt zu einer signifikanten Reduktion von großen Abgleichs-Fehlern. Simulierte Tests erwiesen, dass das System eine Aufführung von der Oper Verdi’s Rigoletto zwar effektiv verfolgen kann, mit der aktuellen Version aber nicht garantieren kann, dass der Abgleich während der gesamten Aufführung in hohe Maße akkurat bleibt. In einem Benutzertest, bei dem ein Teil von Rigoletto vorgeführt wurde, erwies sich das System bei der Automatisierung von opera.guru als effektiv. Die dazugehörige Umfrage zeigte, dass die Teilnehmer mit dem System in gleichem Maße zufrieden sind wie mit der manuellen Bedienung.
Abstract
(Englisch)
Opera.guru, the smart subtitle solution, provides users with subtitles during live performances, particularly Operas. At present, opera.guru requires human control for every performance to release subtitles with the correct timing. In this project, an automated system is created that replaces this role, provided that a single recorded performance is available. The system is built on real-time music sequence alignment through the Online Dynamic Time Warping method. It is successfully integrated into the existing opera.guru service. A number of novel extensions to the base algorithm and existing improvements are developed and evaluated. Of these, a new matrix pre-processing step to reduce linear patterns proves especially effective, producing a significant reduction in large alignment-errors. In simulated testing, the system proved capable of effectively tracking a performance of Verdi’s Rigoletto, but was not able to guarantee high accuracy throughout the full performance. During a user experience trial, the algorithm effectively aligned an excerpt from Rigoletto with sufficient accuracy for the opera.guru use case. The survey responses from the audience of this trial indicate that there is no significant difference in user experience between a human operator and the automated system.
Schlagwörter
Schlagwörter
(Deutsch)
Musikabgleich opera.guru Echtzeit Automatisierung Partiturverfolgung Oper
Schlagwörter
(Englisch)
music alignment opera.guru live automation score following opera
Autor*innen
Dennis Gubbels
Haupttitel (Englisch)
Automated queueing in opera.guru through live music alignment
Paralleltitel (Deutsch)
Automatisierte Bedienung für opera.guru durch Live-Musikabgleich
Publikationsjahr
2022
Umfangsangabe
xi, 61 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Peter Reichl
Klassifikationen
54 Informatik > 54.08 Informatik in Beziehung zu Mensch und Gesellschaft ,
54 Informatik > 54.80 Angewandte Informatik
AC Nummer
AC16597265
Utheses ID
63916
Studienkennzahl
UA | 066 | 921 | |