Detailansicht
AI in the archive
a computational film analysis of Jim Hubbard's AIDS activist videos
Manuel Meschiari
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Philologisch-Kulturwissenschaftliche Fakultät
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Digital Humanities
Betreuer*in
Rebecca Josina Kahn
DOI
10.25365/thesis.78520
URN
urn:nbn:at:at-ubw:1-23963.00597.347678-1
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Das Ziel dieser Masterarbeit besteht darin zu zeigen, wie der Einsatz von Computer Vision, maschinellem Lernen und Methoden der Künstlichen Intelligenz die audiovisuelle Analyse von großen Sammlungen digitaler Archive unterstützen kann. Darüber hinaus wird auch Multimodalität integriert, und zwar durch die computergestützte Textanalyse von KI-generierten Beschreibungen. Für diesen Ansatz wurde die Filmografie von Jim Hubbard aus dem AIDS activist video Archiv und aus seiner eigenen digitalen Online-Sammlung für die Analyse ausgewählt. Der Grund für diese Wahl ist der Drang, sich mit den Geschichten von Minderheiten und vernachlässigten Archiven innerhalb der Digital Humanities-Forschung zu beschäftigen. Darüber hinaus eignet sich der experimentelle Charakter von Hubbards Filmen perfekt für eine computergestützte Filmanalyse, da der Schwerpunkt auf den stilistischen formalistischen Elementen liegt, die auf der Leinwand erscheinen. In meiner Studie schlage ich eine Filmanalyse-Pipeline vor, die mit der Erkennung von Bildgrenzen und Helligkeitsstufen durch die Funktionen des Distant Viewing Toolkit von Arnold und Tilton beginnt. Es folgt eine Analyse der Bewegung und der Farben durch den Einsatz von Computer Vision Libraries wie OpenCV. Dann geht Googles Gemini-Vision-Modell mit Hilfe von generativer KI die erkannten Aufnahmen durch und erstellt ein Beschreibungsblatt. Die Analyse schließt mit einer Textanalyse dieser Beschreibung mit Nautral Language Processing Methoden ab. Mit dieser Analyse zielt meine Dissertation darauf ab, eine Brücke zu schlagen zwischen den Schwierigkeiten bei der eingehenden Analyse großer und komplexer audiovisueller Archive, insbesondere solcher aus unterrepräsentierten Communities, und dem Potenzial integrierter computergestützter Methoden, um deren formale und ästhetische Qualitäten für eingehende Studien zugänglich zu machen.
Abstract
(Englisch)
This master’s thesis goal is to show how the employment of Computer Vision, Machine Learning and Artificial Intelligence tools and methods can benefit the audiovisual analysis of digital archives’ large collections. Moreover, multimodality is also incorporated, with the computational text analysis of AI-generated descriptions. For this approach, Jim Hubbard’s filmography from the AIDS activist videos archive and from his own online digital collection has been chosen for the analysis. The reason behind this choice is the urge of engaging with minorities’ stories and neglected archives within the Digital Humanities scholarship. Furthermore, the experimental nature of Hubbard’s films lends themselves perfectly for a computational film analysis, given its focus on the stylistic formalist elements that appear on screen. In my study I propose a film analysis pipeline that starts from shot boundaries detection and brightness levels through the functions included in Arnold and Tilton’s Distant Viewing Toolkit. It is followed by an analysis of the movement and the colors through the use of computer vision libraries such as OpenCV. Then with the use of generative AI, Google’s Gemini vision model goes through the detected shots and creates a description sheet. The analysis concludes with a text analysis of such description with Natural Language Processing methods. With this analysis my thesis aims at bridging the gap between the difficulties in conducting in-depth analysis of large and complex audiovisual archives, particularly those from underrepresented communities, and the potential for integrated computational methods to unlock and make their formal and aesthetic qualities accessible for in-depth studies.
Schlagwörter
Schlagwörter
(Deutsch)
Digital Humanities Filmwissenschaft Filmanalyse Maschinelles Sehen Künstliche Intelligenz AIDS Aktivismus
Schlagwörter
(Englisch)
Digital Humanities Film Studies Film Analysis Computer Vision Artificial Intelligence AIDS Activism
Autor*innen
Manuel Meschiari
Haupttitel (Englisch)
AI in the archive
Hauptuntertitel (Englisch)
a computational film analysis of Jim Hubbard's AIDS activist videos
Publikationsjahr
2025
Umfangsangabe
64 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Rebecca Josina Kahn
AC Nummer
AC17549720
Utheses ID
75992
Studienkennzahl
UA | 066 | 647 | |