Detailansicht
Image analysis for extracting facts from images
Adrian Hofer
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Medieninformatik
Betreuer*in
Wolfgang Klas
DOI
10.25365/thesis.74013
URN
urn:nbn:at:at-ubw:1-14766.57176.965419-6
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Falsche oder irreführende Informationen im Internet erfordern spezifische Ansätze, die es ermöglichen, widersprüchliche Fakten zu überprüfen. Fact-Checking, wie es in dieser Arbeit betrachtet wird, bedeutet die Erkennung von widersprüchlichen oder inkonsistenten Daten im Web. Die Rolle von Bildern bei der Faktenüberprüfung ist von zentraler Bedeutung, da Bilder ein grundlegender Bestandteil von Informationen im Web sind. Es ist jedoch immer noch nicht bekannt, wie man am besten Fakten aus Bildern extrahiert. Szenegraphen, kombiniert mit Entity Linking, sind ein möglicher Kandidat, um Fakten aus Bildern zu extrahieren. Die hier vorgestellte Pipeline zur Extraktion von Fakten aus Bildern wurde unter der Annahme entwickelt, dass das System in großem Maßstab eingesetzt werden soll und im Rahmen von FactCheck verwendet werden kann. Unter Berücksichtigung dieser Voraussetzungen wird eine Bildähnlichkeitsmessung analysiert, um Bilder auszuwählen, die abgeglichen werden können. Es gibt zwei prototypische Implementierungen für die Faktenextraktionspipeline. Eine Implementierung in Jupyter Notebooks zeigt die Ausführung der Pipeline und bildet eine mögliche Arbeitsumgebung für Studenten in diesem Bereich. Eine zweite Implementierung zeigt die Verwendung der Pipeline in einer Cloud-Umgebung. Die Qualität der Fakten wird durch ein erlerntes Link-Vorhersagemodell auf Wikidata bestimmt, das die Triplets des Szenegraphen bewertet, die Links zu Entitäten auf Wikidata haben. Die Bewertung der Objekterkennung und der Erzeugung des Szenegraphen wirkt sich direkt auf die Qualität der Triplets aus. Die Qualität der erzeugten Triplets liegt unter den am besten bewerteten Triplets des Modells. Diese Arbeit bietet einen praktikablen Ansatz für die Extraktion von Fakten aus Bildern. Fakten sind dabei die Eigenschaft-Werte-Paare in einem Ressourcenbeschreibungs-Framework-Triplet.
Abstract
(Englisch)
False or misleading information on the web calls for specific approaches that allow to check facts that are conflicting. Fact-checking, as considered in this thesis, means the detection of conflicting or inconsistent data on the web. The role of images in fact-checking is central because images are a fundamental part of information on the web. However, it is still not known what the best way to extract facts from images is. Scene graphs, combined with entity linking, are a potential candidate technique to extract facts from images. The presented pipeline to extract facts from images is designed under the assumption that the system should be used on a large scale and can be used within the FactCheck framework. Considering these prerequisites, an image similarity measurement is analyzed to select images that can be matched. There are two prototypical implementations for the fact extraction pipeline. One implementation in Jupyter Notebooks showcases the execution of the pipeline and builds a potential environment for students in this field to work on. A second implementation showcases the use of the pipeline in a cloud environment. The quality of facts is determined by a learned link prediction model on Wikidata, which scores the triplets of the scene graph that have links to entities on Wikidata. The score of object detection and scene graph generation directly impacts the quality of triplets. The quality of produced triplets is under the best-scoring triplets in the model. This thesis provides a feasible approach for extracting facts, which are the property-value pairs in a resource description framework triplet, from images.
Schlagwörter
Schlagwörter
(Deutsch)
Informatik Bilder Extraktion Bildähnlichkeit Szenegraph Objekterkennung Gesichtserkennung Wissensgraph Wissensdatenbank
Schlagwörter
(Englisch)
Computer Science Image Extraction Image Similarity Scene Graph Object Detection Face Recognition Knowledge Graph Knowledge Base
Autor*innen
Adrian Hofer
Haupttitel (Englisch)
Image analysis for extracting facts from images
Paralleltitel (Deutsch)
Bildanalyse zur Extraktion von Fakten aus Bildern
Publikationsjahr
2023
Umfangsangabe
xv, 111 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Wolfgang Klas
AC Nummer
AC16920293
Utheses ID
67684
Studienkennzahl
UA | 066 | 935 | |