Detailansicht
Prototype-based representation learning with deep clustering
Lukas Johannes Miklautz
Art der Arbeit
Dissertation
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Dr.-Studium der technischen Wissenschaften (DissG: Informatik)
Betreuer*in
Claudia Plant
DOI
10.25365/thesis.74356
URN
urn:nbn:at:at-ubw:1-14235.12428.257772-9
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Clustering ist ein grundlegendes Gebiet der Datenwissenschaften. Beim Clustering handelt es sich um ein Verfahren das Gruppen von Objekten in Daten findet, die ähnliche Merkmale aufweisen, während unähnliche Objekte getrennt bleiben. In den letzten Jahren hat die zunehmende Größe, Dimensionalität und Heterogenität von Daten zu einer entsprechenden Zunahme von Clustering-Methoden geführt, um diesen neuen Herausforderungen zu begegnen. Beispielsweise funktioniert das Clustering hochdimensionaler Objekte wie Bilder im Pixelraum nicht zufriedenstellend. Dies hat zu einem wachsenden Interesse an der Kombination von Deep Learning mit Clustering, dem so genannten Deep Clustering, geführt. Algorithmen dieser Art kombinieren die nichtlineare Repräsentation eines selbstüberwachten oder unüberwachten Deep Learning Algorithmus, z. B. eines Autoencoders, mit einem Clustering-Ziel und optimieren beide gleichzeitig. In dieser Arbeit konzentrieren wir uns auf das Lernen von Repräsentationen (representation learning) für das Clustering und schlagen mehrere Methoden vor, die den Deep Clustering Algorithmen neue Möglichkeiten eröffnen. Wir stellen ENRC (Embedded Non-Redundant Clustering) vor, die erste Deep Clustering Methode, die mehrere, nicht redundante Clusterings unterschiedlicher Dimensionalität in hochdimensionalen Daten wie Bildern finden kann. Zum Beispiel kann das Bild eines roten Würfels einmal nach seiner Form und einmal nach seiner Farbe gruppiert werden. ENRC erreicht das, indem es lernt, die Darstellung in nützliche Merkmale für jedes Clustering aufzuteilen. In Zusammenarbeit mit Archäologen haben wir ENRC eingesetzt, um nicht redundante Clusterings von Bildern frühmittelalterlicher Glasperlen zu finden. Dies führte zur ersten Anwendung des nicht-redundanten Clusterings auf Bildern archäologischer Artefakte. Aufbauend auf der Idee, die gelernte Repräsentation in weitere Teile zu zerlegen, führen wir ACe/DeC (Autoencoder Centroid-based Deep Clustering) ein. ACe/DeC teilt die Autoencoder-Repräsentation in Merkmale, die für das Clustering relevant sind, und in Merkmale, die für die Autoencoder Rekonstruktion relevant sind. Die getrennte Repräsentation führt zu einem robusteren Clusteringresultat in Bezug auf die Wahl der Lernrate, beseitigt schwierig zu bestimmende Hyperparameter und macht das Clustering-Ergebnis einfacher zu interpretieren. ENRC, ACe/DeC und viele andere bestehende Deep Clustering Methoden gehen beim Lernen der Repräsentation von k-Means-artigen Clustern aus. Dies führt zu mehreren Einschränkungen, wie zum Beispiel die Beschränkung auf sphärische Cluster. Mit DECCS (Deep Embedded Clustering with Consensus representationS) stellen wir einen Deep Clustering Algorithmus vor, der mehrere bestehende Clustering-Methoden in einem Ensemble kombinieren kann, um eine einzige Konsensusrepräsentation zu erlernen, auf der alle Ensemblemitglieder ein Konsensusclustering erreichen. Dadurch findet DECCS auch nicht sphärische Cluster. Die vorgestellten Methoden basieren auf dem Konzept des prototypenbasierten Lernens von Repräsentationen für das Clustering, bei dem Prototypen zur Anleitung des Deep Clustering Prozesses verwendet werden. Darüber hinaus zeichnen sich die Methoden durch die Einbeziehung von Konzepten aus Unterraum-, nicht redundanten und Konsensus-Clustermethoden aus, was zu neuen Ansätzen in der Deep Clustering Forschung führt.
Abstract
(Englisch)
Clustering is a fundamental task in data science. Clustering is concerned with finding groups of objects in data that share similar characteristics, while keeping dissimilar objects separated. In recent years, the increase in size, dimensionality and heterogeneity of data has led to a corresponding increase in clustering methods to address these novel challenges. For example, clustering high-dimensional objects such as images directly in the pixel space does not work satisfactorily. This has led to a growing interest in combining deep learning with clustering, known as deep clustering. Algorithms of this type combine the non-linear representation of a self-supervised or unsupervised deep learning algorithm, e.g., an autoencoder, with a clustering objective and optimize both simultaneously. In this thesis, we focus on learning representations for clustering and propose several methods that provide novel capabilities to deep clustering algorithms. We introduce ENRC (Embedded Non-Redundant Clustering), the first deep clustering method that can find multiple, non-redundant clusterings of different dimensionalities in high-dimensional data, like images. For instance, the image of a red cube can be clustered once according to its shape and once according to its color. ENRC does this by learning to split the representation into useful features for each clustering. In cooperation with archaeologists, we use ENRC to find non-redundant clusterings of images of Early Medieval glass beads. This led to the first application of non-redundant clustering to images of archaeological artifacts. Building on the idea of splitting the learned representation into further parts, we introduce ACe/DeC (Autoencoder Centroid-based Deep Clustering). ACe/DeC splits the autoencoder representation into features relevant to the clustering task and features relevant to the autoencoder reconstruction task. The separated representation leads to a more robust clustering performance with respect to the choice of learning rate, removes difficult to tune hyperparameters and makes the clustering result easier to interpret. ENRC, ACe/DeC and many other existing deep clustering methods assume k-means-like clusters during representation learning. This has several limitations, such as the restriction to spherical clusters. With DECCS (Deep Embedded Clustering with Consensus representationS), we present a deep clustering algorithm that can combine several existing clustering methods in an ensemble to learn a single consensus representation on which all ensemble members achieve a consensus clustering. This enables DECCS to find non-spherical clusters as well. The introduced methods are built around the notion of prototype-based representation learning for clustering, where prototypes are used to guide the deep clustering process. Further, the methods are characterized by incorporating concepts from subspace, non-redundant, and consensus clustering methodologies, leading to novel approaches in deep clustering research.
Schlagwörter
Schlagwörter
(Deutsch)
Clustering Deep Learning Representation Learning Data Mining Machine Learning
Schlagwörter
(Englisch)
Clustering Deep Learning Representation Learning Data Mining Machine Learning
Autor*innen
Lukas Johannes Miklautz
Haupttitel (Englisch)
Prototype-based representation learning with deep clustering
Paralleltitel (Deutsch)
Prototyp-basiertes Repräsentationslernen mit Deep Clustering
Publikationsjahr
2023
Umfangsangabe
x, 101 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*innen
Efstratios Ioannidis ,
Matthias Renz
Klassifikationen
54 Informatik > 54.72 Künstliche Intelligenz ,
54 Informatik > 54.74 Maschinelles Sehen
AC Nummer
AC16950685
Utheses ID
66768
Studienkennzahl
UA | 786 | 880 | |