Detailansicht
Investigating plasticity loss during the self-labeling stage in deep clustering
Andrii Shkabrii
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Informatik
Betreuer*in
Claudia Plant
Mitbetreuer*in
Lukas Miklautz
DOI
10.25365/thesis.77712
URN
urn:nbn:at:at-ubw:1-16568.36613.785087-0
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Beim Clustering geht es darum, Datenpunkte auf der Grundlage von Ähnlichkeiten in sinnvolle Gruppen zu unterteilen. Deep Clustering baut auf dieser Grundlage auf und nutzt tiefe neuronale Netze, um umfassendere und repräsentativere Dateneinbettungen zu erlernen. Um die Qualität der Cluster-Zuordnungen zu verbessern, werden Netzwerke häufig durch Self-Labeling feinabgestimmt. Das Self-Labeling-Verfahren basiert jedoch auf dem Training mit verrauschten, selbst erstellten Labels anhand der nächsten Nachbarn. Um den Einfluss des Rauschens zu reduzieren, schlagen die Autoren eine Konfidenzschwelle vor. Dies stellt eine weitere Herausforderung während des Trainings dar - die zunehmende Größe der Trainingsdaten während der Self-Labeling-Phase. In der Praxis kann dieses Szenario zu Generalisierungsproblemen führen. In dieser Arbeit lassen wir uns von neueren Forschungen zur Plastizität von neuronalen Netzwerken inspirieren und wenden Techniken zum Zurücksetzen von Gewichten während des Self-Labeling-Prozesses an. Wir zeigen, dass der SCAN-Algorithmus durch den Einsatz von Gewichtsrücksetzungstechniken während des Self-Labelings seine Leistung steigert und seine Generalisierungsfähigkeit verbessert. Unsere Ergebnisse verdeutlichen die Grenzen des Self-Labelings, unterstreichen die Bedeutung zuverlässiger, algorithmusagnostischer Techniken und bieten eine Grundlage für die Entwicklung robusterer Self-Labeling-Methoden.
Abstract
(Englisch)
Clustering algorithms organize data points into meaningful groups based on their similarity. Deep clustering builds on this foundation by leveraging deep neural networks to learn richer and more representative data embeddings to improve the quality of cluster assignments. To further improve cluster performance practitioners often fine-tune networks through self-labeling, a separate training stage after deep clustering. However, the self-labeling procedure relies on training with noisy, self-constructed labels from nearest neighbors. To mitigate the influence of noise, the authors propose a confidence threshold. This introduces another challenge during training - the increasing size of the training data during the self-labeling stage. In practice, this scenario may encounter generalization difficulties. In this thesis, we draw inspiration from recent works on neural network plasticity and apply weight-reset techniques during the self-labeling stage. We demonstrate that employing weight-reset techniques during the self-labeling process in the SCAN algorithm increases performance and improves generalizability. Our findings address the limitations of self-labeling and highlight the importance of reliable, algorithm-agnostic techniques and provide a foundation for future research in developing more robust self-labeling approaches.
Schlagwörter
Schlagwörter
(Deutsch)
Maschinelles Lernen Data Mining Clustering Deep Learning
Schlagwörter
(Englisch)
Machine Learning Data Mining Clustering Deep Learning
Autor*innen
Andrii Shkabrii
Haupttitel (Englisch)
Investigating plasticity loss during the self-labeling stage in deep clustering
Publikationsjahr
2025
Umfangsangabe
xv, 47 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Claudia Plant
Klassifikationen
54 Informatik > 54.72 Künstliche Intelligenz ,
54 Informatik > 54.74 Maschinelles Sehen
AC Nummer
AC17431949
Utheses ID
74553
Studienkennzahl
UA | 066 | 921 | |