Detailansicht
Hyperparameter optimization for the application of neural manifold learning algorithm Bundle-Net on novel datasets
Emilija Mazūraitė
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Physik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Computational Science
Betreuer*in
Moritz Grosse-Wentrup
Mitbetreuer*in
Akshey Kumar
DOI
10.25365/thesis.77977
URN
urn:nbn:at:at-ubw:1-10762.50564.883081-4
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Neuronale Daten sind von Natur aus verrauscht, und experimentelle Einschränkungen führen oft zu kleinen Datensätzen. Das maschinelle Lernen mit solchen Daten kann anspruchsvoll sein, und die Modelle müssen sorgfältig abgestimmt werden, um eine robuste Leistung zu gewährleisten. Dieser Abstimmungsprozess umfasst die Anpassung von Variablen, die für das Training benötigt werden, jedoch nicht aus den Daten gelernt werden. Er muss für jeden neuen Datensatz erneut durchgeführt werden. BunDLe-Net ist ein Algorithmus, der latente neuronale Repräsentationen anhand gemeinsamer neuronaler und verhaltensbezogener Aufzeichnungen lernt. In diesem Projekt wird eine Toolbox zur Hyperparameter-Optimierung (HPO) eingeführt, die schrittweise die optimalen Hyperparameter für die Anwendung von BunDLe-Net auf neue Datensätze bestimmt und die abgeleiteten Werte für die Kodierung von Verhaltensinformationen durch Permutationstests validiert. Die Hyperparameter wurden mit einer Kombination aus einem Bayes’schen Optimierungsalgorithmus, Tree-structured Parzen Estimator (TPE), Gittersuche für kleine Suchräume zur Robustheitssteigerung und statistischen Tests optimiert, um die optimale latente Dimension zu bestimmen, ohne Annahmen über die Struktur der Mannigfaltigkeiten zu treffen. Die vorgeschlagene HPO-Methode übertrifft in fünf von sieben Datensätzen die Basismethode Random Search. Die mit BunDLe-Net und optimierter Hyperparameterkonfiguration abgeleiteten neuronalen Mannigfaltigkeiten zeigten eine signifikant bessere Verhaltenskodierung für reale Verhaltensdatensätze, während sie für Rauschdatensätze auf Zufallsniveau lagen. Diese Ergebnisse zeigen, dass die Leistung des BunDLe-Net-Modells durch eine systematische Optimierung verbessert werden kann, es aber zugleich robust gegenüber suboptimalen Einstellungen bleibt.
Abstract
(Englisch)
Neural data are inherently noisy, and experimental constraints often lead to small datasets. Machine learning inference using such data can be challenging and models need to be carefully tuned to ensure robust performance. This tuning process involves adjusting variables that are needed for training but are not learned from data, and this procedure has to be done for each new dataset. BunDLe-Net is a neuronal manifold learning algorithm that learns latent neural representations using joint neural and behavioural recordings. This project introduces a hyperparameter optimization (HPO) toolbox that sequentially identifies optimal hyperparameters for BunDLe-Net's application to novel datasets and validates the inferred manifold for behavioural information encoding using permutation testing. Hyperparameters were optimized using a combination of Bayesian optimisation algorithm, Tree-structured Parzen Estimator, grid search for hyperparameters with small search spaces to ensure robustness, and statistical testing to determine the optimal latent dimension without assuming manifold properties. The proposed HPO method shows improved performance over the baseline method, Random Search, in five out of seven datasets. Neural manifolds inferred with BunDLe-Net, configured with optimal hyperparameters, showed significantly better-than-chance behavioral encoding for real behavioural datasets, while performing at chance level for noise datasets. This result indicates that the validation methodology can be used to confirm that the inferred manifold is not informative in the absence of meaningful behavioural signals. These findings demonstrate that the BunDLe-Net model's performance can benefit from systematic optimization, but it is robust to suboptimal tuning.
Schlagwörter
Schlagwörter
(Deutsch)
neural manifold learning hyperparameter optimierung
Autor*innen
Emilija Mazūraitė
Haupttitel (Englisch)
Hyperparameter optimization for the application of neural manifold learning algorithm Bundle-Net on novel datasets
Publikationsjahr
2025
Umfangsangabe
xi, 62 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Moritz Grosse-Wentrup
Klassifikation
54 Informatik > 54.72 Künstliche Intelligenz
AC Nummer
AC17470707
Utheses ID
74874
Studienkennzahl
UA | 066 | 910 | |