Detailansicht
Preconditioning in Graph Neural Network optimization
Simon Fetzel
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Informatik
Betreuer*in
Wilfried Gansterer
DOI
10.25365/thesis.76444
URN
urn:nbn:at:at-ubw:1-15692.37671.550736-4
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Vorkonditionierung in der Optimierung von neuronalen Netzwerken hat Aufmerksamkeit erlangt, da Methoden wie Kronecker-Faktorisierte-Approximierte-Krümmung (K-FAC) die Konvergenz des Trainingprozesses verbessert. Diese Masterarbeit untersucht die Anwendung von K-FAC auf die Optimierung von Graph Neuronalen Netzwerken (GNN) und erklärt die Besonderheiten, die dabei auftreten. K-FAC wird mit anderen Vorkonditionierungsmethoden verglichen, wie der Hessian-Free Methode, die das conjugate gradient Verfahren für die Vorkonditionierung anwendet. Die Effizienz und die Hyperparameter werden ebenfalls diskutiert. Der theoretische Teil der Arbeit beinhaltet eine Einführung in mehrdimensionale Ableitungen und erklärt die Berechnung von zweiten Ableitungen mit Vektorisierung. Es konnte in Experimenten beobachtet werden, dass mit K-FAC trainierte Modelle für Knotenklassifikation eine Tendenz für Überanpassung hatten. Hingegen konnten Verbesserungen in Experimenten mit Graphenklassifizierung mit dem TUDataset beobachtet werden.
Abstract
(Englisch)
Preconditioning in the optimization of neural networks has gained attention, as Kronecker-Factored-Approximate-Curvature (K-FAC) showed to improve the training convergence. This thesis investigates the application of K-FAC to Graph Neural Networks (GNNs) for preconditioning and explores the specific considerations for GNNs in this context. K-FAC is compared with Hessian-Free optimization methods, which utilize the conjugate gradient algorithm for preconditioning. The efficiency and hyperparameters of K-FAC are also discussed. The theoretical part includes an introduction to multivariable calculus and explains the calculation of second-order derivatives with vectorization. It was observed that models trained on the Planetoid dataset for node classification with K-FAC showed a tendency to overfit. Additionally, experiments on graph classification tasks using K-FAC on the TUDataset demonstrated improvements on some datasets and models.
Schlagwörter
Schlagwörter
(Deutsch)
Graph Neuronale Netzwerke Informatik Hesse-Matrix Optimierung
Schlagwörter
(Englisch)
Graph Neural Networks computer science Fisher-matrix Hessian-matrix Optimization
Autor*innen
Simon Fetzel
Haupttitel (Englisch)
Preconditioning in Graph Neural Network optimization
Paralleltitel (Deutsch)
Vorkonditionierung in der Optimierung von Graph Neuronalen Netzwerken
Publikationsjahr
2024
Umfangsangabe
vii, 82 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Wilfried Gansterer
Klassifikation
54 Informatik > 54.72 Künstliche Intelligenz
AC Nummer
AC17265704
Utheses ID
72339
Studienkennzahl
UA | 066 | 921 | |