Detailansicht
Invertibility and stability in neural networks
tools from frame theory
Daniel Haider
Art der Arbeit
Dissertation
Universität
Universität Wien
Fakultät
Fakultät für Mathematik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Doktoratsstudium Naturwissenschaften: Mathematik
Betreuer*in
Peter Balazs
DOI
10.25365/thesis.79359
URN
urn:nbn:at:at-ubw:1-13268.54354.660524-8
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Die vorliegende Dissertationsschrift untersucht die Invertierbarkeit und Stabilität von Layern in künstlichen neuronalen Netzwerken in verschiedenen Szenarien mit Hilfe von Werkzeugen aus der Frametheorie. Sie basiert auf vier Forschungsarbeiten und folgt zwei Hauptsträngen. Der erste Strang widmet sich der Injektivität und Stabilität von Layern mit ReLU Aktivierung. Für einen gegebenen Biasvektor und eine Datenmenge geben wir eine Familie von Frames an, die die Injektivität der entsprechenden ReLU-Schicht auf dieser Datenmenge charakterisiert. Durch das Fixieren anderer Komponenten ergeben sich alternative Charakterisierungen der Injektivität. Darauf aufbauend leiten wir praktisch anwendbare Kriterien zur Überprüfung der Injektivität ab, geben explizite Rekonstruktionsformeln an und beweisen eine neue untere Lipschitzschranke für ReLU Layer, die bis auf eine Konstante optimal ist. Im zweiten Strang geht es um die Stabilität von Faltungsarchitekturen für Audiosignale als Input. Wir stellen Abschätzungen von Frameschranken und Charakterisierungen von Tightness vor, die nur auf den Aliasingtermen aus der zugehörigen Walnut Darstellung basieren. Daraus ergibt sich eine Methode zur Verbesserung der Stabilität bei der Tightness durch gezielte Unterdrückung von Aliasing approximiert wird. Zudem formalisieren wir wie bestimmte Signalmerkmale die Stabilität bei zufällig initialisierten Filterkernen beeinflussen können und beschreiben das statistische Verhalten der Frameschranken sowie der Aliasingterme.
Abstract
(Englisch)
This thesis investigates the invertibility and stability of neural network layers in different scenarios using tools from frame theory. Based on four research papers, it follows two main threads. The first thread focuses on layers with ReLU activation. For a given bias vector and a data domain, we introduce a family of frames that characterize when the corresponding ReLU layer is injective on that domain. Alternative characterizations arise when fixing either the bias or the data domain. Based on these insights, we derive practical sufficient criteria, provide reconstruction formulas, and prove a novel lower Lipschitz stability bound for ReLU layers that is optimal up to a constant. The second thread addresses the stability of the linear component of convolutional layers for audio input. We present a natural way of estimating frame bounds and characterizing tightness via the aliasing terms in the associated Walnut representation. This leads to a systematic approach for improving stability where tightness is approximated by suppressing aliasing. For randomly initialized filter kernels, we formalize how signal characteristics can influence stability, and describe the statistical behavior of the frame bounds and the aliasing terms.
Schlagwörter
Schlagwörter
(Deutsch)
Neuronale Netzwerke Frametheorie Invertierbarkeit Stabilität ReLU Faltung
Schlagwörter
(Englisch)
Neural networks Frame theory Invertibility Stability ReLU Convolution
Autor*innen
Daniel Haider 
Haupttitel (Englisch)
Invertibility and stability in neural networks
Hauptuntertitel (Englisch)
tools from frame theory
Paralleltitel (Deutsch)
Invertierbarkeit und Stabilität in Neuronalen Netzwerken
Paralleluntertitel (Deutsch)
Werkzeuge aus der Frametheorie
Publikationsjahr
2025
Umfangsangabe
xi, 166 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*innen
Radu Balan ,
Brody Johnson
Klassifikationen
31 Mathematik > 31.35 Harmonische Analyse ,
54 Informatik > 54.72 Künstliche Intelligenz
AC Nummer
AC17647991
Utheses ID
76866
Studienkennzahl
UA | 796 | 605 | 405 |