Detailansicht
Approximation capabilities of deep ReLU neural networks
Dennis Maximillian Elbrächter
Art der Arbeit
Dissertation
Universität
Universität Wien
Fakultät
Fakultät für Mathematik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Doktoratsstudium NAWI aus dem Bereich Naturwissenschaften (DissG: Mathematik)
Betreuer*in
Philipp Grohs
DOI
10.25365/thesis.69465
URN
urn:nbn:at:at-ubw:1-11078.80295.269750-0
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Diese Thesis besteht aus einer Reihe von Publikationen die das Approximations-vermögen von tiefen ReLU Netzwerken untersuchen. Abstrakt gesehen, konstituieren sie parametrisierte Modelklassen für nichtlineare Approximation bei der die Parameter eine Folge von affinen Transformationen definieren aus welchen die korrespondierende Funktion erzeugt wird als Komposition dieser affinen Transformationen, wobei eine simple parameter-unabhängige Funktion zwichen jeweils zwei davon zwichengeschaltet wird. Diese Struktur stellt sicher, dass jede Komposition von Funktionen, die individuell effizient durch tiefe ReLU Netzwerke approximiert werden können, im Ganzen effizient durch tiefe ReLU Netzwerke approximiert werden kann. Wie in dieser Thesis gezeigt wird stellt sich dies als ein vielseitiges und mächtiges Werkzeug heraus. Unter anderem wird es verwendet um zu etablieren dass tiefe ReLU Netzwerke fähig sind Lösungen hochdimensionaler partieller Differentialgleichungen zu approximieren mit einer Anzahl von Parametern die nur polynomiell von der Dimension abhängt. Desweiteren wird gezeigt, dass sie, in einem Raten-Verzerrungs Sinn, mindestens so gut darin sind eine gegebene Funktionenklasse zu approximieren wie jedes klassische affine oder Weyl-Heisenberg Wörterbuch (z.B. Wavelet oder Gabor Frame), unter milden Anforderungen an ihre Generatorfunktionen. Letztlich wird ein Ansatz beschrieben welcher das Approximationsvermögen von neuralen Netzwerken verwendet um Szenarien zu bestimmen in welchen die Optimierungslandschaft beim Trainieren neuraler Netzwerke keine schlechten lokalen Minima hat.
Abstract
(Englisch)
This thesis contains a series of papers which explore the approximation capabilities of deep ReLU networks. Abstractly speaking they constitute parametrized model classes for nonlinear approximation, where the parameters define a sequence of affine transformations from which the corresponding function is obtained as the composition of these affine transformations with a simple parameter-independent nonlinear function interjected between every two of them. This structure ensures that any composition of functions which individually can be efficiently approximated by deep ReLU networks can itself be efficiently approximated by them. As shown in the thesis, this turns out to be a very versatile and powerful tool. Among other things it is used to establish that deep ReLU networks are capable of approximating the solutions to certain high dimensional partial differential equations with a number of parameters which depends only polynomially on the dimension. Furthermore it is shown that, in a rate-distortion sense, they are at least as good at approximating a given function class as any classical affine or Weyl-Heisenberg dictionary (e.g. wavelet or Gabor frame) under rather mild conditions on their generator functions. Lastly, a novel approach is developed which makes use of approximation capabilities of neural networks to determine scenarios in which the optimization landscape in neural network training does not have bad local minima.
Schlagwörter
Schlagwörter
(Englisch)
-
Schlagwörter
(Deutsch)
-
Autor*innen
Dennis Maximillian Elbrächter
Haupttitel (Englisch)
Approximation capabilities of deep ReLU neural networks
Paralleltitel (Deutsch)
Approximationsvermögen von tiefen ReLU neuralen Netzwerken
Publikationsjahr
2021
Umfangsangabe
1 Band (verschiedene Seitenzählungen)
Sprache
Englisch
Beurteiler*innen
Johannes Schmidt-Hieber ,
Reinhold Schneider
Klassifikation
31 Mathematik > 31.46 Funktionalanalysis
AC Nummer
AC16177457
Utheses ID
58834
Studienkennzahl
UA | 796 | 605 | 405 |