Detailansicht
Overcoming the curse of dimensionality for deep learning
Clemens Eckl
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Mathematik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Mathematik
Betreuer*in
Philipp Christian Petersen
DOI
10.25365/thesis.74754
URN
urn:nbn:at:at-ubw:1-26214.56323.797253-6
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Klassische mathematische Approximationsmethoden sind vom sogenannten „Fluch der Dimensionalität“ betroffen. Mit diesem Begriff wird eine exponentiell zunehmende Schwierigkeit des Lösens von Problemen mit zunehmender Dimension beschrieben. Anfang der 1990er Jahre zeigte Barron jedoch, dass die Approximation mit neuronalen Netzen unter bestimmten Annahmen über die zu approximierende Funktion diesen Fluch einigermaßen überwinden kann. Dies bedeutet, dass die Anzahl der benötigten Parameter (Schichten und Gewichte) bei der Approximation einer d-dimensionalen Funktion (abgesehen von einer kleinen Ungenauigkeit) mit neuronalen Netzen nicht exponentiell mit der Dimension des Defintionsbereichs wächst. Seitdem haben verschiedene Autoren unterschiedliche Ergebnisse in diese Richtung gezeigt und rigoros bewiesen. In dieser Arbeit werden ausgewählte Ergebnisse für eine heutzutage übliche Definition eines neuronalen Netzwerks und seiner Größe (gemessen in der Anzahl der Schichten und Gewichte ungleich 0) in vier Themenbereiche gruppiert. Für jeden dieser vier Bereiche werden Ergebnisse dargelegt und bewiesen, die zeigen, unter welchen Annahmen und in welchem Ausmaß die Approximation mit neuronalen Netzen den Fluch der Dimensionalität überwinden kann. Im ersten Bereich (in Kapitel 3) wird gezeigt, dass neuronale Netze hierarchisch zusammengesetzte Funktionen, die man sich als Funktionen glatter, niedrigdimensionaler Funktionen vorstellen kann, effizient approximieren können. Der zweite Bereich (Kapitel 4) behandelt Funktionen in einem hochdimensionalen Raum, von denen angenommen wird, dass sie nur auf einer niedrigerdimensionalen, glatten Mannigfaltigkeit ausgewertet werden. Kapitel 5 befasst sich mit Funktionen, deren gewichtete Fourier-Transformation beschränkt ist und basiert auf den Ergebnissen von Barron. Im letzten Teil (Kapitel 6) wird gezeigt, dass Lösungen bestimmter partieller Differentialgleichungen durch neuronale Netze annäherbar sind, ohne dass dabei der Fluch der Dimensionalität auftritt.
Abstract
(Englisch)
Classical mathematical approximation methods suffer from the “curse of dimensionality”. This term is used to describe an exponentially increasing difficulty of problems with increasing dimension. However, in the beginning of the 1990s it was shown by Barron that approximation with neural networks can, under specific assumptions on the function to be approximated, overcome this curse to some extent. This means that the number of needed parameters (layers and weights) when approximating a d-dimensional function (up to some small error) with neural networks does not grow exponentially with the input dimension. Since then, various authors have stated and rigorously proved different results in this direction. In this thesis for a nowadays common definition of neural network and its size (measured in the number of layers and non-zero weights) selected results are clustered into four topics. For each of these four areas results are stated and proved showing under which assumptions and to which extent approximation with neural networks overcomes the curse of dimensionality. In the first area (in Chapter 3) it is shown that neural networks can efficiently approximate hierarchically compositional functions, which can be thought of functions of smooth, lower-dimensional functions. The second cluster in Chapter 4 handles functions in a high-dimensional space which are assumed to be evaluated only on a lower-dimensional smooth manifold. Chapter 5 deals with functions whose weighted Fourier transform is bounded and is based on the results of Barron. In the last part (Chapter 6) solutions of certain PDEs are shown to be approximable by neural networks without the curse of dimensionality.
Schlagwörter
Schlagwörter
(Deutsch)
Deep Learning Fluch der Dimensionalität Neuronale Netzwerke
Schlagwörter
(Englisch)
deep learning curse of dimensionality neural networks
Autor*innen
Clemens Eckl
Haupttitel (Englisch)
Overcoming the curse of dimensionality for deep learning
Paralleltitel (Deutsch)
Das Überwinden des Fluches der Dimensionalität im Deep Learning
Publikationsjahr
2023
Umfangsangabe
95 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Philipp Christian Petersen
Klassifikation
31 Mathematik > 31.80 Angewandte Mathematik
AC Nummer
AC16992861
Utheses ID
67864
Studienkennzahl
UA | 066 | 821 | |