Detailansicht
Practical existence theorems for function classes arising from applications
Andrés Felipe Lerma Pineda
Art der Arbeit
Dissertation
Universität
Universität Wien
Fakultät
Fakultät für Mathematik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Doktoratsstudium Naturwissenschaften: Mathematik
Betreuer*in
Philipp Christian Petersen
DOI
10.25365/thesis.80681
URN
urn:nbn:at:at-ubw:1-11504.55542.538783-4
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
In den letzten Jahren wurde gezeigt, dass die Menge der Realisierungen von neuronalen Netzwerken (NNs) eine breite Klasse von Funktionen approximieren kann, was sie zu einer erfolgreichen Hypothesenklasse in verschiedenen Anwendungsbereichen macht. In dieser Arbeit untersuchen wir, wie auf neuronalen Netzwerken basierende Algorithmen zur Lösung verschiedener Problemstellungen eingesetzt werden können. Insbesondere analysieren wir theoretische Garantien für die Lösung inverser Probleme, Klassifikationsaufgaben und die Schätzung frequenzbegrenzter Funktionen. In all unseren Problemstellungen interessieren wir uns für die Approximation von Lösungen anhand einer begrenzten Anzahl an Datenproben. Es wird angenommen, dass die Beziehung innerhalb der Daten deterministisch ist und durch eine sogenannte Ground-Truth-Funktion modelliert wird, die vom Algorithmus gelernt werden soll. Wir untersuchen die Approximationseigenschaffen neuronaler Netzwerke für Funktionen mit bestimmten Regularitätseigenschaften. Insbesondere betrachten wir Funktionen, die Lipschitz-stetig sind, RBV2-Regularität aufweisen oder frequenzlokalisiert sind. Auch unstetige Ground-Truth-Funktionen werden berücksichtigt, da sie dennoch von theoretischen Garantien für kontinuierlich $RBV^2$-reguläre Funktionen profitieren können. Darüber hinaus untersuchen wir die Approximation solcher Ground-Truth-Funktionen durch Realisierungen neuronaler Netzwerke mit fester Architektur. Außerdem analysieren wir, wie man ein geeignetes neuronales Netz auswählt, das gut auf unbekannte Daten generalisiert. Jedes Problem wird unter einer spezifischen Verlustfunktion betrachtet. Wir stoßen auf den sogenannte Fluch-der-Dimensionen-Problem, ein Begriff, der die zunehmende Komplexität bestimmter Algorithmen bei wachsender Dimension beschreibt. In verschiedenen Publikationen wurde beobachtet, dass Methoden auf Basis neuronaler Netzwerke diesen Fluch oft zu überwinden scheinen. In dieser Arbeit analysieren wir zwei der am häufigsten verwendeten Strategien zur Minderung des Fluchs der Dimensionalität. Konkret berücksichtigen wir in Kapitel 4 die Mannigfaltigkeitsannahme und untersuchen in Kapitel 3, wie Regularität im Radon-Raum ausgenutzt werden kann. Unter diesen Annahmen leiten wir Approximations- und Schätzraten her. Im Gegensatz zum Rahmen der universellen Approximationssätze sind unsere Resultate im Rahmen des kürzlich eingeführten Practical Existence Theorem (PET) formuliert. Innerhalb dieses Rahmens liefern wir theoretische Garantien für die Existenz einer Klasse neuronaler Netzwerke, die jedes der betrachteten Probleme mit einer begrenzten Anzahl an Parametern löst. Zudem geben wir untere Schranken für die Stichprobenkomplexität und obere Schranken für den Generalisierungsfehler an. Die Auswahl eines geeigneten neuronalen Netzwerks erfolgt über ein Optimierungsverfahren, typischerweise durch Minimierung eines empirischen Risikofunktionals mit einer problemspezifischen Verlustfunktion.
Abstract
(Englisch)
In recent years, the set of realizations of neural networks (NNs) has been shown to approximate a wide range of functions, making it a successful hypothesis class across various fields. In this thesis, we investigate how neural-network-based algorithms can be implemented to solve a variety of problems. Specifically, we study theoretical guarantees for the solution of inverse problems, classification tasks, and the estimation of frequency-limited functions. In all of our problems, we are interested in approximating solutions from a limited number of data samples. The relationship within the data is assumed to be deterministic and modeled by a ground-truth function to be learned by the algorithm. We study the approximation capabilities of neural networks (NNs) for functions satisfying certain types of regularity. In particular, we consider functions that are Lipschitz continuous, exhibit RBV2-regularity, or are frequency-localized. We also include discontinuous ground-truth functions, which can still benefit from theoretical guarantees derived for $RBV^2$-regular functions. Besides, we study the problem of approximating such ground-truth functions using realizations of NNs with fixed architectures. Furthermore, we study how to select an appropriate NN that generalizes well to unseen data. Each problem is considered under a different loss function. We encounter the so-called curse of dimensionality, a term that refers to the increasing complexity of certain algorithms as the input dimension grows. It has been observed in various publications that neural-network-based methods often appear to overcome this curse. In this thesis, we study two of the most commonly employed strategies to mitigate the curse of dimensionality. Specifically, in Chapter 4, we consider the manifold assumption, and in Chapter 3, we investigate how regularity in the Radon domain can be exploited. Under these assumptions, we derive approximation and estimation rates. In contrast to the setting of universal approximation theorems, our results are formulated within the recently introduced framework of the Practical Existence Theorem (PET). Within this framework, we provide theoretical guarantees for the existence of a class of neural networks that solves each problem, using a limited number of parameters. We also establish lower bounds on sample complexities and upper bounds on generalization errors. The choice of an appropriate neural network is carried out via an optimization algorithm, typically by minimizing an empirical risk functional with a problem-specific loss function.
Schlagwörter
Schlagwörter
(Deutsch)
Neuronalen Netzwerken Klassifikationsaufgaben Inverser Probleme Praktische Existenzsätze Frequenzbegrenzter Funktionen
Schlagwörter
(Englisch)
Neural Networks Classification Tasks Inverse Problems Practical Existence Theorems Frequency-limited functions
Autor*innen
Andrés Felipe Lerma Pineda
Haupttitel (Englisch)
Practical existence theorems for function classes arising from applications
Publikationsjahr
2025
Umfangsangabe
viii, 135 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*innen
Helmut Bölcskei ,
Matteo Santacesaria
Klassifikationen
31 Mathematik > 31.76 Numerische Mathematik ,
31 Mathematik > 31.80 Angewandte Mathematik
AC Nummer
AC17818885
Utheses ID
76821
Studienkennzahl
UA | 796 | 605 | 405 |