Detailansicht
Convergence rates of the Nesterov accelerated gradient method under geometric conditions and time scaling
Rossen Nenov
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Mathematik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Mathematik
Betreuer*in
Radu Ioan Bot
DOI
10.25365/thesis.71760
URN
urn:nbn:at:at-ubw:1-14037.63917.447767-0
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
In dieser Masterarbeit untersuchen wir die Trajektorien von zwei Arten von Differentialgleichungen zweiter Ordnung in Verbindung mit der beschleunigten Gradientenmethode von Nesterov, einschließlich konstanter Dämpfung und asymptotisch verschwindender viskoser Dämpfung. Diese Differentialgleichungen werden durch eine konvexe differenzierbare Funktion F gesteuert, und es wurde gezeigt, dass jede Trajektorie x der Differentialgleichung minimierende Eigenschaften hat, das heißt, dass F(x(t)) gegen den Minimalwert F* von F konvergiert, wenn t gegen unendlich geht. In früheren Arbeiten wurde untersucht, wie bestimmte geometrische Eigenschaften von F, wie die Lojasiewicz-Eigenschaft, und die Zeitskalierung der Differentialgleichung die Konvergenzraten von F(x(t)) zu F* beeinflussen und verbessern. Diese wurden bisher separat untersucht, während in dieser Arbeit beide kombiniert werden, um die bekannten Schranken für F(x(t))-F* zu verfeinern. Um die verbesserten Konvergenzraten zu veranschaulichen, werden die Ergebnisse numerischer Implementierungen vorgestellt.
Abstract
(Englisch)
In this master thesis we study the trajectories of two types of second-order ODEs linked to the accelerated gradient method of Nesterov, including constant damping and asymptotically vanishing viscous damping. These ODEs are governed by a convex differentiable function F and it was shown that their trajectories x have minimizing properties, that means F(x(t)) converges to the minimal value F* of F as t goes to infinity. In previous works it was studied, how certain geometrical properties of F, such as the Lojasiewicz property, and time scaling of the ODEs effect and improve the convergence rates of F(x(t)) to F*. These were studied separately, whereas in this thesis both of them will be combined to refine the known bounds on F(x(t))-F*. To visualize the improved convergence rates the results of numerical implementations will be presented.
Schlagwörter
Schlagwörter
(Deutsch)
Beschleunigte Nesterov-Gradientenmethode Konvergenzrate Lojasiewicz-Eigenschaft Optimierung Zeitskalierung
Schlagwörter
(Englisch)
Nesterov accelerated gradient method rate of convergence Lojasiewicz property optimization time scaling
Autor*innen
Rossen Nenov
Haupttitel (Englisch)
Convergence rates of the Nesterov accelerated gradient method under geometric conditions and time scaling
Paralleltitel (Deutsch)
Konvergenzraten der beschleunigten Nesterov-Gradientenmethode unter geometrischen Bedingungen und Zeitskalierung
Publikationsjahr
2022
Umfangsangabe
31 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Radu Ioan Bot
Klassifikation
31 Mathematik > 31.44 Gewöhnliche Differentialgleichungen
AC Nummer
AC16587615
Utheses ID
63128
Studienkennzahl
UA | 066 | 821 | |