Detailansicht
Beyond the bias-variance trade-off
exploring double descent in statistical modeling
Abdelbast Nassiri
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Mathematik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Mathematik
Betreuer*in
Philipp Christian Petersen
DOI
10.25365/thesis.78104
URN
urn:nbn:at:at-ubw:1-12642.77370.770237-7
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Das Double-Descent-Phänomen stellt den klassischen Bias-Variance-Trade-off infrage, indem es zeigt, dass eine Erhöhung der Modellkomplexität über den Interpolationspunkt hinaus in einigen Fällen zu einer verbesserten Generalisierungsleistung führen kann. Obwohl dieses Phänomen in den letzten Jahren intensiv untersucht wurde, bleibt die Literatur fragmentiert, wobei Erkenntnisse über verschiedene Modelle und Settings verstreut sind. Diese Arbeit bietet eine umfassende Synthese der bestehenden Forschung zum Double-Descent-Phänomen und präsentiert eine einheitliche Perspektive auf sein Verhalten in verschiedenen statistischen Modellen. Wir beginnen mit einer systematischen Übersicht über Double Descent in linearen Regressionsmodellen, wobei wir die Rolle von Überparametrisierung, Regularisierung und das Zusammenspiel zwischen Modellkomplexität und Stichprobengröße hervorheben. Anschließend untersuchen wir Double Descent in Random-Feature-Modellen, wobei wir Erkenntnisse über den Einfluss der Feature-Dimensionalität und den Übergang von unterparametrisierten zu überparametrisierten Regimes zusammenfassen. Danach wenden wir uns neuronalen Netzen (NNs) zu und fassen empirische und theoretische Ergebnisse zusammen, die Double Descent mit Optimierungsdynamiken, impliziter Regularisierung und den einzigartigen Eigenschaften von Deep-Learning-Modellen in Verbindung bringen. Schließlich geben wir einen Überblick über Techniken zur Minderung des Double-Descent-Effekts, darunter Ridge-Regression, Early Stopping und Ensemble-Methoden. Durch die Strukturierung und Verfeinerung bestehender Ergebnisse bieten wir einen klaren Leitfaden für Praktiker, die sich den Herausforderungen überparametrisierter Modelle stellen müssen. Diese Arbeit zielt nicht darauf ab, neue theoretische oder empirische Beiträge zu liefern, sondern dient als strukturierte und zugängliche Synthese des aktuellen Wissensstands zum Double-Descent-Phänomen. Durch die Konsolidierung und Klärung bestehender Arbeiten wollen wir Lücken in der Literatur schließen und eine Grundlage für zukünftige Forschungen in diesem sich schnell entwickelnden Bereich schaffen.
Schlagwörter
Schlagwörter
(Deutsch)
Double-Descen
Autor*innen
Abdelbast Nassiri
Haupttitel (Englisch)
Beyond the bias-variance trade-off
Hauptuntertitel (Englisch)
exploring double descent in statistical modeling
Publikationsjahr
2025
Umfangsangabe
53 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Philipp Christian Petersen
Klassifikation
31 Mathematik > 31.80 Angewandte Mathematik
AC Nummer
AC17482460
Utheses ID
75247
Studienkennzahl
UA | 066 | 821 | |