Detailansicht
Linear mixed models with ill-posed features
Oleksandr Volotko
Art der Arbeit
Magisterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Wirtschaftswissenschaften
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Magisterstudium Statistik
Betreuer*in
Tatyana Krivobokova
DOI
10.25365/thesis.81010
URN
urn:nbn:at:at-ubw:1-24753.17869.514337-7
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Diese Arbeit untersucht einen regularisierten Expectation–Maximization-(EM)-Algorithmus für lineare gemischte Modelle, bei denen das klassische Maximum-Likelihood-Schätzverfahren aufgrund der Schlechtgestelltheit der Normalgleichungen für die Fixed Effects instabil wird. In solchen Situationen ist die Designmatrix stark kollinear, was zu einer schlechten Konditionierung der empirischen Kovarianzmatrix und zu unzuverlässigen Parameterschätzungen führt. Daher wird in dieser Arbeit ein EM–PLS-Algorithmus vorgeschlagen und analysiert, bei dem das M-Step-Update für die Fixed-Effects-Parameter durch ein auf Partial Kleinst Quadrate (PLS) basierendes regularisiertes Update ersetzt wird. Die theoretische Analyse erfolgt durch eine Trennung in eine populationsbasierte Rekursion und deren Stichprobengegenstück. Auf Populationsebene wird gezeigt, dass der EM–PLS-Algorithmus unter einem latenten Faktormodell ein stabiles Verhalten aufweist, wobei das Signal in einem niedrigdimensionalen Unterraum liegt. In Abwesenheit von Projektionsrauschen rekonstruiert der durch das PLS-Verfahren erzeugte Krylov-Unterraum exakt den relevanten Signalraum. Daraus folgt, dass die kleinst-Quadrate-Lösung mit derjenigen Lösung übereinstimmt, die durch Minimierung der Zielfunktion über dem Krylov-Unterraum der Dimension K, erzeugt durch die Normalgleichungsgrößen, erhalten wird. Somit entspricht der populationsbasierte EM–PLS-Algorithmus genau dem populationsbasierten Gegenstück einer GEM-Implementierung für lineare gemischte Modelle. Daraus folgt insbesondere die Monotonie der Populations-Parameterupdates, welche die Konvergenz zum wahren Parameter unter geeigneten Regularitätsannahmen sicherstellt. Um die populationsbasierte Analyse mit dem Stichprobenalgorithmus zu verknüpfen, wird ein Ergebnis zur Nachverfolgung über einen endlichen Iterationshorizont gezeigt. Es wird bewiesen, dass für jede feste EM-Iteration t die stichprobenbasierten EM–PLS-Iterate in Wahrscheinlichkeit gegen ihre populationsbasierten Gegenstücke konvergieren, wenn die Anzahl unabhängiger Gruppen wächst. Dieses Resultat basiert auf einer Kombination aus punktweisen Gesetzen der großen Zahlen, Stetigkeitseigenschaften der Update-Abbildungen sowie Stabilität der Krylov-Unterräume gegenüber Störungen. Neben den theoretischen Ergebnissen wird eine umfangreiche Simulationsstudie durchgeführt, um die Leistungsfähigkeit des EM–PLS-Algorithmus im Vergleich zum klassischen EM-Algorithmus zu evaluieren. Die Experimente betrachten synthetische Designs mit latenter niedrig-rangiger Struktur und abklingenden Eigenwerten sowie unterschiedlichen Signal-Rausch-Verhältnissen. Die Ergebnisse zeigen, dass EM–PLS deutlich stabilere Schätzungen der Fixed Effects liefert, gemessen am L^2-Fehler, während gleichzeitig eine mit dem unregularisierten EM-Algorithmus vergleichbare Vorhersagegüte erreicht wird. Insbesondere reduziert die durch den Krylov-Unterraum induzierte Regularisierung effektiv die Auswirkungen schlechter Konditionierung, ohne die Out-of-Sample-Vorhersageleistung zu verschlechtern. Gleichzeitig zeigt sich, dass die Konvergenzgeschwindigkeit von EM–PLS diejenige des klassischen EM-Algorithmus übertrifft. Der Einfluss der Anzahl der PLS-Komponenten sowie die Modellangemessenheit wird zudem anhand von Protein-Permeationsdaten untersucht, die vom Max-Planck-Institut für Multidisziplinäre Naturwissenschaften bereitgestellt wurden. Die Ergebnisse zeigen, dass die Vorhersageleistung bereits bei einer relativ kleinen Anzahl von PLS-Komponenten sättigt, was die Konzentration des Signals in einem niedrigdimensionalen latenten Raum widerspiegelt. Während der klassische EM-Algorithmus eine bessere Anpassung an die Trainingsdaten erreicht, zeigt er eine schlechtere Leistung auf Testdaten, was auf eine höhere Anfälligkeit für Overfitting im Vergleich zum EM–PLS-Ansatz hinweist. Insgesamt zeigt die Arbeit, dass die Kombination des EM-Algorithmus mit einer PLS-basierten Dimensionsreduktion einen rechnerisch effizienten und theoretisch fundierten Ansatz für lineare gemischte Modelle darstellt. Die vorgeschlagene Methode erreicht ein günstiges Gleichgewicht zwischen statistischer Stabilität und Vorhersagegenauigkeit und stellt damit ein vielversprechendes Werkzeug für Erweiterungen auf komplexere Daten mit wahrscheinlich nicht-linearem Zusammenhang dar.
Schlagwörter
Schlagwörter
(Deutsch)
Erwartungs-Maximierungs-Algorithmus (EM) Verallgemeinerter EM-Algorithmus (GEM) Partielle kleinste Quadrate Lineare gemischte Modelle Populations- vs. Stichprobenanalyse Ill-gestellte Probleme Hochdimensionale Datenanalyse Latente Faktoren
Autor*innen
Oleksandr Volotko
Haupttitel (Englisch)
Linear mixed models with ill-posed features
Publikationsjahr
2026
Umfangsangabe
70 ungezählte Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Tatyana Krivobokova
Klassifikationen
31 Mathematik > 31.73 Mathematische Statistik ,
31 Mathematik > 31.99 Mathematik. Sonstiges
AC Nummer
AC17849981
Utheses ID
80505
Studienkennzahl
UA | 066 | 951 | |