Detailansicht

Shrinkage methods for prediction out-of-sample

performance and selection of estimators

Nina Huber

Art der Arbeit

Dissertation

Universität

Universität Wien

Fakultät

Fakultät für Wirtschaftswissenschaften

Betreuer*in

Hannes Leeb

Volltext herunterladen
Volltext in Browser öffnen

DOI

10.25365/thesis.29382

URN

urn:nbn:at:at-ubw:1-29128.54138.557669-2

Link zu u:search

(Print-Exemplar eventuell in Bibliothek verfügbar)

Abstracts

Abstract

(Deutsch)

Wir vergleichen den James-Stein-Schätzer (und ähnliche Shrinkage-Schätzer) mit dem Maximum-Likelihood-Schätzer als out-of-sample Prädiktoren. Im Gegensatz zur in-sample Prognose, bei der die Regressionsfunktion an bereits beobachteten Punkten geschätzt wird, schätzt man in der out-of-sample Prog- nose die Regressionsfunktion an nicht in der Stichprobe enthaltenen Punkten. Weiters betrachten wir eine Familie von Shrinkage-Schätzern, aus der wir einen "guten" out-of-sample Prädiktor auswählen möchten. In beiden Problemen be- trachten wir den interessanten Fall, in dem die Anzahl der Parameter und der Stichprobenumfang von der gleichen Größenordnung sein können. Die Perfor- mance der Schätzer wird mit der (bedingten) erwarteten quadratischen Abwei- chung gemessen, wir leiten Näherungen für diese Abweichungen her und zeigen, dass diese gleichmäßig konsistent geschätzt werden können. Wir zeigen, dass der James-Stein-Schätzer für die out-of-sample Prognose schlechter als der Maximum-Likelihood-Schätzer abschneiden kann, obwohl er den Maximum-Likelihood-Schätzer in der in-sample Prognose dominiert (siehe Stein (1956) oder das Buch von Judge und Bock (1978)). Dieses Resultat wirft auch ein neues Licht auf die out-of-sample Performance anderer Shrinkage- Methoden, die auf Regularisierung oder Modellselektion beruhen; für einen Überblick siehe Leeb und Pötscher (2008). In der Analyse bedingen wir auf die Design-Variablen. Unsere Ergebnisse stehen im Gegensatz zu jenen von Baranchik (1973) und von Dicker (2012), die beide über die Design-Verteilung mitteln. Weiters betrachten wir ein lineares Regressionsmodell mit Gauß’schen Design-Variablen und eine Familie von Shrinkage-Schätzern, wobei die Anzahl an Schätzern den Stichprobenumfang übersteigen kann. Wir zeigen, dass der empirisch beste Schätzer, das ist der Minimierer der geschätzten Performance, asymptotisch gleich gut ist wie der beste Schätzer, das ist jener Schätzer, der die wahre Performance minimiert, und dass man die Performance beider Schätzer gleichmäßig schätzen kann. Beide Resultate gelten gleichmäßig über eine große Klasse von datengenerierenden Prozessen. Diese Ergebnisse erweitern die Re- sultate in Leeb (2008), in dem die betrachtete Familie aus Kleinst-Quadrate- Schätzern besteht.

Abstract

(Englisch)

We consider a linear regression model and study the performance of the James– Stein estimator (and of related James–Stein-type shrinkage estimators) for out- of-sample prediction. In contrast to in-sample prediction, where the regression function is estimated at the observed design points, we estimate the regression function at a new point. Further, we show how to select a ‘good’ estimator for prediction out-of-sample among a family of candidate estimators. In both problems, we focus on the challenging situation where the number of explanatory variables can be of the same order as sample size. We measure the performance of estimators by their (conditional) mean squared prediction errors, we derive simple uniform approximations to these errors, and we show that these errors can be estimated in a uniformly consistent fashion. For prediction out-of-sample, we find that the James–Stein estimator can perform poorly compared to the maximum likelihood estimator, which is known to be dominated by the James–Stein estimator in the in-sample scenario (see Stein (1956) or the comprehensive monograph Judge and Bock (1978)). Our findings have important ramifications for the out-of-sample performance of methods that rely on some sort of shrinkage through, e.g. regularization, model selection or model averaging; see Leeb and Pötscher (2008) for a survey. When evaluating the predictive performance of estimators, we treat the regressor ma- trix in the training data as fixed, i.e., we condition on the design variables. Our results contrast those obtained by Baranchik (1973) and, more recently, by Dicker (2012) in an unconditional performance evaluation. Further, we consider a linear regression model with Gaussian random de- sign together with a family of James–Stein-type shrinkage estimators, where the number of candidate estimators can be much larger than sample size. We show that the empirically best estimator, i.e., the minimizer of the estimated prediction error, is asymptotically as good as the truly best (oracle) estimator, uniformly over a large class of data-generating processes. Moreover, we show that we can estimate the performances of both estimators in a uniformly con- sistent fashion. Our main results are explicit uniform finite sample performance bounds for Gaussian data. These findings extend results of Leeb (2008) where the underlying estimators are least squares estimators.

Autor*innen

Nina Huber

Haupttitel (Englisch)

Shrinkage methods for prediction out-of-sample

Hauptuntertitel (Englisch)

performance and selection of estimators

Paralleltitel (Englisch)

Shrinkage methods for prediction out-of-sample ; performance and selection of estimators

Publikationsjahr

2013

Umfangsangabe

71 S.

Sprache

Englisch

Beurteiler*in

Hannes Leeb

Klassifikation

31 Mathematik > 31.73 Mathematische Statistik

AC Nummer

AC11679029

Utheses ID

26212

Studienkennzahl

UA | 094 | 136 | |

Detailansicht

Abstracts

Schlagwörter