Detailansicht
Simulation des Risikos 1. Art und der Teststärke von vier verschiedenen Modelltests für das Rasch-Modell
Karin Brigitte Futschek
Art der Arbeit
Diplomarbeit
Universität
Universität Wien
Fakultät
Fakultät für Psychologie
Betreuer*in
Klaus Kubinger
DOI
10.25365/thesis.32675
URN
urn:nbn:at:at-ubw:1-29095.50476.940363-8
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Nur wenn ein psychologisch-diagnostisches Verfahren Rasch-Modell-konform ist, ist die Anzahl gelöster Aufgaben ein suffizienter Schätzer für die Fähigkeit von Personen. Um die verschiedenen Annahmen des Rasch-Modells zu prüfen, stehen eine Reihe von Modelltests zur Verfügung. In der vorliegenden Arbeit wurden in einer Simulationsstudie vier dieser Modelltests, der Likelihood-Ratio-Test nach Andersen, der z-Test nach Fischer und Scheiblechner mit der Schätzfunktion nach Wald, der Martin-Löf-Test, sowie die 2009 von Kubinger, Rasch und Yanagida vorgeschlagene Möglichkeit, eine dreifache teilhierarchische Varianzanalyse zu verwenden, in Bezug auf ihren Fehler erster Art sowie ihre Teststärke miteinander verglichen.
Für 20 Items und zwischen 100 und 300 Personen wurde folgendes simuliert: Keine Modellverletzung, Modellverletzung mit einem DIF-Paar, wobei die Itemparameterdifferenz (Effektstärke) zwischen einer halben und zwei Standardabweichungen der Personenparameter variierte, und eine Modellverletzung unter Multidimensionalität mit einer latenten Korrelation von 0,5.
Es zeigte sich, dass der Likelihood-Ratio-Test nach Andersen, die dreifache Varianzanalyse nach Kubinger, Rasch und Yanagida sowie der z-Test nach Fischer und Scheiblechner das Risiko 1. Art von 5% größtenteils einhielten, während beim Martin-Löf-Test das Risiko erster Art bei 0% lag.
Die Teststärke der dreifachen Varianzanalyse und die des Likelihood-Ratio-Tests erwies sich als annähernd gleich groß, wobei die der dreifachen Varianzanalyse etwas größer war. Dahingegen lag die Teststärke des z-Tests nach Fischer und Scheiblechner deutlich darunter. Wie zu erwarten hing die Teststärke von der Personenanzahl und der Effektstärke ab. Ab einer Effektstärke von einer Standardabweichung lagen die Teststärke der dreifachen Varianzanalyse und die des Likelihood-Ratio-Tests nach Andersen für alle simulierten Personenzahlen über 0,8.
Bei der Modellverletzung durch Multidimensionalität war die Teststärke des Likelihood-Ratio-Tests auf dem nominellen Niveau des Risikos 1. Art, die des Martin-Löf-Tests lag bei 100 Personen bei 3% und erreichte bei 300 Personen 70% (α=0,05).
Die Arbeit zeigt, dass für die hier simulierten Bedingungen die dreifache Varianzanalyse etwas besser abschneidet, als der Likelihood-Ratio-Test nach Andersen und diese somit eine attraktive Alternative zu ihm darstellt.
Abstract
(Englisch)
Only if the Rasch model holds for a psychological diagnostic assessment the sum of right answers is a sufficient estimator of the person’s ability. To check the assumptions of the Rasch model a set of different model tests is available. In this paper a simulation study was done to compare four model tests regarding their type I risk and power: The Andersen’s Likelihood-Ratio test, the z-Test of Fischer and Scheiblechner with estimation of Wald, the Martin-Löf test as well as the new approach of Kubinger, Rasch and Yangida (2009) who proposed to use a three-way nested analysis of variance design.
For 20 items and 100 to 300 persons the following scenarios were simulated: No violation of the model, violation by one pair of DIF, which varied between a half and two standard deviations of the person’s parameter, as well as violation of the model by multidimensionality with a latent correlation of the two dimensions of 0.5.
It was shown that the Andersen’s Likelihood-Ratio test, the analysis of variance and the Wald test mostly hold the type I risk of 5%, while the simulated type I risk of the Martin-Löf test was 0%.
The power of the analysis of variance was of the same magnitude, but slightly higher than that of Andersen’s Likelihood-Ratio test. In contrast the power of the Wald test was considerably lower. As expected the power depended on the number of persons and the effect size. Starting from an effect size of one standard deviation the power of the analysis of variance and of Andersen’s Likelihood-Ratio test was over 0.8 for all simulated numbers of persons.
In case of multidimensionality the power of Andersen‘s Likelihood-Ratio test was at the same level as its type I risk. The power of the Martin-Löf test was 3% in case of 100 persons and reached 70% for 300 persons (α=0.05).
For the simulated conditions it was shown, that the analysis of variance design is an attractive alternative to Andersen’s Likelihood-Ratio test.
Schlagwörter
Schlagwörter
(Englisch)
Rasch model Andersen’s Likelihood-Ratio test analysis of variance mixed model z-Test of Fischer and Scheiblechner Martin-Löf test type I risk type II risk power
Schlagwörter
(Deutsch)
Rasch-Modell Likelihood-Ratio-Test nach Andersen dreifache Varianzanalyse nach Kubinger Rasch und Yanagida z-Test nach Fischer und Scheiblechner Martin-Löf-Test Fehler 1. Art Fehler 2. Art Teststärke
Autor*innen
Karin Brigitte Futschek
Haupttitel (Deutsch)
Simulation des Risikos 1. Art und der Teststärke von vier verschiedenen Modelltests für das Rasch-Modell
Publikationsjahr
2014
Umfangsangabe
VIII, 65 S. : graph. Darst.
Sprache
Deutsch
Beurteiler*in
Klaus Kubinger
AC Nummer
AC11719621
Utheses ID
29014
Studienkennzahl
UA | 298 | | |