Detailansicht
Ein Verfahren zur Itemkalibrierung mittels adaptiver Itemauswahl
Robert Emprechtinger
Art der Arbeit
Diplomarbeit
Universität
Universität Wien
Fakultät
Fakultät für Psychologie
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Diplomstudium Psychologie
Betreuer*in
Klaus Kubinger
DOI
10.25365/thesis.38948
URN
urn:nbn:at:at-ubw:1-30345.38073.766759-1
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Ein wichtiger Schritt bei der Entwicklung neuer psychologisch-diagnostischer Testverfahren ist
die als Itemkalibrierung bezeichnete Prüfung der Verrechnungsfairness der konstruierten Items. Ein
Problem bei der Itemkalibrierung ist die zufällige Itemvorgabe (zufällig bedeutet in diesem Kontext,
dass jedes Item stets die selbe Wahrscheinlichkeit hat, vorgegeben zu werden). Dementsprechend
erhalten Testpersonen, bei denen sich bereits aufgrund ihres bisherigen Antwortverhaltens zum Beispiel
eine besonders hohe Fähigkeit erkennen lassen würde, auch weiterhin (zufällig) sehr leichte Items zur
Bearbeitung. Das Problem hierbei ist, dass die Information, die über die vorgegeben Items in der
Testkalibrierung gewonnen werden könnte, nicht optimal ausgeschöpft wird. Deshalb wurde im Rahmen
dieser Arbeit ein Algorithmus zur Itemkalibrierung mittels adaptiver Itemauswahl im Rasch-Modell
entwickelt. Dieser ist in der Lage ein Verfahren mit gleichverteilten Itemparametern und
standardnormalverteilten Personenparameter zu kalibrieren. Außerdem führt der Algorithmus bereits im
Rahmen der Testkalibrierung die Modellprüfung auf Gültigkeit des Rasch-Modells mittels Fischer und
Scheiblechner z-Test durch. Bei der Itemauswahl berücksichtigt der Algorithmus nicht nur die Item- und
Personenparameter, sondern auch die bereits vorhandene Information zu jedem Item. Mittels einer
Simulationsstudie wurde die Genauigkeit und Präzision nach abgeschlossener Kalibrierung sowie die
Präzision zu unterschiedlichen Kalibrierungszeitpunkten erhoben und jene der adaptiven
Kalibrierungsstrategie mit zufälliger Itemauswahl verglichen. Außerdem wurde überprüft, ob der
Fischer und Scheiblechner z-Test überzufällig häufig Items mit Differential Item Functioning erkennt.
Bei 37 von 60 Items war die Präzision der Itemparameter nach 500 zur Kalibrierung eingesetzten
Personen bei den adaptiv kalibrierten Tests signifikant höher als bei den zufällig kalibrierten Tests. Bei
den Kalibrierungsstadien nach 100 Personen schnitt hingegen die zufällige Itemkalibrierung besser ab,
nach 250 Personen zeigte sich kein Unterschied zwischen den beiden Kalibrierungsstrategien. Beim
Einsatz der fertig kalibrierten Tests zur Messung der Personenparameter war kein Unterschied in der
Präzision der adaptiven zur zufälligen Vorgabestrategie feststellbar. Der Fischer und Scheiblechner z-
Test konnte 95.0% der Items mit Differential Item Functioning erkennen und gab bei 2.9% der Items ein
falsch positives Ergebnis aus und kann überzufällig häufig Items mit Differential Item Function
erkennen. In Zukunft könnte die adaptive Itemkalibrierung eine alternative zur Itemkalibrierung mittels
Abstract
(Englisch)
An important step during the development of psychological assessment tests is the scaling of the
items or the so called item calibration. The Item selection during the item calibration is at random
(random means that every item in the pool hast the same chance to be selected). Accordingly, very easy
items are still (randomly) admitted to subjects from whom is already known that they are very
competent or vice versa. This is a problem, because information is not optimally exploited. Hence an
adaptive item selection algorithm for test calibration has been developed. The algorithm is able to
calibrate a test with normal distributed person parameters and evenly distributed item parameters. The
algorithm is also able to conduct model testing with the Fischer and Scheiblechner z-Tetst during the
item calibration process. Not only person and item parameters are considered for item selection but also
the previously gathered information. The algorithm has been tested in a simulation study to measure the
accuracy and precision of this calibration method compared with a random item calibration strategy.
Furthermore, it was verified if the Fischer and Scheiblechner z-Test is able to find more often items with
differential item than by simply random chance. 37 of 60 items showed a higher precision in the
adaptive calibration procedure compared with the random item calibration strategy after the test has
been administered to 500 examinees. At earlier calibration stages the precision in the random calibration
strategy was higher (after 100 examinees) or even (after 250 examinees). There was no detectable
difference in the precision of the person parameters after the calibration was completed (500
eximanees). The Fisher and Scheiblechner z-Test is able to detect items with differential item
functioning. 95.0% of the Items with differential item functioning have been recognized and 2.9% were
rated false positive. Because the information of each examinee is used in an optimal manner, the
adaptive item calibration strategy could be an option for test calibration in the near future.
Schlagwörter
Schlagwörter
(Englisch)
adaptive item calibration Rasch model Fischer and Scheiblechner z-test simulation
Schlagwörter
(Deutsch)
adaptiv Itemkalibrierung Rasch-Modell Fischer und Scheiblechner z-Test Simulation
Autor*innen
Robert Emprechtinger
Haupttitel (Deutsch)
Ein Verfahren zur Itemkalibrierung mittels adaptiver Itemauswahl
Publikationsjahr
2015
Umfangsangabe
VI, 79 Seiten : Illustrationen
Sprache
Deutsch
Beurteiler*in
Christiane Spiel
Klassifikationen
77 Psychologie > 77.03 Methoden und Techniken der Psychologie ,
77 Psychologie > 77.08 Psychologische Diagnostik
AC Nummer
AC12664142
Utheses ID
34503
Studienkennzahl
UA | 298 | | |