Detailansicht
Rahmenbedingungen und ihre Bedeutung für internetbasierte Self-Assessments zur Studienberatung
Thomas Scheck
Art der Arbeit
Diplomarbeit
Universität
Universität Wien
Fakultät
Fakultät für Psychologie
Betreuer*in
Klaus Kubinger
DOI
10.25365/thesis.32261
URN
urn:nbn:at:at-ubw:1-29151.34671.830764-7
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Aus Sicht der Psychologischen Diagnostik sind Testungen mittels internetbasierten Self-Assessments zur Studienberatung psychologische Untersuchungen mit dem Ziel einer Eignungsbeurteilung. Die internetbasierte Vorgabe bringt es mit sich, dass die psychologische Untersuchung in einem anderen Setting stattfindet als üblicherweise. Dies charakterisiert sich dadurch, dass es sich der Kontrolle eines Testleiters entzieht (Kubinger, 2013a, S. 1408; Kubinger, Frebort & Müller, 2012, S. 9, 13; Kubinger et al., 2007, S. 323). Die Testperson absolviert folglich den diagnostischen Prozess eigenverantwortlich und fachpsychologisch unkontrolliert (Kubinger, 2009, S. 27).
Dies bringt es mit sich, dass bestimmte Umstände nur mit großem Aufwand oder gar nicht beeinflussbar sind und daher als gegebene Größen bei der Interpretation der Testergebnisse berücksichtigt werden müssten – die sogenannten Rahmenbedingungen (Umwelt bzw. Arbeitsbedingungen, aktuelle Befindlichkeit und Verhalten der Testperson). Problematisch ist jedoch, dass die Rahmenbedingungen unbekannt sind und daher schwerlich bei der Interpretation der Testergebnisse berücksichtigt werden können. Zwar treffen verschiedene Autoren Annahmen, wie die Rahmenbedingungen wohl aussehen könnten (s. 3 Rahmenbedingungen im Kontext internetbasierter Self-Assessments), jedoch handelt es sich hierbei eher um Spekulationen, was auf den eklatanten Mangel relevanter Untersuchungsbefunde zurückzuführen ist.
Die vorliegende Studie verfolgte daher zwei Ziele: Zum einen (primär) die Gewinnung von Daten, die Aufschluss über die Rahmenbedingungen geben. Zum anderen war es naheliegend sich in einer Sekundäranalyse der Relevanz der Rahmenbedingungen für das Testergebnis (soweit möglich) zu widmen.
Hierfür wurde, in den vier internetbasierten Self-Assessments zur Studienberatung des Wiener Autorenkollektivs Studienberatungstests (Wiener Self-Assessments), unmittelbar im Anschluss an die Testung ein eigens entwickelter Fragenblock vorgegeben. Die Größe der Anfallsstichproben betrug im Wiener Self-Assessment Architektur 423 Testpersonen, im Wiener Self-Assessment Informatik/Elektrotechnik 593 Testpersonen, im Wiener Self-Assessment Maschinenbau 188 Testpersonen und im Wiener Self-Assessment Psychologie 72 Testpersonen. Bei den Testpersonen handelte es sich ausschließlich um Testpersonen, die das jeweilige Wiener Self-Assessment vollständig – mit dem Ziel der Eignungsdiagnostik – das erste Mal bearbeitet haben.
Es zeigte sich, dass je nach Stichprobe lediglich bei 15–26 % der Testpersonen optimale Umweltbedingungen gegeben waren. Optimal sind die Umweltbedingungen dann, wenn die Testung mittels entsprechender Ausstattung (Stand PC, Note-/Netbook, Maus), an einem entsprechenden Arbeitsplatz durchgeführt wird und ohne das Störquellen auftreten.
Weiters zeigte sich, dass sich je nach Stichprobe lediglich 24–42 % der Testpersonen optimal verhalten haben. Optimal ist das Verhalten dann, wenn während der ganzen Testung über keine anderen Tätigkeiten ausgeführt werden, die Testperson alle vorgegebenen psychologisch-diagnostischen Verfahren konzentriert, bemüht und ohne Hilfsmittel bearbeitet und ein instruktionskonformes Pausenverhalten zeigt. Vermutet wird, dass die Unterschiede in den Stichproben primär auf die unterschiedliche Testdauer zurückzuführen sind. Mit steigender Testdauer dürfte die Wahrscheinlichkeit sinken, dass während der ganzen Testung über optimales Verhalten aufrechterhalten wird bzw. aufrechterhalten werden kann. Aber auch das psychologisch-diagnostische Verfahren selbst dürfte eine Rolle spielen, so scheinen manche psychologisch-diagnostische Verfahren die Wahrscheinlichkeit zu steigern, dass auf Hilfsmittel zurückgegriffen wird.
Was die Befindlichkeit betrifft, zeigte sich, dass je nach Stichprobe lediglich 48–54 % der Testpersonen die Testung in einem Zustand durchgeführt haben, der als günstig betrachtet werden kann. Gemeint ist, dass die Testperson die Testung ausgeruht – d. h. eher tagsüber – und in einem bestimmten Zeitfenster, das durch die Ruhephase bestimmt wird, beginnt und beendet und nicht unter dem Einfluss von Mitteln steht die die Leistungs- bzw. Reaktionsfähigkeit beeinträchtigen können.
In der Sekundäranalyse wurde mittels multivariater Varianzanalysen untersucht in welchem Ausmaß sich die Testergebnisse in drei Leistungstests und drei Fragebogenskalen des Wiener Self-Assessment Informatik/Elektrotechnik unterscheiden und zwar abhängig davon, ob die Testperson während der Testung internetspezifische Tätigkeiten durchgeführt hat oder nicht (Faktor A), ob sie maximal einer Störquelle ausgesetzt war oder mehreren (Faktor B) und ob sie konzentriert gearbeitet hat bzw. ihr Bestes gegeben hat oder nicht (Faktor C). Der statistisch signifikante Haupteffekt des Faktors Konzentration und positives Leistungsverhalten bei den Leistungstests, lässt vermuten, dass es wesentlich ist, ob die Testperson die Leistungstests konzentriert bearbeitet hat bzw. ihr Bestes gegeben hat oder nicht. Insgesamt jedoch, fiel die Varianzaufklärung eher gering aus. Vermutet wird, dass dies weniger auf eine Nicht Relevanz der Faktoren zurückzuführen ist, sondern vielmehr dem Erhebungsdesign geschuldet ist. Die erfragten Inhalte bezogen sich auf die gesamte Testung – eine nach psychologisch-diagnostischen Verfahren differenzierte Befragung fand nicht statt. Es wird vermutet, dass ein Erhebungsdesign, das zwischen den psychologisch-diagnostischen Verfahren differenziert und implizit auf die Testdauer bzw. Vorgabereihenfolge Rücksicht nimmt, die Relevanz der Faktoren eher aufzeigen kann.
Der statistisch signifikante Unterschied in den Testergebnissen der Skala Arbeitsstil und Arbeitsverhalten bezogen auf den Faktor internetspezifische Tätigkeiten lässt vermuten, dass der Testung selbst triviale Validität zuzugestehen ist: Testpersonen die sich während der Testung nicht optimal Verhalten (internetspezifischen Tätigkeiten nachgehen), verfügen über einen eher ungünstigen Arbeitsstil und über ein eher ungünstiges Arbeitsverhalten.
Die Conclusio ist, dass die Rahmenbedingungen wesentlich seltener als wünschenswert optimal sind. Zumindest im Ansatz konnte im Rahmen der Sekundäranalyse gezeigt werden, dass die analysierten Rahmenbedingungen sehr wohl Einfluss auf das Testergebnis nehmen können, insbesondere bei Leistungstests. Das Ausschalten des Testleiters ist also mit erheblichen negativen Konsequenzen verbunden. Dieser Umstand und der Umstand, dass sich die Rahmenbedingungen von Testung zu Testung, sowie von Testperson zu Testperson stark unterscheiden dürften, lässt eine Interpretation der Testergebnisse ohne Berücksichtigung dieser Umstände fragwürdig erscheinen. Die Eigenverantwortlichkeit der Testperson, entbindet die Psychologische Diagnostik nicht ihrer Verantwortung Maßnahmen zu entwickeln, die dazu führen, dass möglichst viele Testpersonen die Testung unter optimalen Rahmenbedingungen durchführen – zumindest soweit technisch möglich (vgl. Kubinger, Frebort & Müller, 2012). Der triviale Grundsatz, das jeweils Bestmögliche zu tun gilt also auch hier.
Es ist technisch möglich Leistungen, die ein Testleiter vor bzw. während klassischer psychologischen Untersuchungen übernimmt, vom Computer übernehmen bzw. erfragen zu lassen (s. z. B. 7.1.3 Ablenkungen, Störungen und ablenkende Tätigkeiten (Tätigkeiten und Störquellen)).
Nach Ansicht des Verfassers gewinnen diejenigen Verantwortlichen von internetbasierten Self-Assessments zur Studienberatung den „Kampf bzw. Preis“ um das qualitativ hochwertigste internetbasierte Self-Assessment zur Studienberatung und diejenigen Hochschulen den Wettbewerb um die geeignetsten Studierenden, die sich verstärkt mit den Rahmenbedingungen auseinandersetzen, die vorherrschen während sich die Testperson selbst testet.
Schlagwörter
Schlagwörter
(Deutsch)
Self-Assessment internetbasiert online Studienberatung Rahmenbediungungen
Autor*innen
Thomas Scheck
Haupttitel (Deutsch)
Rahmenbedingungen und ihre Bedeutung für internetbasierte Self-Assessments zur Studienberatung
Publikationsjahr
2014
Umfangsangabe
152 S. : graph. Darst.
Sprache
Deutsch
Beurteiler*in
Klaus Kubinger
Klassifikation
77 Psychologie > 77.08 Psychologische Diagnostik
AC Nummer
AC11626335
Utheses ID
28668
Studienkennzahl
UA | 298 | | |