Detailansicht
Evaluating the validity of LLM-based psychological assessments
a comparative study using the attributional style questionnaire
Jakob Armin Friedrich Möller
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Psychologie
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Psychologie
Betreuer*in
Claus Lamm
DOI
10.25365/thesis.78547
URN
urn:nbn:at:at-ubw:1-30037.99018.941475-8
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Jüngste Fortschritte im Gebiet der künstlichen Intelligenz, insbesondere sogenannten Large Language Models (LLMs) wie OpenAIs GPT-4o, bieten innovative Möglichkeiten, die Grenzen traditioneller psychologischer Erhebungen zu überwinden. Diese Arbeit evaluiert die Validität einer LLM-erweiterten Version des Attributional Style Questionnaire (ASQ) und vergleicht dynamisch personalisierte und KI-generierte Vignetten mit traditionellen statischen Szenarien. Unter Verwendung eines Within-Subject-Designs mit 112 Teilnehmer*innen untersucht diese Studie die Vergleichbarkeit mit traditionellen Methoden, die Test-Retest-Reliabilität, das emotionale Engagement und die Benutzererfahrung. Die Attributionsmuster konnten teilweise repliziert werden, unterschieden sich jedoch zwischen den Bedingungen. Das emotionale Engagement wurde durch personalisierte Negativszenarien deutlich verbessert, was die Zufriedenheit der Teilnehmer und die wahrgenommene Benutzerfreundlichkeit erhöhte, ohne die kognitive Belastung zu erhöhen. Die Ergebnisse deuten auf das Potenzial der Integration strukturierter und standardisierter KI-gesteuerter Personalisierung in psychologische Beurteilungen hin, um die ökologische Validität und die Nutzererfahrung zu verbessern. Es werden Möglichkeiten für künftige Forschungen zur Nutzung generativer KI ohne Beeinträchtigung der Validität in ähnlichen Tests aufgezeigt.
Abstract
(Englisch)
Recent advancements in artificial intelligence, specifically Large Language Models (LLMs) like OpenAI’s GPT-4o, offer innovative opportunities to overcome limitations of traditional psychological assessments. This thesis evaluates the validity of an LLM-enhanced version of the Attributional Style Questionnaire (ASQ), comparing dynamically personalized and AI-generated vignettes against traditional static scenarios. Employing a within-subject design with 112 participants, this study investigates comparability with traditional methods, test-retest reliability, emotional engagement, and user experience. Attribution patterns could be partly replicated but differed between conditions. Emotional engagement notably improved with personalized negative scenarios, enhancing participant satisfaction and perceived usability without increasing cognitive load. The findings suggest the potential of integrating structured and standardized AI-driven personalization in psychological assessments for improved ecological validity, as well as user experience. Avenues for future research to leverage generative AI without compromising validity in similar assessments are outlined.
Schlagwörter
Schlagwörter
(Deutsch)
künstliche Intelligenz KI
Schlagwörter
(Englisch)
Psychometrics Large Language Model Attribution Style
Autor*innen
Jakob Armin Friedrich Möller
Haupttitel (Englisch)
Evaluating the validity of LLM-based psychological assessments
Hauptuntertitel (Englisch)
a comparative study using the attributional style questionnaire
Publikationsjahr
2025
Umfangsangabe
41 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Claus Lamm
AC Nummer
AC17558114
Utheses ID
76124
Studienkennzahl
UA | 066 | 840 | |