Detailansicht
Advanced attention checks
using large language models to assess participant compliance in online studies
Florian Josef Vigil Thaler
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Psychologie
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Psychologie
Betreuer*in
Claus Lamm
Mitbetreuer*in
Mauricio Martins
DOI
10.25365/thesis.79316
URN
urn:nbn:at:at-ubw:1-16947.85909.259261-3
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Die Online-Rekrutierung ermöglicht große und vielfältige Stichproben, wirft jedoch Bedenken hinsichtlich unaufmerksamer oder unwilliger Teilnehmer auf. Traditionelle Aufmerksamkeitstests (z. B. Fangfragen, Lesekontrollen) mindern dieses Problem, können jedoch vorhersehbar sein, umgangen werden oder sind in großem Maßstab kostspielig. Wir stellen Advanced Attention Checks (AAC) vor – eine Methode, die Large Language Models (LLMs) nutzt, um automatisch zu bewerten, ob offene Textantworten der Teilnehmer den Aufgabeninstruktionen inhaltlich folgen. In präregistrierten Analysen eines großen, mehrsprachigen Datensatzes (N = 15.208) zeigten AAC eine ausgezeichnete Test–Retest-Reliabilität (φ = .95), eine substanzielle Übereinstimmung mit menschlichen Kodierer (κ = .68) und eine moderate Konvergenz mit traditionellen Aufmerksamkeitstests (κ = .22). Das Filtern mit AAC verstärkte Interventionseffekte in drei von vier Ergebnisdomänen, schwächte jedoch einen Effekt unerwartet ab. Die Konfidenzintervalle wurden etwas größer, vermutlich aufgrund der reduzierten Stichprobengröße. Explorative Analysen zeigten zudem, dass AAC-Konformität mit höherem Einsatz und stärkerer Beteiligung verbunden war. Diese Befunde positionieren AAC als skalierbare und kosteneffiziente Ergänzung zu traditionellen Verfahren und unterstützen eine verbesserte Datenqualität in Online-Studien.
Abstract
(Englisch)
Online recruitment provides large and diverse samples but raises concerns about inattentive or non-compliant participants. Traditional attention checks (e.g., catch trials, reading checks) mitigate this issue but can be anticipated, bypassed, or costly to implement at scale. We introduce Advanced Attention Checks (AAC), a method that leverages large language models (LLMs) to automatically assess whether participants’ open-text responses meaningfully follow task instructions. In preregistered analyses of a large, multilingual dataset (N = 15,208), AAC demonstrated excellent test–retest reliability (φ = .95), substantial agreement with human coders (κ = .68), and modest convergence with traditional checks (κ = .22). Filtering with AAC amplified intervention effects in three of four outcome domains, though unexpectedly attenuated one effect. Confidence intervals became slightly wider, likely due to reduced sample size. Exploratory analyses further linked AAC compliance to greater effort and engagement. These findings position AAC as a scalable, cost-effective complement to traditional checks, supporting improved data quality in online studies.
Schlagwörter
Schlagwörter
(Deutsch)
Aufmerksamkeitsprüfungen Aufmerksamkeitstests Online-Experimente Große Sprachmodelle Datenqualität Klimapsychologie Teilnehmer*innen-Compliance Analyse von Freitextantworten Teilnehmer*innen-Konformität Automatisiertes Kodieren Semantische Bewertung KI-unterstützte Forschung
Schlagwörter
(Englisch)
Advanced Attention Checks Online Experiments Large Language Models Data Quality Climate Psychology Participant Compliance Open-text response analysis Automated coding Semantic evaluation Crowdsourcing AI-assisted research
Autor*innen
Florian Josef Vigil Thaler 
Haupttitel (Englisch)
Advanced attention checks
Hauptuntertitel (Englisch)
using large language models to assess participant compliance in online studies
Publikationsjahr
2025
Umfangsangabe
33 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Claus Lamm
AC Nummer
AC17643120
Utheses ID
77709
Studienkennzahl
UA | 066 | 840 | |