Detailansicht
Investigating trust in AI and overreliance on AI-generated guidance in an augmented reality environment
Anja Rejc
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Philosophie und Bildungswissenschaft
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Joint-Degree Middle European interdisc. master prog. in Cognitive Science
Betreuer*in
Dominik Kowald
DOI
10.25365/thesis.81540
URN
urn:nbn:at:at-ubw:1-18387.68602.923795-5
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Aktuelle Fortschritte in der künstlichen Intelligenz (KI), insbesondere in großen Sprachmodellen (LLMs), ermöglichen den Einsatz dialogbasierter Assistenten in Augmented Reality (AR), die die Unterstützung bei Aufgaben verbessern können. Gleichzeitig können begrenzte KI-Genauigkeit und die kognitiven Anforderungen von AR die kritische Bewertung von LLM-basierter Unterstützung erschweren und dadurch Vertrauen, Verlass und Entscheidungsfindung der Nutzenden beeinflussen. Diese Arbeit untersucht das Vertrauen und den Verlass in Bezug auf LLM-basierte Unterstützung in AR. Dafür wird ein theoretisches Modell relevanter Einflussfaktoren entwickelt und der Zusammenhang zwischen Vertrauen, kognitiver Belastung, Aufmerksamkeitsverteilung und übermäßigem Verlass in zwei Laborstudien anhand subjektiver, objektiver (Eye Tracking) und Verhaltensmaße analysiert. Studie 1 (N = 36) untersuchte Vertrauen in KI, mentale Belastung und blickbasierte Aufmerksamkeit bei hoher Genauigkeit der LLM-basierten Unterstützung durch den Vergleich von AR-Systemen mit und ohne LLM-basierte Unterstützung (je n = 18). Die Ergebnisse zeigen ein moderates, stabiles Vertrauen sowie eine sinkende mentale Belastung über die Aufgaben hinweg. Höhere mentale Belastung geht insbesondere in der LLM-unterstützten Bedingung mit geringerem Vertrauen einher. Studie 2 (N = 18) analysiert die Auswirkungen fehlerhafter LLM-basierter Unterstützung in einem AR-System auf Vertrauen, Verlass, mentale Belastung, Leistung und Aufmerksamkeit über mehrere Aufgaben hinweg. Höheres Vertrauen war mit stärkerem übermäßigem Verlass und geringerer Leistung verbunden. Vertrauen sank nach frühen Fehlern in der LLM-basierten Unterstützung und stabilisierte sich anschließend. Eye-Tracking-Daten zeigten zudem weniger Verifikationsverhalten bei Personen mit höherem Vertrauen. Im Vergleich zur Bedingung mit hoher Genauigkeit der LLM-basierten Unterstützung aus Studie 1 war das Vertrauen nach fehlerhafter LLM-basierter Unterstützung signifikant geringer, was auf den Einfluss früher Fehler in LLM-Ausgaben auf die Vertrauensentwicklung hinweist. Insgesamt zeigen die Ergebnisse, dass frühe Fehler in der LLM-basierten Unterstützung die Vertrauensentwicklung in AR negativ beeinflussen und fehlkalibriertes Vertrauen zu unangemessenem Verlass und geringerer Leistung führen kann. Dies unterstreicht die Bedeutung einer angemessenen Vertrauenskalibrierung in der Mensch-KI-Interaktion.
Abstract
(Englisch)
Recent advances in artificial intelligence (AI), particularly large language models (LLMs), have enabled conversational assistants in augmented reality (AR) that can improve task support. However, imperfect AI accuracy and the cognitive demands of AR may impair users’ ability to critically evaluate AI-generated outputs, affecting trust, reliance, and decision-making. This thesis examines trust and reliance on LLM-based guidance integrated in AR by proposing a theoretical framework of AI reliance factors and investigating relationships between trust, cognitive workload, attention allocation, and overreliance through two laboratory studies using subjective, objective (eye tracking) and behavioral measures. Study 1 (N = 36) examined trust in AI, mental workload, and gaze-based attention allocation under high LLM accuracy by comparing AR systems with and without LLM-based guidance (n = 18 each). Results showed moderate, stable trust and decreasing mental workload across tasks. Higher mental workload was associated with lower trust, particularly in the LLM-assisted condition. Study 2 (N = 18) investigated the effects of interaction with erroneous LLM-based guidance in an AR system on trust, reliance, mental workload, task performance, and attention allocation over time/across tasks. Higher trust was associated with greater behavioral overreliance and lower task performance. Trust in AI declined after early LLM errors and then stabilized, while eye-tracking data indicated reduced verification behavior among participants with higher trust. Compared with the high LLM-based guidance accuracy baseline (Study 1), trust in AI in Study 2 was significantly lower following the exposure to erroneous LLM-based guidance, indicating the impact of early errors in LLM output on trust development. Overall, the findings show that early errors in LLM-based guidance negatively affect trust development in AR with LLM and that misaligned trust can lead to inappropriate reliance and reduced performance, highlighting the importance of trust calibration in human–AI interaction.
Schlagwörter
Schlagwörter
(Deutsch)
Mensch–KI Interaktion Kognitive Belastung Künstlichen Intelligenz Große Sprachmodelle Verlass auf KI Vertrauen Erweiterte Realität
Schlagwörter
(Englisch)
human–AI interaction trust reliance on AI large language models artificial intelligence augmented reality cognitive workload
Autor*innen
Anja Rejc
Haupttitel (Englisch)
Investigating trust in AI and overreliance on AI-generated guidance in an augmented reality environment
Publikationsjahr
2026
Umfangsangabe
x, 95 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Dominik Kowald
AC Nummer
AC17929203
Utheses ID
81541
Studienkennzahl
UA | 066 | 013 | |