Detailansicht
Working with RAG-based chatbots in legal tasks
exploring usability, perceived trustworthiness and mental workload
Felix Aufreiter
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Philologisch-Kulturwissenschaftliche Fakultät
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Digital Humanities
Betreuer*in
Torsten Möller
Mitbetreuer*in
Laura Koesten
DOI
10.25365/thesis.80999
URN
urn:nbn:at:at-ubw:1-17148.22618.244122-3
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Die Evaluierung von domänenspezifischen Chatbots mit Schwerpunkt auf Rechtsdokumenten stellt eine besondere Herausforderung im Forschungsbereich der Mensch-Computer-Interaktion dar. Diese Masterarbeit untersuchte, wie juristische Experten einen auf Retrieval-Augmented Generation basierenden Steuerrecht-Chatbot bei der Ausführung von realistischen Routineaufgaben erleben. Ziel ist es, die wahrgenommene Vertrauenswürdigkeit, Benutzerfreundlichkeit und die wahrgenommene mentale Arbeitsbelastung bei Routineaufgaben für die Steuerrechtsexperten der Arbeiterkammer zu verstehen. In dieser Arbeit wird der Steuerrecht-Chatbot der Arbeiterkammer (AK-chatbot) evaluiert und es werden mögliche Verbesserungen identifiziert. Zur Erhebung quantitativer und qualitativer Daten wird ein eingebettetes Mixed-Methods-Forschungsdesign verwendet und das in dieser Arbeit entwickelte Chatbot Evaluation Framework (CEF) eingesetzt. Nach einer Mensch-Chatbot-Interaktion füllen die Teilnehmer einen Fragebogen aus und nehmen anschließend an einem semistrukturierten Interview teil. Ziel der Umfrage ist es, die von den Teilnehmern wahrgenommene mentale Arbeitsbelastung (RTLX), die Benutzerfreundlichkeit des Chatbots (Chatbot Usability Questionnaire, CUQ) und die wahrgenommene Vertrauenswürdigkeit zu untersuchen, während sich die semistrukturierten Interviews auf die Themen Integration in den Arbeitsalltag, wahrgenommene Vertrauenswürdigkeit, Bereiche für die zukünftige Entwicklung des Steuerrechts-Chatbots, Informationsbedarf der Teilnehmer (XAI Novice Question Bank) und ihre Vorkenntnisse in Bezug auf die Nutzung von Chatbots konzentrieren. Die Ergebnisse zeigen, dass der Steuerrecht-Chatbot als eingeschränkt vertrauenswürdig wahrgenommen wird, Schwächen in der Benutzerfreundlichkeit festgestellt wurden und Steuerexperten bei der Nutzung keine außergewöhnlich hohe mentale Arbeitsbelastung angaben. Es wurden Verbesserungsmöglichkeiten für die weitere Entwicklung identifiziert und der bestehende Informationsbedarf der Steuerrechtsexperten erfasst. Einerseits trägt diese Arbeit dazu bei, neue Referenzwerte für RTLX und CUQ zu generieren, andererseits können die Erkenntnisse aus den Daten zur Weiterentwicklung der Evaluierung von juristischen Chatbots beitragen.
Abstract
(Englisch)
The evaluation of domain-specific chatbots focusing on legal documents poses a specific challenge in the field of human-computer interaction. This master’s thesis investigated how legal domain experts experience a retrieval-augmented generation-based tax law chatbot when performing real-world work tasks. The goal is to understand its perceived trustworthiness, usability, and the perceived mental workload of routine tasks on Arbeiterkammer's tax law experts. In this thesis, the Arbeiterkammer's tax law chatbot (AK-chatbot) is evaluated, and potential improvements are identified. An embedded mixed-methods research design is used to collect quantitative and qualitative data, using the Chatbot Evaluation Framework (CEF) developed in this thesis. After a human-chatbot interaction, participants complete a survey and then participate in a semi-structured interview. The survey's goal is to examine the participants perceived mental workload (RTLX), the chatbot's usability (Chatbot Usability Questionnaire, CUQ) and perceived trustworthiness, while the semi-structured interviews focus on the topics of integration into work routine, perceived trustworthiness, areas for future development of the tax law chatbot, participants' information needs (XAI Novice Question Bank) and their prior knowledge regarding chatbot usage. The results show that the tax law chatbot is perceived as having limited trustworthiness, that usability weaknesses were identified, and that tax experts did not report an exceptionally high mental workload when using it. Opportunities for improvement in further development were identified, and existing information needs of tax law experts were gathered. On the one hand, this work generates new reference values for RTLX and CUQ; on the other hand, the findings from the data can further develop evaluations for legal chatbots.
Schlagwörter
Schlagwörter
(Deutsch)
Chatbot Juristische Aufgaben Retrieval-Augmented Generation RAG Vertrauenswürdigkeit Benutzerfreundlichkeit Mentale Arbeitsbelastung Evaluierung
Schlagwörter
(Englisch)
Chatbot Legal tasks Retrieval-Augmented Generation RAG Trustworthiness Usability Mental workload Evaluation
Autor*innen
Felix Aufreiter 
Haupttitel (Englisch)
Working with RAG-based chatbots in legal tasks
Hauptuntertitel (Englisch)
exploring usability, perceived trustworthiness and mental workload
Paralleltitel (Deutsch)
Der Einsatz von RAG-basierten Chatbots bei juristischen Aufgaben
Paralleluntertitel (Deutsch)
eine Untersuchung zu Benutzerfreundlichkeit, wahrgenommener Vertrauenswürdigkeit und mentaler Arbeitsbelastung
Publikationsjahr
2026
Umfangsangabe
xiii, 125 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Torsten Möller
Klassifikationen
10 Geisteswissenschaften allgemein > 10.03 Methoden und Techniken der geisteswissenschaftlichen Forschung ,
54 Informatik > 54.08 Informatik in Beziehung zu Mensch und Gesellschaft
AC Nummer
AC17849565
Utheses ID
80401
Studienkennzahl
UA | 066 | 647 | |