Detailansicht
Explanations for AI novices
understanding, deliberating, and contesting algorithmic decisions
Timothée Schmude
Art der Arbeit
Dissertation
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Doktoratsstudium der technischen Wissenschaften Informatik
Betreuer*innen
Sebastian Tschiatschek ,
Torsten Möller
Mitbetreuer*in
Laura Koesten
DOI
10.25365/thesis.81974
URN
urn:nbn:at:at-ubw:1-17174.28057.452989-4
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Öffentliche Einrichtungen haben begonnen, algorithmische Systeme für Entscheidungen in Bereichen mit hohem Risiko einzusetzen, beispielsweise zur Bewertung der Beschäftigungsfähigkeit von Personen oder ihres Risikos, Sozialbetrug zu begehen. Durch algorithmische Entscheidungen sind Einzelpersonen jedoch den Fehlern, Verzerrungen und politischen Entscheidungen ausgesetzt, die in diesen Systemen verankert sind. Diese algorithmischen Systeme erklärbar zu machen, wird als Schutz vor möglichen Schäden angesehen, da dies es Einzelpersonen ermöglicht, algorithmische Entscheidungen zu verstehen und anzufechten. Allerdings ist die Erstellung von Erklärungen zu algorithmischen Systemen, die für Laien verständlich sind, ein neues in der Forschung zu erklärbarer KI und die Entwicklung bewährter Verfahren ist ausstehend. Diese Arbeit konzentriert sich auf das Design von Erklärungen für AI novices: Menschen, die wenig oder gar keine Kenntnisse über die technischen Grundlagen von KI-Systemen haben. Der Bereich der erklärbaren künstlichen Intelligenz (XAI) entwickelt Methoden, die KI-Systeme interpretierbar machen, doch viele dieser Methoden erfordern Vorwissen zu maschinellem Lernen und numerische Kompetenz. Dies führt zu einer Lücke zwischen den Kapazitäten der Erklärmethoden und den Bedürfnissen von AI novices, was ein systemisches Problem erzeugt: Während immer mehr Menschen algorithmischen Entscheidungen ausgesetzt sind, die ihr Leben dauerhaft beeinflussen können, haben nur sehr wenige die Möglichkeit, diese Entscheidungen zu verstehen und anzufechten. Diest steht im Widerspruch zu Rechten, die ihnen durch Gesetzestexte zu KI-Systemen gewährt werden. Erklärungen für Laien sind daher ein entscheidender Faktor auf dem Weg zu einer verantwortungsvollen Entwicklung und Nutzung algorithmischer Systeme. Das Ziel dieser Arbeit ist es zu untersuchen, wie Erklärungen zu ADM-Systemen gestaltet werden können, um AI novices und Personen, die von algorithmischen Entscheidungen betroffen sind, das Verständnis, die Beurteilung und die Hinterfragung algorithmischer Systeme zu erleichtern. Zu diesem Zweck präsentiert diese Arbeit die Ergebnisse von fünf Interviewstudien, die von 2022 bis 2026 durchgeführt wurden und jeweils einen Designaspekt von Erklärungen untersuchen, z. B. den Informationsbedarf der Nutzer:innen, die Interaktion in Gruppen und die Unterstützung von Anfechtungen, und diese mit Teilnehmer:innen anhand realer algorithmischer Anwendungsfälle bewerten. Die Teilnehmer:innen wurden primär aus öffentlichen Einrichtungen rekrutiert, um Personen einzubeziehen, die direkt von der Einführung solcher Systeme betroffen wären, wie Sozialberater und ihre Klienten. Die Ergebnisse dieser Arbeit zeigen, dass AI novices nicht nur technische Details benötigen, sondern auch Begründungen, d.h., Informationen über den Kontext und den Zweck eines ADM-Systems. Darüber hinaus prägt der Grad der persönlichen Beteiligung die Verständnisansätze, wobei betroffene Personen sich stärker auf emotionale Aspekte des Verständnisses stützen als beispielsweise Sozialberater:innen. Um Handlungen wie Beurteilung und Anfechtung zu unterstützen, sollten Erklärungen schnell und leicht verständlich sein. Gruppenkonstellationen können Verständnisprozesse durch das Aufteilen von Erkenntnisprozessen und den Austausch von Perspektiven unterstützen, jedoch nur, wenn die Gruppendynamik vertrauensvoll ist. Der Zusammenhang zwischen Erklärbarkeit und Anfechtbarkeit wird anhand eines partizipativen Designprozesses entwickelt und untersucht. Dabei zeigt sich, dass Sozialberater:innen als Informationsvermittler für ihre Klient:innen fungieren und sowohl Verfahrensinformationen als auch Anfechtungsmechanismen schätzen, die mit ihren Arbeitspraktiken im Einklang stehen. Die Arbeit konzentriert sich auf drei Anwendungsfälle von ADM-Systemen: ein System zur Vorhersage der Beschäftigungsfähigkeit, ein System zur Aufdeckung von Sozialbetrug und ein Gesundheitsarmband, das die Vitalfunktionen von Senior:innen vorhersagen und Stürze erkennen soll. Alle Anwendungsfälle sind reale Systemen nachempfunden, die betroffene Personen und eine öffentliche Debatte über ihren Einsatz mit sich bringen. Die Ergebnisse basieren auf diesen Einsatzkontexten und verbinden die konzeptionellen und technischen Aspekte der Erklärbarkeit mit den sozialen Auswirkungen und Folgen des Einsatzes algorithmischer Systeme in der Gesellschaft. Die Erkenntnisse dieser Dissertation geben Aufschluss über die Gestaltung und Rolle von Erklärungen bei der verantwortungsvollen und menschenzentrierten Entwicklung von ADM-Systemen im öffentlichen Sektor. Die wichtigsten Ergebnisse sind als Empfehlungen zusammengefasst, die für Entwickler:innen von Erklärungen von Nutzen sein können, die Erklärbarkeitsmethoden verstehen und anwenden möchten, um algorithmische Schäden einzugrenzen. Diese Arbeit soll zu einer transparenteren, gerechteren und faireren Nutzung algorithmischer Systeme beitragen, die den Namen „vertrauenswürdige KI” verdient.
Abstract
(Englisch)
Public institutions have begun using algorithmic systems for decision-making in high-risk domains, such as scoring individuals' employability or their risk of committing welfare fraud. However, by being subjected to algorithmic decisions, individuals are vulnerable to the faults, biases, and policy choices embedded in these systems. Making the procedures and reasons driving algorithmic decisions explainable is seen as a safeguard against these harms by enabling individuals to understand and challenge algorithmic decisions. However, making explanations of algorithmic systems useful for lay audiences is a recent addition to explainability research and best practices are yet to be created. This thesis focuses on explanation design for AI novices: people who have little or no knowledge of technical foundations of AI systems. The field of explainable artificial intelligence (XAI) develops methods that make AI systems interpretable, but many of these methods require training in machine learning and high numerical literacy. This produces a gap between the affordances of explanations and the needs of AI novices, which in turn creates a systemic problem: While more individuals are subjected to algorithmic decisions that could permanently impact their lives, very few have the means to understand and contest these decisions, which is at odds with rights awarded to them by regulations of AI systems. Explainability for decision subjects is thus a crux on the path to the responsible development and use of algorithmic systems. The aim of this thesis is to examine how explanations of ADM systems can be designed to support AI novices and decision subjects in understanding, deliberating, and contesting algorithmic systems. To this end, this thesis presents the findings of five task-based interview studies, conducted from 2022 to 2026, that each investigate a design aspect, e.g., users’ information needs, interaction in group settings, and support for contestation, and evaluate it with participants using real-world ADM use cases. Participants were mainly recruited from public institutions to involve individuals who would be directly affected by the deployment of such systems, such as social counselors and decision subjects. The findings of this thesis show that AI novices require not only technical details but also justifications, information about an ADM system’s context and purpose. Further, the degree of personal involvement shapes understanding approaches, with decision subjects relying more on emotional facets of understanding than, e.g., social counselors. To support actions like deliberation and contestation, explanations should be quick and easy to understand. Group settings can support understanding processes through shared cognition and reasoning, but only if group dynamics are trusting. The link between explainability and contestability is developed and examined via a participatory design process, showing that social counselors act as informational mediators for their clients and value procedural information as well as contestation mechanisms that are aligned with their work practices. The thesis focuses on three use cases of ADM systems: an employability prediction system, a welfare fraud detection system, and a health wristband meant to predict vital signs and detect falls of senior citizens. All use cases are real systems with affected individuals and public debate surrounding their deployment. The findings are grounded in these deployment contexts and connect the conceptual and technical aspects of explainability to the social impact and consequences of using algorithmic systems in society. The insights of this thesis shed light on the design and role of explanations in the responsible and human-centered development of ADM systems in the public sector. Key findings are summarized as recommendations that can serve designers of explanations, transparency analysts, regulators of algorithmic systems, and day-to-day decision-makers in public institutions who want to understand and employ explainability methods to mitigate algorithmic harm. This thesis intends to contribute to a more transparent, equitable, and fair use of algorithmic systems that is deserving of the name trustworthy AI.
Schlagwörter
Schlagwörter
(Deutsch)
künstliche intelligenz human-computer interaction human-centered design erklärbarkeit empirische forschung algorithmische entscheidungssysteme transparenz verantwortlichkeit anfechtbarkeit öffentliche institutionen vertrauenswürdige KI Bewertung der Beschäftigungsfähigkeit Vorhersage von Sozialbetrug
Schlagwörter
(Englisch)
artificial intelligence algorithmic decision-making explainability explainable ai empirical studies human-centered design public institutions transparency accountability contestability trustworthy AI employability scoring welfare fraud prediction
Autor*innen
Timothée Schmude 
Haupttitel (Englisch)
Explanations for AI novices
Hauptuntertitel (Englisch)
understanding, deliberating, and contesting algorithmic decisions
Paralleltitel (Deutsch)
Erklärungen für AI novices
Paralleluntertitel (Deutsch)
Verstehen, Abwägen und Anfechten Algorithmischer Entscheidungen
Publikationsjahr
2026
Umfangsangabe
xiii, 234 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*innen
Miller, Timothy ,
Ute Schmid
Klassifikation
54 Informatik > 54.72 Künstliche Intelligenz
AC Nummer
AC18037833
Utheses ID
80713
Studienkennzahl
UA | 786 | 880 | |