Detailansicht
AI systems and a risk of discrimination in creditworthiness assessments
the role of the Artificial Intelligence Act in safeguarding the right to non discrimination
Julia Małgorzata Kalus
Art der Arbeit
Master-Thesis (ULG)
Universität
Universität Wien
Fakultät
Postgraduate Center
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Universitätslehrgang Europäisches und Internationales Wirtschaftsrecht (LL.M.) [Berufsbegleitend]
Betreuer*in
Christiane Wendehorst
DOI
10.25365/thesis.78243
URN
urn:nbn:at:at-ubw:1-12605.81921.747110-6
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Die vorliegende Arbeit befasst sich mit einem der größten Risiken, das sich aus dem Einsatz von KI-Systemen ergibt - dem Risiko der Diskriminierung. Sie untersucht insbesondere das Risiko der Diskriminierung bei KI-Systemen, die zum Zwecke des Zugangs zur Kreditwürdigkeit eingesetzt werden. Ziel der Arbeit ist es, den bestehenden Rechtsrahmen zu bewerten, der das Recht auf Nichtdiskriminierung bei der Kreditwürdigkeitsprüfung mit Hilfe von KI-Systemen gewährleistet. Zunächst wird der rechtliche Rahmen analysiert, welcher sich aus den europäischen Nichtdiskriminierungsgesetzen, der Datenschutz-Grundverordnung, zwei Urteilen des Gerichtshofs der Europäischen Union (EuGH) und der Verbraucherkreditrichtlinie aus 2023 zusammensetzt. Sodann wird untersucht, wie die neue Verordnung über Künstliche Intelligenz (KI-VO) diesen Rechtsrahmen ergänzt. Die KI-VO stuft KI-Systeme, die zur Kreditwürdigkeitsprüfung eingesetzt werden, als Hochrisiko-Systeme ein. Folglich müssen die Anbieter und Betreiber dieser Systeme bestimmte Anforderungen erfüllen. Die Arbeit konzentriert sich auf diejenigen Vorschriften der KI-VO, die für eine Verringerung des Diskriminierungsrisikos am relevantesten sind. Im Fokus stehen demnach die Vorschriften zur Grundrechte-Folgenabschätzung (Artikel 27 KI-VO), zur menschlichen Aufsicht (Artikel 14 KI-VO), zur Erkennung und Korrektur von Verzerrungen (Artikel 10(5) KI-VO) sowie die vorgesehenen Rechtsbehelfe auf individueller Ebene (Artikel 85 und 86 KI-VO). Das Hauptziel ist es, die Rolle der KI-VO und ihren Mehrwert gegenüber dem bestehenden Rechtsrahmen zu verstehen. Darüber hinaus wird erörtert, ob die von traditionellen Auskunfteien wie der SCHUFA genutzten Systeme in den Anwendungsbereich der KI-VO fallen und dementsprechend ihren Bestimmungen unterliegen. Weiterhin werden die Herausforderungen für das europäische Antidiskriminierungsrecht, die durch KI-Systeme entstehen, herausgearbeitet sowie ein Beitrag zur Debatte um die Existenz eines Rechts auf Erklärung aus der DSGVO geleistet.
Abstract
(Englisch)
This thesis deals with one of the most prominent risks stemming from the use of AI systems– the risk of discrimination. It specifically focuses on the risk of discrimination posed by AI systems used for the purpose of assessing creditworthiness. This area of AI systems’ deployment is sensitive from the perspective of fundamental rights, as it impacts lives of individuals to a great extent. The aim of this thesis is to assess the existing legal framework that safeguards the right to non-discrimination in credit scoring assessments conducted with the use of AI systems. The thesis first analyses the legal framework consisting of the European non-discrimination laws, the General Data Protection Regulation, together with two judgements of the Court of Justice of the European Union (CJEU) and the 2023 Consumer Credit Directive. Secondly, this dissertation assesses how the Artificial Intelligence Act (AI Act) complements this legal framework. The AI Act qualifies AI systems used for assessing creditworthiness as high-risk. Consequently, the providers and deployers of these systems are required to comply with certain requirements. This thesis is narrowed down to the analysis of the provisions of the AI Act that are most relevant for mitigating the risk of discrimination, including a provision dealing with Fundamental Rights Impact Assessment (Article 27 of the AI Act), human oversight (Article 14 of the AI Act), bias mitigation and monitoring (Article 10(5) of the AI Act) and individual-level rights (Articles 86 and 85 of the AI Act). The prominent goal of the thesis is to understand the role of the AI Act and its added value to the existing legal framework safeguarding individuals’ right to non-discrimination in credit worthiness assessment. In addition, this thesis discusses whether the systems used by traditional credit agencies, such as SCHUFA fall within the scope of the AI Act. The thesis also touches upon the challenges that AI systems pose to the European non-discrimination laws and it contributes to the debate on the existence of the right to explanation in the GDPR.
Schlagwörter
Schlagwörter
(Deutsch)
Künstliche Intelligenz KI-VO DSGVO personenbezogene Daten EU-Recht Voreingenommenheit Diskriminierung Kreditwürdigkeitsprüfung
Schlagwörter
(Englisch)
Artificial Intelligence Artificial Intelligence Act credit scoring bias non-discrimination personal data consumer credit
Autor*innen
Julia Małgorzata Kalus
Haupttitel (Englisch)
AI systems and a risk of discrimination in creditworthiness assessments
Hauptuntertitel (Englisch)
the role of the Artificial Intelligence Act in safeguarding the right to non discrimination
Publikationsjahr
2025
Umfangsangabe
86 Seiten
Sprache
Englisch
Beurteiler*in
Christiane Wendehorst
AC Nummer
AC17497780
Utheses ID
75513
Studienkennzahl
UA | 992 | 548 | |