Detailansicht
Empirically understanding high-risk AI
a case study of an AI system that performs matchmaking to connect freelancers with companies to develop projects
Ingrid Paola Marin Cabezas
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Sozialwissenschaften
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Science-Technology-Society
Betreuer*in
Maximilian Fochler
DOI
10.25365/thesis.78612
URN
urn:nbn:at:at-ubw:1-25816.21596.434454-5
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Diese Arbeit unternimmt eine empirische Untersuchung von risikoreicher künstlicher Intelligenz (KI) und untersucht insbesondere deren Entwicklung im Kontext kleiner und mittlerer Unternehmen (KMU). Die Motivation für diese Forschung entstand im Jahr 2022 im Zuge von Diskussionen und der vorgeschlagenen Regulierung von KI in der Europäischen Union, die Risikostufen für KI einführte: inakzeptabel, risikoreich, begrenztes Risiko und minimales Risiko. Von besonderem Interesse ist die Kategorie „hohes Risiko”, die strengen Auflagen unterliegt. Diese Arbeit hat nicht zum Ziel, die Kategorisierung zu analysieren, sondern hochriskante KI anhand einer Fallstudie aus der Praxis empirisch zu verstehen. Die übergeordnete Frage, die diese Untersuchung leitet, lautet: Wie entwickeln Start-ups KI, die mit hoher Wahrscheinlichkeit als hochriskant einzustufen ist? Der ausgewählte Fall konzentriert sich auf ein Start-up, das ein KI-System entwickelt hat, um Freiberufler für bestimmte Projekte an Unternehmen zu vermitteln. Angesichts der endgültigen Fassung des EU-Künstlicher-Intelligenz-Gesetzes (EU-KI-Gesetz), das am 13. Juni 2024 veröffentlicht wurde, insbesondere Anhang III „Hochriskante KI-Systeme“, der sich mit „Beschäftigung, Arbeitnehmermanagement und Zugang zur Selbstständigkeit“ befasst, wird das KI-System dieses Start-ups wahrscheinlich als hochriskant eingestuft werden. Die empirischen Ergebnisse heben mehrere Aspekte der Entwicklung risikoreicher KI hervor. So können beispielsweise KI-Produkte, die nicht von vornherein auf weit verbreiteten gesellschaftlichen Bedürfnissen basieren, dennoch zu risikoreicher KI werden. Darüber hinaus zeigt die Untersuchung, dass das Start-up seine KI aktiv gestaltet und damit auch die öffentliche Wahrnehmung beeinflusst. Die Vision des Start-ups, die Arbeit neu zu erfinden, schafft eine starke Erzählung, die die Wahrnehmung der Technologie durch Investoren, Kunden und Mitarbeiter beeinflusst. Dies zeigt die Relevanz von Narrativen, die in KI-Systemen eingebettet sind, und ihre Fähigkeit, die Realitäten des Freiberufler-Arbeitsmarktes zu beeinflussen. Darüber hinaus wurde ein signifikanter Einfluss im Zusammenhang mit Daten festgestellt, insbesondere die Vereinfachung komplexer persönlicher Präferenzen und Motivationen zu statischen Informationen innerhalb des KI-Systems. Diese Vereinfachung wirft Fragen auf, ob KI-gesteuerte Entscheidungen wirklich die Komplexität des realen Lebens widerspiegeln. Die Arbeit befasst sich auch mit der Herausforderung, KI-Entscheidungen zu verstehen und anzufechten, insbesondere bei „Black-Box”-Modellen, und betont die Notwendigkeit der Einbeziehung von Menschen aus verschiedenen Disziplinen in verschiedenen Phasen der Produktion von risikoreicher KI. Darüber hinaus wirft die Untersuchung Bedenken hinsichtlich einer möglichen übermäßigen Abhängigkeit von KI-Empfehlungen und der Notwendigkeit weiterer Forschung zu deren Auswirkungen auf die Entscheidungsfindung und Abhängigkeit der Nutzer auf. Die zentrale Erkenntnis der Untersuchung betrifft den Bewertungsprozess des Start-ups im Hinblick auf KI. Unter Verwendung eines Bewertungsstudien-Rahmenwerks rekonstruiert die Studie, wie das Start-up risikoreiche KI anhand der „Triade der Positionen“ – Wertgeber, Bewerter, Zielgruppe (Waibel et al., 2021) – konzipiert. Sie zeigt, dass die Leistung des Algorithmus der primäre Wertgeber ist und überraschenderweise nicht die Endnutzer, sondern das KI-Produkt selbst die eigentliche Zielgruppe dieser Bewertung ist. Die Studie zeigt, dass der Wert, der risikoreicher KI trotz ihrer Risiken beigemessen wird, die Geschäftsziele, Prozesse und Visionen des Start-ups vorantreibt und prägt und damit auch den Freelancer-Sektor maßgeblich beeinflusst. Diese Arbeit versucht, einen Beitrag zur Verringerung der „Black-Box“-Natur risikoreicher KI zu leisten, indem sie einen empirischen Überblick über ihre Entstehung, Funktion und vielfältigen Auswirkungen liefert und für ein breiteres Verständnis von KI als soziales Konstrukt eintritt, das von der Gesellschaft geprägt ist und diese wiederum prägt.
Abstract
(Englisch)
This thesis embarks on an empirical exploration of high-risk Artificial Intelligence (AI), specifically examining its development within the context of Small and Medium-sized Enterprises (SMEs). The motivation for this research arose in 2022 amidst discussions and the proposed regulation of AI in the European Union, which introduced risk levels of AI: unacceptable, high-risk, limited risk, and minimal risk. Of particular interest is the "high-risk" category, subject to stringent obligations. This thesis positions itself not to analyse the categorisation, but rather to empirically understand high-risk AI through a real-world case study. The overarching question guiding this research is How do startups develop what would be most likely high-risk AI? The selected case focuses on a startup that has developed an AI system for matchmaking freelancers with companies for specific projects. Given the final version of the EU Artificial Intelligence Act (EU AI Act), published on June 13, 2024, specifically Annex III High-risk AI systems, which addresses “Employment, workers’ management and access to self-employment” this startup's AI system is likely to be classified as high-risk. The empirical findings highlight several aspects of high-risk AI development. For instance, AI products not inherently grounded in widespread societal needs can nonetheless transition into high-risk AI. Moreover, the research reveals that the startup actively shapes its AI and, consequently, public perceptions surrounding it. The vision of the startup about reinventing work creates a powerful narrative that influences how the technology is conceptualized by investors, customers, and employees. This demonstrates the relevance of narratives embedded within AI systems, and their capacity to influence the realities of the freelance job market. Furthermore, a significant impact identified relates to data, particularly the simplification of complex personal preferences and motivations into static information within the AI system. This simplification raises questions about whether AI-driven decisions truly reflect real-life complexities. The thesis also addresses the challenge of understanding and contesting AI decisions, especially for "black box" models, emphasizing the necessity of human involvement from diverse disciplines at various stages of high-risk AI production. Moreover, the research raises concerns about potential overreliance on AI recommendations and the need for future research on its impact on user decision-making and dependency. The core finding of the research is concerned with the startup's valuation process of AI. Employing a valuation studies framework, the research reconstructs how the startup conceives high-risk AI through the "triad of positions" -valuee, valuator, audience (Waibel et al., 2021). It demonstrates that the performance of the algorithm is the primary valuee, and surprisingly, the AI product itself, not the end-users, is the true audience for this valuation. The research reveals that the value attributed to high-risk AI, despite its risks, drives and shapes the startup's business goals, processes, and vision, significantly also shaping the freelance sector. This thesis attempts to contribute to reduce the "black box" nature of high-risk AI by providing an empirical account of its creation, function, and multifaceted impacts, advocating for a broader understanding of AI as a social construction shaped by, and shaping, society.
Schlagwörter
Schlagwörter
(Deutsch)
risikoreicher künstlicher Intelligenz kleiner und mittlerer Unternehmen EU-Künstlicher-Intelligenz-Gesetzes EU-KI-Gesetz
Schlagwörter
(Englisch)
high-risk Artificial Intelligence Small and Medium-sized Enterprises SMEs EU Artificial Intelligence Act AI Act
Autor*innen
Ingrid Paola Marin Cabezas
Haupttitel (Englisch)
Empirically understanding high-risk AI
Hauptuntertitel (Englisch)
a case study of an AI system that performs matchmaking to connect freelancers with companies to develop projects
Publikationsjahr
2025
Umfangsangabe
75 Seiten
Sprache
Englisch
Beurteiler*in
Maximilian Fochler
AC Nummer
AC17563342
Utheses ID
76368
Studienkennzahl
UA | 066 | 906 | |