Detailansicht
Specification overfitting in NLP systems: from fine-tuning to persona prompting
Pedro Henrique Luz de Araujo
Art der Arbeit
Dissertation
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Doktoratsstudium der technischen Wissenschaften Informatik
Betreuer*in
Benjamin Roth
DOI
10.25365/thesis.80991
URN
urn:nbn:at:at-ubw:1-12624.58965.437749-0
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Modernste Systeme zur Verarbeitung natürlicher Sprache (Natural Language Processing, NLP) werden in sensiblen und einflussreichen Bereichen wie Bildung, Gesundheitswesen und Recht eingesetzt---oder deren Einsatz wird in Betracht gezogen. Um vertrauenswürdig zu sein, müssen diese Systeme nicht nur eine hohe Leistungsfähigkeit aufweisen, sondern auch umfassendere Anforderungen wie Robustheit, Fairness und Sicherheit erfüllen. Diese hohen Anforderungen müssen jedoch zunächst in konkrete, optimierbare Spezifikationen wie Metriken und Datensätze übersetzt werden, ein Prozess, der zu Fehlausrichtungen führen kann. Diese Dissertation definiert und untersucht Spezifikationsüberanpassung, ein Phänomen, bei dem Systeme auf Kosten grundlegender oder gleichzeitiger Anforderungen übermäßig für bestimmte Spezifikationen optimiert werden. In sieben Beiträgen untersucht die Dissertation die Spezifikationsüberanpassung in drei Paradigmen der Spezifikationsimplementierung: Feinabstimmung, Anweisungsaufforderung und Persona-Aufforderung. Sie befasst sich mit drei Forschungsfragen: (1) Wie kann Spezifikationsüberanpassung formal definiert und empirisch gemessen werden? (2) Wie beeinflussen verschiedene Implementierungsparadigmen die Spezifikationsüberanpassung? und (3) Wie kann Spezifikationsüberanpassung gemildert werden? Wir schlagen eine spezifikationsübergreifende Analyse als Bewertungsprotokoll vor, das die Spezifikationsüberanpassung bewertet, indem es die Auswirkungen eines Implementierungsparadigmas auf unsichtbare Spezifikationen misst. Die Ergebnisse für verschiedene Modellarchitekturen, Aufgabentypen und Spezifikationen zeigen, dass alle untersuchten Implementierungsparadigmen anfällig für Spezifikationsüberanpassung sind. Wir stellen fest, dass Spezifikationsüberanpassung bei der Feinabstimmung durch Anpassung des Trainingsverfahrens und der Datenkuratierung gemildert werden kann: Ein zweistufiges Trainingsverfahren, zunächst mit Aufgabendaten und dann mit einer Mischung aus Aufgaben- und Spezifikationsdaten, verbessert die Generalisierung und die Beibehaltung der Aufgabenleistung. Im Zusammenhang mit Persona-Prompting mildert die explizite Einbeziehung von Verhaltensanforderungen in den Prompt negative Auswirkungen auf die Robustheitsanforderungen---allerdings nur für die größten Modelle in unserem Versuchsaufbau. Unsere Ergebnisse veranschaulichen die strukturelle Spannung zwischen dem, was gewünscht ist, und dem, was spezifiziert werden kann. Um dies zu beheben, sind Bewertungsverfahren erforderlich, die den stellvertretenden Charakter von Spezifikationen und die Auswirkungen zwischen Spezifikationen sowie mögliche Kompromisse zwischen konkurrierenden Anforderungen berücksichtigen.
Abstract
(Englisch)
State-of-the-art natural language processing (NLP) systems are used---or considered to be used---in sensitive and high-impact domains such as education, healthcare, and law. To be trustworthy, these systems must not only achieve high task performance but also meet broader requirements such as robustness, fairness, and safety. However, these high-level requirements must first be translated into concrete, optimizable specifications such as metrics and datasets, a process that can introduce misalignments. This dissertation defines and investigates specification overfitting, a phenomenon in which systems become overly optimized for given specifications at the expense of underlying or concurrent requirements. Across seven contributing articles, the dissertation examines specification overfitting in three specification implementation paradigms: fine-tuning, instruction prompting, and persona prompting. It addresses three research questions: (1) How can specification overfitting be formally defined and empirically measured? (2) How do different implementation paradigms influence specification overfitting? and (3) How can specification overfitting be mitigated? We propose cross-specification analysis as an evaluation protocol that assesses specification overfitting by measuring the impact of an implementation paradigm on unseen specifications. Results across diverse model architectures, task types, and specifications show that all examined implementation paradigms are susceptible to specification overfitting. We find that specification overfitting in fine-tuning can be mitigated by adapting the training procedure and data curation: a two-step training regime, first on task data and then on a mixture of task and specification data, improves generalization and task performance retention. In the context of persona prompting, explicitly including behavior requirements in the prompt mitigates negative impact on robustness requirements---but only for the largest models in our experimental setup. Our findings illustrate the structural tension between what is desired and what can be specified. Addressing this requires evaluation practices that account for the proxy nature of specifications and for cross-specification effects, as well as possible trade-offs between competing requirements.
Schlagwörter
Schlagwörter
(Deutsch)
Natürliche Sprachverarbeitung Modellüberanpassung Aufgabenspezifikationen Große Sprachmodelle Persona-Prompting Instruktionsbefolgung Maschinelles Lernen
Schlagwörter
(Englisch)
Natural Language Processing Overfitting Specifications Large Language Models Persona Prompting Instruction Following Machine Learning
Autor*innen
Pedro Henrique Luz de Araujo 
Haupttitel (Englisch)
Specification overfitting in NLP systems: from fine-tuning to persona prompting
Publikationsjahr
2025
Umfangsangabe
xv, 221, 31 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*innen
Lucie Flek ,
Flor Miriam Plaza del Arco
Klassifikationen
54 Informatik > 54.72 Künstliche Intelligenz ,
54 Informatik > 54.75 Sprachverarbeitung
AC Nummer
AC17849441
Utheses ID
79059
Studienkennzahl
UA | 786 | 880 | |