Detailansicht
Expert persona prompting
an empirical study of the effects of expert persona prompt design on task-oriented performance
Nicolai Müller
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Informatik
Betreuer*in
Benjamin Roth
DOI
10.25365/thesis.81842
URN
urn:nbn:at:at-ubw:1-21068.82330.386883-8
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Die vorliegende Arbeit untersucht den Einfluss von Entscheidungen beim Prompt-Design auf die Modellleistung im Expert-Persona-Prompting. Dabei werden drei Entscheidungen des Persona-Designs untersucht: die Länge der Persona-Strings, das Zielgruppenniveau von zielgruppenorientierten Personas sowie die Unterscheidung zwischen instanzbasierten und domänebasierten Personas. Zur Beantwortung dieser Fragen wird die Modellleistung von acht Modellen aus vier Modellfamilien anhand von fünf Benchmarks evaluiert. Die Analyse verbindet statistische Auswertungen und Hypothesentests auf Basis standardisierter Benchmark-Metriken mit einer qualitativen Untersuchung von Persona-Strings und Modellantworten. Dadurch lassen sich auch Fragen behandeln, die sich nicht allein mit statistischen Methoden beantworten. Die Ergebnisse zeigen, dass ein höherer Detailgrad in Persona-Strings die Modellleistung verbessern kann, dass das Zielgruppenniveau einen signifikanten Einfluss auf die Leistung hat und dass instanzbasierte Personas im Allgemeinen besser abschneiden als domänenbasierte. Die Analyse zeigt jedoch auch, dass Persona-Effekte modell- und datensatzabhängig sind. Die Ergebnisse legen daher nahe, dass Persona-Prompt-Engineering Modellleistung und Modellantworten wesentlich verändern kann, zugleich aber seine Wirksamkeit von mehreren Faktoren abhängt, wie zum Beispiel dem Datensatz, der Motivation hinter der Verwendung von Personas und den verfügbaren Rechenressourcen.
Abstract
(Englisch)
This thesis investigates how prompt design decisions affect model performance in expert-persona prompting. In particular, it examines three persona design choices: the length of persona strings, the audience level of audience-targeting personas, and the distinction between instance-based and domain-based personas. To address these questions, model performance is evaluated on five benchmarks across eight models from four model families. The analysis combines statistical evaluation and hypothesis testing using standard benchmark metrics with a qualitative examination of persona strings and model responses, enabling the thesis to address questions that cannot be answered through statistical methods alone. The results show that adding more detail to persona strings can improve task performance, that audience level has a significant impact on performance, and that instance-based personas generally outperform domain-based ones. However, the analysis also indicates that persona effects are model- and dataset-sensitive. The findings therefore suggest that persona prompt engineering can meaningfully alter model performance and responses, and that its effectiveness depends on several factors, including the dataset, the motivation for using personas, and available computational resources.
Schlagwörter
Schlagwörter
(Deutsch)
Persona-Prompt-Design Prompt Engineering Persona Prompting Informatik
Schlagwörter
(Englisch)
Persona Prompt Design Prompt Engineering Persona Prompting Computer Science
Autor*innen
Nicolai Müller
Haupttitel (Englisch)
Expert persona prompting
Hauptuntertitel (Englisch)
an empirical study of the effects of expert persona prompt design on task-oriented performance
Publikationsjahr
2026
Umfangsangabe
xi, 89 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Benjamin Roth
Klassifikationen
54 Informatik > 54.72 Künstliche Intelligenz ,
54 Informatik > 54.75 Sprachverarbeitung
AC Nummer
AC18007537
Utheses ID
82134
Studienkennzahl
UA | 066 | 921 | |