Detailansicht
Confidence and accuracy
exploring the effects of confidence judgement methods in two-alternative forced-choice tasks
Filippus Nemestothy
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Wirtschaftswissenschaften
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Internationale Betriebswirtschaft
Betreuer*in
Steffen Keck
DOI
10.25365/thesis.77313
URN
urn:nbn:at:at-ubw:1-17885.75141.853545-6
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Ärzte benötigen es gleichermaßen wie Manager: Eine gute Einschätzung der Sicherheit, mit der sie Entscheidungen und Vorhersagen treffen. Das Maß dieser Sicherheit, geläufig als Confidence Calibration, hat in vielen Forschungsdomänen Bedeutung und eine lange Vergangenheit und trotzdem weist die Literatur Lücken auf. So werden zwei häufig verwendete Methoden zur Erfassung der subjektiven qualitativen Beurteilung einer Einschätzung in der Literatur unterschiedlich überlegen beschrieben. Die vorliegende Studie stellt die Hypothese auf, dass die Half-Range Methode (50-100) der Full-Range Methode (0-100) überlegen ist und stellt darüber hinaus eine neue verbesserte Methode vor. In einer experimentellen Studie mit 232 Teilnehmer*innen wurden alle drei Methoden mit Allgemeinwissensfragen (mit je zwei Antwortoptionen und einer erzwungenen Entscheidung) getestet und Brier Scores als Schätzgütemaße berechnet. Die Analyse der Daten bestätigt die Überlegenheit der Half-Range Methode, um genauere Kalibrierung von tatsächlichem Wissen und dessen Einschätzung zu erreichen. Für die neuentwickelte Messmethode konnte keine Verbesserung oder Überlegenheit in der Kalibrierungsgenauigkeit festgestellt werden. Die Studie schließt mit einer kritischen Diskussion der Ergebnisse ab und schlägt mögliche zukünftige Forschungsrichtungen vor.
Abstract
(Englisch)
Doctors need it just as well as business managers: Confidence calibration, the measure of certainty with which a judgement has been made. Confidence calibration methods are used to hone forecasts, identify correct medical treatments and elicit expert decisions. The topic is reported to have implications in most fields of research and areas of everyday life, yet the body of research on measurement methods of confidence calibration accuracy shows inconsistent results. The traditional half-range method (50-100) and the full-range method (0-100), distinct by the range of their applied scale and commonly applied in two-alternative tasks, have each been reported superior to the other. This study proposed the half-range method to be superior, thus yielding more accurate calibration. Furthermore, a novel alteration of the traditional methods is developed with the intent to improve calibration accuracy: the dual-opposite (100-50-100) method. In an experimental study with 232 participants, all three confidence judgment methods were tested using two-alternative forced-choice general knowledge questions, and Brier scores were calculated for each method. The analysis confirmed the superiority of the half-range method, though the novel method did not improve nor worsen calibration accuracy. This study concludes with a critical discussion of the findings and offers suggestions for future research directions.
Schlagwörter
Schlagwörter
(Deutsch)
Urteilsvermögen Verhaltensökonomik Entscheidungsverfahren Brier Score Messmethoden Kalibrierung Selbstvertrauen
Schlagwörter
(Englisch)
confidence calibration metacognition human judgement confidence judgement half-range method full-range method decision processing performance monitoring general knowledge questions economic psychology
Autor*innen
Filippus Nemestothy
Haupttitel (Englisch)
Confidence and accuracy
Hauptuntertitel (Englisch)
exploring the effects of confidence judgement methods in two-alternative forced-choice tasks
Publikationsjahr
2024
Umfangsangabe
iv, 83 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Steffen Keck
Klassifikation
85 Betriebswirtschaft > 85.03 Methoden und Techniken der Betriebswirtschaft
AC Nummer
AC17394069
Utheses ID
73542
Studienkennzahl
UA | 066 | 914 | |