Detailansicht
From acknowledgments to acceptance?
academic beginners' perceptions of LLMs in social science research
Hannah Maria Kronschnabl
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Sozialwissenschaften
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Communication Science
Betreuer*in
Hajo Boomgaarden
Mitbetreuer*in
Jakob-Moritz Eberl
DOI
10.25365/thesis.74383
URN
urn:nbn:at:at-ubw:1-10607.73123.393968-3
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Der wachsende Einsatz großer Sprachmodelle (LLMs) wie ChatGPT im akademischen Bereich hat in der Forschungsgemeinschaft eine Debatte über deren Verwendung in wissenschaftlichen Publikationen ausgelöst. Die vorliegende Studie folgt praktischen Anweisungen der kürzlich angepassten Publikationsrichtlinien wissenschaftlicher Verlage, die fordern jegliche Unterstützung durch LLMs in den Danksagungen von Forschungsarbeiten offenzulegen. Diese Studie ist die erste, die Danksagungen, in welchen auf eine Beteiligung von ChatGPT in verschiedenen Bereichen im Forschungsprozess hingewiesen wird, ansieht. Es wird deren Einfluss auf die Wahrnehmung junger WissenschaftlerInnen bezüglich Forschungsqualität und der Nützlichkeit von LLMs geprüft, und untersucht ob dies von deren positivistischen Denken abhängig ist. Mithilfe eines experimentellen Ansatzes wurde die Wahrnehmung der Studierenden (N = 152) eines akademischen Journal-Eintrages analysiert, der auf Unterstützung von ChatGPT zum Redigieren oder zur Generierung von Inhalten und Ideen hinweist. Die Ergebnisse zeigen, dass die Qualitätswahrnehmungen der Forschung abnahmen, wenn ChatGPT für den Inhalt oder die Ideengenerierung verwendet, nicht aber, wenn es zum Redigieren herangezogen wurde. Die wahrgenommene Nützlichkeit des Sprachmodells hingegen wurde tendenziell höher bewertet, wenn das LLM zur Generierung von Inhalten und Ideen verwendet wurde. Es konnten keine moderierenden Effekte positivistischer Einstellungen gefunden werden.
Abstract
(Englisch)
The growing emergence of large language models (LLMs) such as ChatGPT in academia has sparked a debate in the research community about their use for scientific publishing. This study follows practical instructions of recently adapted publication guidelines to disclose any assistance of LLMs in the acknowledgment sections of research papers. The present study is the first one to explore the impact of acknowledgments indicating different involvements of ChatGPT in the research process on young scientists' perceptions of research quality and the usefulness of large language models, and whether this is influenced by their level of positivistic thinking. An experimental approach was employed to analyze students’ (N = 152) perceptions of an academic journal entry showing ChatGPT’s assistance in editing or generating content and ideas. The results showed that quality perceptions of research decreased when ChatGPT was used for content or idea generation, but not when it was used for editing. The perceived usefulness of ChatGPT, on the other hand, tended to be rated higher for content and idea generation. No moderating effects of positivistic attitudes could be found.
Schlagwörter
Schlagwörter
(Deutsch)
Künstliche Intelligenz Große Sprachmodelle ChatGPT Chatbots Wissenchaftliches Schreiben Forschungsqualität Wissenschaftskommunikation
Schlagwörter
(Englisch)
Artificial Intelligence Large Language Models ChatGPT chatbots scientific writing research quality science communication
Autor*innen
Hannah Maria Kronschnabl
Haupttitel (Englisch)
From acknowledgments to acceptance?
Hauptuntertitel (Englisch)
academic beginners' perceptions of LLMs in social science research
Paralleltitel (Deutsch)
Von Danksagungen zur Akzeptanz?
Paralleluntertitel (Deutsch)
Wahrnehmungen junger WissenschaftlerInnen von LLMs in der sozialwissenschaftlichen Forschung
Publikationsjahr
2023
Umfangsangabe
57 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Hajo Boomgaarden
Klassifikationen
05 Kommunikationswissenschaft > 05.20 Kommunikation und Gesellschaft ,
70 Sozialwissenschaften allgemein > 70.99 Sozialwissenschaften allgemein. Sonstiges
AC Nummer
AC16953125
Utheses ID
67940
Studienkennzahl
UA | 066 | 550 | |