Detailansicht
Human creativity vs. artificial intelligence
an experiment to test user engagement on Instagram posts by brands
Laura Eva-Maria Sommaruga
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Sozialwissenschaften
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Publizistik- und Kommunikationswissenschaft
Betreuer*in
Sabine Einwiller
DOI
10.25365/thesis.80285
URN
urn:nbn:at:at-ubw:1-13200.45469.131740-4
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Die rasante Entwicklung der Künstlichen Intelligenz (KI) hat die zentralen Prozesse des digitalen Marketings, insbesondere der Erstellung von Inhalten für Social Media, fundamental verändert. Während Unternehmen zunehmend mehr KI-generierte Inhalte in ihre Kommunikationsstrategien einfließen lassen, stellt sich die Frage, wie Konsumentinnen und Konsumenten auf diese Inhalte reagieren. Obwohl bereits einige Studien die Wahrnehmung von KI-generierten Inhalten untersuchten, wurden diese Experimente in kontrollierten, experimentellen oder nicht realitätsnahen Online-Settings durchgeführt. Untersuchungen in einem realen Setting wurden dabei weitgehend vernachlässigt. Die Erkenntnisse sind oft gemischt, vor allem in Bezug auf Authentizität, Offenlegung von KI-Nutzung und stilistische Aspekte. Daher sind empirische Beweise für die mögliche unterschiedliche Performance von KI-generierten Inhalten und jenen, die von einem Menschen erzeugt wurden, im realen Kontext auf social media stark begrenzt. Basierend auf dem Nutzen- und Belohnungsansatz (Uses & Gratifications theory) von Katz et al. (1973), der Commitment-Trust Theorie von Morgan und Hunt (1994) und dem Konzept der (Marken-)Authentizität, untersucht diese Studie die Unterschiede zwischen zwei Inhaltsquellen und drei Inhaltstypen in Bezug auf messbare Engagement Metriken auf Instagram. Diese theoretischen Grundlagen betonen, dass Engagement von funktionalen, hedonistischen und authentizitätsbezogenen Bedürfnissen beeinflusst wird. Darüber hinaus sind das wahrgenommene Vertrauen, Kontinuität und wahrgenommene Aufrichtigkeit wichtige Bestandteile von starken Beziehungen zwischen Marken und Konsumentinnen und Konsumenten. Bisherige Literatur betont außerdem, dass Veränderungen im Ton, Emotionalität und sprachliche Merkmale von Social-Media-Beiträgen die wahrgenommene Authentizität und dadurch das Nutzer Engagement beeinflussen können. Um die Lücken der bisherigen Forschung zu füllen, wurde die folgende übergeordnete Forschungsfrage untersucht: Wie wirkt sich KI-generierter Content (ACC) im Vergleich zu von Menschen erstelltem Content (HCC) auf das Nutzerengagement auf dem Instagram-Kanal einer realen Marke aus? Um diese Fragen zu beantworten, wurden 42 Instagram-Beiträge auf dem Instagram Account von Leica Camera Classics, im Zeitraum von Mitte Mai bis Ende September, veröffentlicht. Gesamt wurden die Bildunterschriften für die Hälfte dieser Posts von ChatGPT4-o verfasst, während die restlichen 21 Texte von der in der Firma zuständigen Person geschrieben wurden. Die Beiträge wurden in drei Inhaltstypen (informativ, unterhaltsam und werbend) eingeteilt. Das Nutzer-Engagement wurde anhand von „Gefällt mir“-Angaben, Kommentaren, der Anzahl der geteilten Beiträge, der gespeicherten Beiträge und der Aufrufe gemessen. Deskriptive Statistiken sowie Mann-Whitney U Tests and Kruskal-Wallis Tests wurden berechnet, um das Engagement zu vergleichen. Weiters wurde eine Textanalyse der Bildunterschriften durchgeführt, um weitere Unterschiede zwischen den Texten der beiden Inhaltsquellen zu analysieren. Die Ergebnisse zeigten keine signifikanten Unterschiede im Nutzer Engagement zwischen KI-generierten und von Menschen produzierten Inhalten. Obwohl Beiträge mit KI-generierten Bildunterschriften in den deskriptiven Statistiken teilweise leicht höhere Werte erzielten, waren diese Unterschiede nicht signifikant. Auch zwischen den verschiedenen Typen der Inhalte wurden keine Unterschiede festgestellt. Nichtsdestotrotz zeigten informative Inhalte höhere Werte in der deskriptiven Statistik. Die Textanalyse zeigte, dass Fragen öfter in KI-generierten Bildunterschriften vorkamen, allerdings führten diese Unterschiede nicht zu systematischen Veränderungen im Nutzerverhalten. Zusammengefasst zeigen diese Ergebnisse, dass das messbare Verhalten von Beiträgen mit KI-generierten Bildunterschriften vergleichbar mit jenem gegenüber Beiträgen ist, deren Bildunterschriften von Menschen verfasst wurden, sofern Nutzerinnen und Nutzer die Quelle der Bildunterschriften nicht kennen. Das widerspricht der Annahme, dass KI-generierte Inhalte zu geringerem Nutzer Engagement führen und betont stattdessen, dass der Kontext, beispielsweise das Bild oder Video des Beitrags, oder die Qualität des gesamten Beitrags eine entscheidende Rolle bei der Gestaltung der Reaktionen der Nutzerinnen und Nutzer spielt. Aus betriebswirtschaftlicher Sicht bedeutet das, dass KI in die Prozesse der Erstellung von Bildunterschriften für social media eingesetzt werden kann, ohne sofortige negative Auswirkungen. Wichtig ist dabei aber, den Output der KI von einem Menschen prüfen zu lassen, um sicher zu stellen, dass er den von Unternehmen definierten Vorgaben entspricht. Diese Studie leistet einen Beitrag zur bestehenden Literatur, indem sie Einblicke aus einem realen Marketingumfeld liefert. Weiters wird die Relevanz von zukünftiger Forschung betont, um Nutzerreaktionen langfristig zu untersuchen, sowie die Rolle der Markierung von KI und plattform-spezifische Unterschiede zu beleuchten.
Abstract
(Englisch)
The rapid development in the field of AI changes central processes of digital marketing particularly the creation of content. While companies increasingly integrate AI into their communicational strategies, the reactions of users remain unclear. Previous studies delivered mixed results especially regarding authenticity, disclosure of AI use and stylistic differences. Additionally, they have been conducted in controlled or experimental settings. Findings from realistic social media settings are lacking. Based on Uses & Gratifications theory by Katz et al. (1973), the Commitment-Trust theory by Morgan und Hunt (1994) and brand authenticity, this study investigates the differences in user engagement between AI-created content (ACC) and human-created content (HCC) and different content types. According to these theoretical foundations, engagement is characterized by functional, hedonistic, and authenticity-related needs and trust, continuity and perceived sincerity are central parts of stable brand-consumer relationships. Previous studies showed that differences in tone as well as emotional elements can affect perceived authenticity and thus user engagement. This leads to the overarching research question: How does AI-created content (ACC) affect user engagement compared with human-created content (HCC) on a real brand’s Instagram channel? To answer these research questions, 42 posts were published on the brand account on Instagram of Leica Camera Classics. Half of the posts were accompanied by captions written by ChatGPT4-o, the other half by ones written by the person in charge of social media at the company. The posts were additionally divided into three content type categories (informative, promotional, entertaining). User engagement was measured by likes, comments, shares, saves, and views, which were collected via Instagram Insights. To analyze the data, descriptive statistics as well as a Mann-Whitney u test and a Kruskal-Wallis test were calculated. Additionally, a textual analysis of the captions was conducted. The results showed no significant differences in user engagement between both content sources. Even though ACC showed slightly higher values for some metrics in descriptive statistics, the results were not significant. Different content types also showed no significant differences, but entertaining content had a tendency to perform better. The textual analysis revealed that ACC incorporated more questions, which ultimately did not affect user engagement systematically. In summary, these results emphasize that ACC can perform similarly to HCC on social media, given that there is no AI-disclosure provided, which contradicts the assumption that ACC negatively affects user engagement. Additionally, they highlight the importance of contextual factors like the image or video used in the post or the overall quality of the post. From a managerial perspective, it can be concluded that AI can be integrated into the creation of captions for social media posts, as long as the output is checked by a human and aligns with brand guidelines. The study broadens existing literature through these insights from a real marketing perspective and emphasizes the relevance of further research to examine the long-term user reactions, the role of AI-disclosure and platform-specific differences.
Schlagwörter
Schlagwörter
(Deutsch)
Künstliche Intelligenz Generative KI Social Media Marketing Nutzerngagement Markenkommunikation Instagram KI-generierte Inhalte Markenauthentizität Commitment-Trust Theorie Uses & Gratifications Theorie
Schlagwörter
(Englisch)
Artificial Intelligence Generative AI Social Media Marketing User Engagement Brand Communication Instagram AI-generated Content Brand Authenticity Commitment-Trust Theory Uses & Gratifications Theory
Autor*innen
Laura Eva-Maria Sommaruga
Haupttitel (Englisch)
Human creativity vs. artificial intelligence
Hauptuntertitel (Englisch)
an experiment to test user engagement on Instagram posts by brands
Paralleltitel (Deutsch)
Menschliche Kreativität vs. künstliche Intelligenz
Paralleluntertitel (Deutsch)
ein Experiment zur Untersuchung des Nutzerengagements bei Instagram-Beiträgen von Marken
Publikationsjahr
2025
Umfangsangabe
II, 113 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Sabine Einwiller
Klassifikationen
05 Kommunikationswissenschaft > 05.12 Kommunikationsprozesse ,
05 Kommunikationswissenschaft > 05.38 Neue elektronische Medien
AC Nummer
AC17778857
Utheses ID
79087
Studienkennzahl
UA | 066 | 841 | |