Detailansicht
Adaptive Moderation of User-Generated Content on Web
Roochi Elaheh Momeni
Art der Arbeit
Dissertation
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Betreuer*in
Wolfgang Klas
DOI
10.25365/thesis.33946
URN
urn:nbn:at:at-ubw:1-29158.71820.299860-6
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Benutzer-generierte Inhalte im Web ("user-generated content" bzw. "UGC") und im Speziellen in Social Media Plattformen, erleichtert die Erhöhung zusätzlicher Information mit digitalen Ressourcen und liefern wertvolle Informationen. Teilweise ist UGC jedoch aufgrund der unterschiedlichen Intentionen der Autoren sowie der Perspektiven der Leser nicht nützlich. Darauf basiert die Herausforderung, den Wert von UGC für Plattformnutzer zu maximieren. Aktuelle Methoden tendieren dazu, einen Bewertungs- und Rankingansatz zu trainieren, um unterschiedliche Werte wie Nützlichkeit, Relevanz oder Glaubwürdigkeit für die Nutzer einer Plattform zu maximieren. Die meisten dieser Ansätze verlassen sich jedoch auf eine bestimmte "Ground Truth" und ermöglichen im Falle von Moderationsanfragen keine adaptive Beurteilung des bestimmten Wertes. Dementsprechend werden für individuelle Nutzer adaptive Ansätze nicht ausreichend berücksichtigt. Viele der verfügbaren Ansätze ermöglichen es individuellen Bedarfsträgern nicht, eine Moderation an ihre Bedürfnisse anzupassen. Um dieses Problem zu lösen, fokussiert diese Dissertation darauf, Wissenschaftlern und Web Daten Kuratoren ein umfassendes Verständnis bestehender Arbeiten zu vermitteln und dabei weitere Experimente und Entwicklungen neuer Ansätze automatisierter Moderation von nutzergenerierten Inhalten anzuregen. Dementsprechend wird ein Rahmenwerk adaptiver Moderation präsentiert. Es handelt sich um einen semi-überwachten Ansatz, der Inhalte semantisch anreichert und anhand von multiplen, expliziten Aspekten kategorisiert (z.B. Subjektivität, Informationsgehalt sowie Art des Themas) und der es Nutzern ermöglicht, verschiedene Aspekte zu erforschen und Kombinationen von Aspekten zu wählen, um Inhalte, die ihren Interessen entsprechen zu extrahieren und zu ranken.
Die Entwicklung dieses Rahmenwerks ist das Ergebnis der nachfolgenden Untersuchungen. Zunächst wurde ein systematischer Überblick über existierende Ansätze zu Bewertung und Ranking von UGC erstellt. Die Ansätze wurden verglichen und in drei Kategorien zusammengefasst: "Community-based assessment und ranking" von UGC, "Single-user assessment und ranking" von UGC sowie "Incentivizing high-quality contributions". Zur automatisierten Unterstützung der Moderation von nutzergenerierten Inhalten bei Fehlen von explizitem oder implizitem Nutzerfeedback wurde in einem nächsten Schritt ein "crowd-sourced gold standard" für nützliche und nicht nützliche Kommentare erstellt. Schließlich wurden Standard Machine Learning Methoden für die Entwicklung eines Nützlichkeitsklassifizierers, die zusätzlich zu den extralinguistischen Attributen des Autors und seiner "Social Media" Aktivitäten den Einfluss von basistextlichen, syntaktischen, semantischen und themenbasierten Eigenschaften untersucht, herangezogen. Drittens wurde ein existierendes Modell zur "prevalence detection" (Verbreitungsermittlung) adaptiert, das den erlernten Klassifizierer zur Untersuchung von Mustern in der Kommentierungskultur von zwei populären Social Media Plattformen nutzt. Zuletzt wurde ein Prototyp einer web-basierten Schnittstellenimplementierung für das präsentierte adaptive Rahmenwerk entwickelt, wodurch die Evaluierung des präsentierten Rahmenwerks und die Erforschung verschiedener Rankingstrategien ermöglicht werden.
Der systematische Überblick über existierende Ansätze zu Bewertung und Ranking von UGC hat eine Anzahl von Einflüssen text- und kontextbasierter Eigenschaften in Bezug auf unterschiedliche Entitäten --- Autoren, Online Social Media Quellen und Inhalte ---aufgezeigt. Diese Eigenschaften haben sich für viele machine-based Methoden zu Bewertung und Ranking von UGC als wirksam erwiesen und regen eine Reihe von Aspekten für das präsentierte adaptive facettierte Moderationsrahmenwerk an. Die Ergebnisse der zur Einschätzung der Verbreitung nützlicher UGC durchgeführten Studie haben gezeigt, dass die Verbreitung von nützlichen Kommentaren plattformspezifisch ist und auch durch den Entitätentyp des kommentierten Medienobjekts (Person, Ort, Ereignis), durch die Zeit (z.B. das Jahr eines Ereignisses) sowie durch den Grad der Polarisierung unter den inhaltgenerierenden Nutzern beeinflusst wird. Letztendlich die Ergebnisse der Evaluierung des präsentierten adaptiven Moderationsrahmenwerks zeigen, dass ein adaptives facettiertes Ranking signifikant besser funktioniert als ein reverse-chronological Ranking und substantielle Benefits aufweist. Diese umfassen jedes Element eines Kommentars entlang multipler expliziter semantischer Facetten anstatt in singulären Themen oder subjektiven Facetten.
Abstract
(Englisch)
User-generated content on the Web, and particularly in social media platforms, facilitates the augmentation of additional information with digital resources and delivers valuable information. However, some user-generated content (UGC) is not useful due to the varying intentions of authors of content and perspectives of viewers. This raises the challenge of how to maximize its value for platform viewers. Currently, the majority of available approaches tends to train an assessment and ranking approach for maximizing various values such as usefulness, relevancy, or credibility for a platform's viewers. However, most of these approaches rely on particular sources of ground truth and do not enable moderation requesters to make adaptive assessments of a particular value. Accordingly, there is insufficient consideration of approaches which are adaptive for individual users. Many of the available approaches do not enable individual requesters to adapt a moderation to their requirements. In the attempt to overcome this challenge, this thesis aims to provide researchers and Web data curators with a comprehensive understanding of existing work, thereby encouraging further experimentation and development of new approaches focused on automated moderation of user-generated content. Accordingly, an adaptive moderation framework is proposed. It is a semi-supervised approach which semantically enriches and clusters content along multiple explicit semantic facets (e.g., subjectivity, informative, and topics) and enables users to explore different facets and select combinations of facets in order to extract and rank content that matches their interests.
The development of this framework is the result of the following investigations. First, a systematic review of approaches for assessing and ranking of UGC has been conducted, producing results which have been obtained by gathering and comparing existing approaches. These are grouped in three categories: Community-based assessment and ranking of UGC, Single-user assessment and ranking of UGC, and Incentivizing high-quality contributions. Second, in order to provide automated support for the curation of useful
user-generated comments when there is no explicit or implicit feedback from a user, a crowd-sourced gold standard of useful and non-useful comments has been constructed. Then, standard machine learning methods have been used to develop a "usefulness" classifier, exploring the impact of surface-level, syntactic, semantic, and topic-based features in addition to extra-linguistic attributes of the author and her social media activity. Third, an existing model of prevalence detection has been adapted, using the learned classifier to
investigate patterns in the commenting culture of two popular social
media platforms. Fourth, a prototype of a Web-based interface implementation of the proposed adaptive moderation framework has been developed, enabling the evaluation of the proposed framework and exploration of different ranking strategies.
The systematic review of approaches for assessing and ranking of UGC has revealed a number of influential text-based and contextual features related to different entities - authors, online social media resources, and content - of social media platforms. These features are shown to be effective for many machine-based methods of assessment and ranking of UGC and motivate a selection of a list of facets for the proposed adaptive faceted moderation framework.
The results of the study conducted on the estimation of the prevalence of useful UGC has indicated that the prevalence of useful content is platform-specific and is also influenced by the entity type of the media object being commented on (person, place, event), its time
period (e.g., year of an event), and the degree of polarization among content generators.
Finally, the results of the evaluation of the proposed adaptive moderation framework show that an adaptive faceted ranking performs significantly better than reverse-chronological ranking and has substantial benefits. These include clustering each element of a comment along multiple explicit semantic facets rather than in a single topic or subjective facets.
Schlagwörter
Schlagwörter
(Englisch)
User-generated content Adaptive Moderation Multi-Faceted Ranking Usefulness Prediction Usefulness Prevalence Social Media Web
Schlagwörter
(Deutsch)
Benutzer-generierte Inhalte Adaptive Moderation Multi-faceted Ranking Nützlichkeitsklassifizierung Nützlichkeitsprävalenz Social Media Web
Autor*innen
Roochi Elaheh Momeni
Haupttitel (Englisch)
Adaptive Moderation of User-Generated Content on Web
Paralleltitel (Deutsch)
Adaptive Moderation von benutzergenerierten Inhalten im Web
Publikationsjahr
2014
Umfangsangabe
XIX, 193 S. : Ill., graph. Darst.
Sprache
Englisch
Beurteiler*innen
Wolfgang Klas ,
Wolfgang Nejdl
AC Nummer
AC12063160
Utheses ID
30136
Studienkennzahl
UA | 786 | 880 | |