Detailansicht
Multilingual hate speech modeling from a perspectivist viewpoint
incorporating inter-annotator disagreement into model training and evaluation
Patricia-Carla Grigor
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Zentrum für Translationswissenschaft
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Joint-Masterstudium Multilingual Technologies
Betreuer*in
Dagmar Gromann
DOI
10.25365/thesis.76459
URN
urn:nbn:at:at-ubw:1-13037.26955.695050-6
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Mit der raschen Zunahme der Social-Media-Nutzenden steigt auch die Menge an Hassrede in sozialen Netzwerken. Daher hat die Machine-Learning-Community begonnen, sich intensiv mit der automatischen Erkennung von Hassrede zu befassen, die meist als Klassifizierungsaufgabe behandelt wird. Moderne Machine-Learning-Algorithmen sind dafür bekannt, nahezu menschenähnliche Ergebnisse bei verschiedenen Natural-Language-Processing-Tasks zu erzielen. Die Klassifizierung von Hassrede bleibt jedoch eine Herausforderung, da der problematische Annotationsprozess oft zu Unstimmigkeiten zwischen den Annotierenden führt. Um dieses Problem zu lösen, setzen perspektivische Ansätze nicht auf den traditionellen Goldstandard, sondern führen alternative Methoden ein. Diese Methoden lernen aus den Unstimmigkeiten, anstatt sie zu ignorieren. Solche Ansätze erkennen die inhärente Subjektivität und Mehrdeutigkeit von Hassrede an und gehen davon aus, dass das Einbeziehen verschiedener Perspektiven in die Trainingspipeline von Machine-Learning-Modellen dazu führt, dass aus widersprüchlichen Annotationen gelernt werden kann, was letztlich zu besseren Ergebnissen in realen Anwendungen führt. Diese Arbeit verfolgt einen perspektivischen Ansatz, um mehrsprachige Sprachmodelle zur Erkennung von Hassrede mithilfe von Diamond Standard Data zu optimieren. Dabei werden auch geeignete Evaluationsmetriken eingesetzt, die Unstimmigkeiten berücksichtigen. Eine der wichtigsten Erkenntnisse dieser Forschung ist der Nachweis, dass die untersuchten mehrsprachigen Modelle ihre einsprachigen Gegenstücke übertreffen und mit Modellen konkurrieren, die auf Goldstandarddaten trainiert wurden. Dies unterstreicht die Effektivität mehrsprachiger und perspektivischer Ansätze bei der Erkennung von Hassrede.
Abstract
(Englisch)
As the number of social media users rapidly increases, so does the amount of toxic content published on social networking sites. As a result, the Machine Learning (ML) community has begun to take an interest in the automatic detection of hate speech, which is typically approached as a classification task. While modern ML algorithms are known to provide nearly human-like results for a variety of downstream Natural Language Processing (NLP) tasks, the classification of hate speech is still an open challenge due to its problematic annotation process, which often leads to disagreement between annotators. To address this issue, perspectivist approaches depart from the gold standard by introducing methods for learning from disagreement as opposed to disregarding it. Such approaches recognize the inherent subjectivity and ambiguity of hate speech and believe that including multiple perspectives in the training pipeline of ML models helps them learn from conflicting annotations, ultimately leading to improved performance in real-world scenarios. This thesis follows such a perspectivist approach by fine-tuning multilingual language models on the hate speech detection task using diamond standard data, as well as using appropriate evaluation metrics which take disagreement into account to measure their performance. The main contributions of this research include the demonstration that these multilingual models outperform their monolingual counterparts and perform competitively with models trained on gold standard data, underscoring the effectiveness of multilingual and perspectivist approaches in the nuanced task of hate speech detection.
Schlagwörter
Schlagwörter
(Deutsch)
hate speech machine learning deep learning language modelling NLP computational linguistics text classification automatic hate speech detection
Autor*innen
Patricia-Carla Grigor
Haupttitel (Englisch)
Multilingual hate speech modeling from a perspectivist viewpoint
Hauptuntertitel (Englisch)
incorporating inter-annotator disagreement into model training and evaluation
Publikationsjahr
2024
Umfangsangabe
11, 90 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Dagmar Gromann
Klassifikation
54 Informatik > 54.72 Künstliche Intelligenz
AC Nummer
AC17267428
Utheses ID
72315
Studienkennzahl
UA | 066 | 587 | |