Detailansicht
Effectiveness of pretrained language models in sentiment polarity classification on real-world data within the domain of student course evaluations
Diana Khanyafina
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Zentrum für Translationswissenschaft
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Joint-Masterstudium Multilingual Technologies
Betreuer*in
Dagmar Gromann
DOI
10.25365/thesis.81231
URN
urn:nbn:at:at-ubw:1-15652.56520.340384-0
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Heutzutage ermöglichen digitale Medien eine schnellere Erstellung und Verbreitung von Textdaten, was zu einem allgemeinen Anstieg ihres Volumens führt. Das wiederum erfordert effiziente Methoden zur Verarbeitung von Textdaten. Sprachmodelle eignen sich für diesen Zweck und weisen eine hohe Genauigkeit bei verschiedenen Aufgaben der Verarbeitung der natürlichen Sprache auf, darunter auch die Sentimentanalyse, die im Mittelpunkt dieser Masterarbeit steht. Die Sentimentanalyse zielt darauf ab, einem Text eine Polaritätsklasse zuzuordnen. Die Wirksamkeit von Sprachmodellen für die Sentimentanalyse wurde bisher vor allem anhand von Allzweck- oder Benchmark-Datensätzen nachgewiesen, während die Forschung zur Bewertung ihrer Leistung bei domänenspezifischen und realen Daten noch begrenzt ist. Um diese Forschungslücke anzugehen, schlägt diese Masterarbeit eine Methodik zur Bewertung der Leistung eines ausgewählten Sprachmodells anhand domänenspezifischer und realer Daten vor. Das ausgewählte Sprachmodell ist ein destilliertes Multilingual Decoding-enhanced Bidirectional Encoder Representations from Transformers with disentangled attention, das auf der Sentimentanalyse von nicht domänenspezifischen Daten trainiert wurde. Der Datensatz, anhand dessen das Modell bewertet wird, ist auf Deutsch und Englisch verfügbar, wurde aus Bewertungen eines Universitätskurses zusammengestellt und hat einen zeitserienartigen Charakter, da die Bewertungen während des gesamten Universitätskurses wiederholt erhoben werden. Die Methodik umfasst die Phasen Datenannotation, Modellinferenz, Bewertung sowie die Visualisierung der Ergebnisse. Die Daten werden anhand von satzbasierten und dokumentbasierten Ansätzen analysiert, um festzustellen, welcher Ansatz es dem Sprachmodell ermöglicht, genauere Sentiment-Werte zu erzeugen. Das Experiment ergibt Genauigkeitswerte von 52% für den satzbasierten Ansatz und 50% für den dokumentbasierten Ansatz, was darauf hindeutet, dass die Leistung des Modells relativ begrenzt ist, unabhängig davon, ob ein Satz oder eine Bewertung als Analyseeinheit herangezogen wird. Die erzielten Leistungskennzahlen legen nahe, das ausgewählte Sprachmodell anhand der im Experiment verwendeten Daten weiter zu feinabstimmen.
Abstract
(Englisch)
Today, digital media enable faster creation and dissemination of textual data, leading to an overall increase in its volume. This, in turn, necessitates efficient methods for processing textual data. Language Models (LMs) are appropriate for this purpose, demonstrating high accuracy in various Natural Language Processing tasks, including Sentiment Analysis (SA), which is the focus of this master’s thesis. SA aims at assigning a polarity class to a text. The effectiveness of LMs for SA has primarily been demonstrated on general-purpose or benchmark datasets, while research evaluating their performance on domain-specific and real-world data remains limited. To address the named research gap, this master’s thesis proposes a methodology to evaluate the performance of a chosen LM on the domain-specific and real-world data. The selected LM is a distilled Multilingual Decoding-enhanced Bidirectional Encoder Representations from Transformers with disentangled attention, which is trained on SA on non-domain-specific data. The dataset on which the model is evaluated is available in German and English, compiled from student university course evaluations, and has a time-series nature, as the evaluations are collected repeatedly throughout the university course. The methodology involves data annotation, model inference, evaluation, and visualization of results. The data is analyzed using sentence-based and document-based approaches to determine which approach enables the LM to produce more accurate sentiment scores. The experiment results in accuracy scores of 52% for the sentence-based approach and 50% for the document-based approach, suggesting that the model’s performance is relatively limited, regardless of whether a sentence or an evaluation is taken as a unit of analysis. The resulting performance scores indicate that the selected LM should be fine-tuned on the experimental data.
Schlagwörter
Schlagwörter
(Deutsch)
Sprachmodelle Sentimentanalyse
Schlagwörter
(Englisch)
language models sentiment analysis sentiment polarity classification
Autor*innen
Diana Khanyafina
Haupttitel (Englisch)
Effectiveness of pretrained language models in sentiment polarity classification on real-world data within the domain of student course evaluations
Paralleltitel (Deutsch)
Wirksamkeit vortrainierter Sprachmodelle bei der Klassifizierung der Sentimentpolarität anhand realer Daten im Bereich der Kursbewertungen durch Studierende
Publikationsjahr
2026
Umfangsangabe
11, 62 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Dagmar Gromann
Klassifikationen
54 Informatik > 54.72 Künstliche Intelligenz ,
54 Informatik > 54.82 Textverarbeitung
AC Nummer
AC17897830
Utheses ID
81131
Studienkennzahl
UA | 066 | 587 | |