Detailansicht
Integrating multiple imperfect sources of information in natural language systems
Andreas Joseph Stephan
Art der Arbeit
Dissertation
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Doktoratsstudium der technischen Wissenschaften Informatik
Betreuer*in
Benjamin Roth
DOI
10.25365/thesis.79815
URN
urn:nbn:at:at-ubw:1-31010.03378.239077-4
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Natürliche Sprachsysteme fokussieren sich auf die Analyse, das Verständnis und die Generierung von Text. Typische Anwendungen sind Klassifikationsaufgaben, wie beispielsweise die Sentimentanalyse, oder generative Aufgaben, wie die maschinelle Übersetzung oder die Fragebeantwortung. Da diese Aufgaben durch reale Probleme motiviert sind, ist üblicherweise ein intuitives Verständnis der Aufgabe oder relevanter verwandter Informationen vorhanden. Meistens liegt solch eine Information nicht als ideale, direkt von natürlichen Sprachsystemen nutzbare Ground Truth vor, sondern sie weist Unvollkommenheiten auf. Unvollkommene Information tritt in verschiedenen Formen auf. Ein Beispiel ist die Verwendung eines Sentimentlexikons zur Klassifikation des Sentiments von Filmkritiken. Es kann an unzureichender Vokabularabdeckung mangeln und kontextuelle Informationen in der Kritik übersehen. Ein weiteres Beispiel ist die Ausgabe eines anderen maschinellen Lernsystems, das auf unterschiedlichen, aber verwandten Daten trainiert wurde. Dies motiviert uns, Forschung in verschiedenen Szenarien durchzuführen, in denen mehrere unvollkommene Informationsquellen verfügbar sind. Diese Arbeit präsentiert und basiert auf vier durch Peer-Review begutachteten Studien und einer Studie, die sich im Begutachtungsprozess befindet. Der wissenschaftliche Beitrag dieser Arbeit ist in drei Teile gegliedert, die jeweils einem spezifischen Szenario der Verwendung unvollkommener Information entsprechen. Im ersten Teil arbeiten wir an einem Szenario, in der wir die Verfügbarkeit mehrerer sogenannter Labeling-Funktionen annehmen, d. h. Funktionen, die Daten automatisch kennzeichnen, beispielsweise basierend auf Wörterbüchern oder regulären Ausdrücken. Wir leiten zwei Methoden ab, WeaNF und SepLL, um die Leistung bei Klassifikationsaufgaben zu verbessern. WeaNF basiert auf der Idee, einzelne Labeling-Funktionen probabilistisch zu modellieren, und SepLL basiert auf der Idee, die Klassifikationsentscheidung im latenten Raum zu modellieren. Im zweiten Teil konzentrieren wir uns auf das Clustering von Bildern. Insbesondere forschen wir an der Verwendung von modellgenerierten textuellen Beschreibungen von Bildern, um Bilder zu clustern. Solche generierten Beschreibungen sind unvollständig, teilweise fehlerhaft und konzentrieren sich möglicherweise auf irrelevante Informationen. Wir stellen fest, dass das Clustern der generierten Texte oft das Clustern der visuellen Informationen übertrifft. Weiterhin leiten wir eine Methode ab, die generierten Text verwendet, um mehrere alternative Clusterings für denselben Datensatz zu erhalten. Im dritten Teil präsentieren wir Forschung zu einem System aus mehreren, unvollkommenen, großen Sprachmodellen. Wir analysieren sogenannte „LLM-Judes“. In unserer Umgebung bewertet ein LLM-Judge die Antworten von zwei anderen Kandidaten-Sprachmodellen, die Antworten auf mathematische Denkaufgaben geben. Zusammenfassend konzentriert sich die präsentierte Forschung auf verschiedene Aufgaben und verschiedene Szenarien, in denen mehrere Quellen unvollkommener Information verfügbar sind. Wir leiten Methoden ab und analysieren die Leistung von Systemen, die auf unvollkommenen Informationen beruhen. Unsere Forschung demonstriert die Nützlichkeit der Verwendung unvollkommener Information.
Abstract
(Englisch)
Natural language systems focus on the analysis, understanding, and generation of text. Typical applications are classification tasks, such as sentiment analysis, or generative tasks, such as machine translation or question answering. As these tasks are motivated by real-world problems, usually an intuitive understanding of the task or relevant related information is available. Most of the time, such information does not come as ideal ground truth directly usable by natural language systems, but it exhibits imperfections. Imperfect information comes in different forms. An example is the usage of a sentiment lexicon to label the sentiment of movie reviews. It may lack sufficient vocabulary coverage and miss contextual information in the review. Another example is the output of another machine learning system trained on different but related data. This motivates us to conduct research in different settings where multiple imperfect sources of information are available. This thesis presents and is based on four peer-reviewed studies and one study under review. The contributions are separated into three parts, each corresponding to a specific setting of using imperfect information. In the first part, we work on a setting where we assume the availability of multiple so-called labeling functions, i.e., functions that automatically label data, for example, based on dictionaries or regular expressions. We derive two methods, WeaNF and SepLL to improve the performance on classification tasks. WeaNF is based on the idea of modeling individual labeling functions probabilistically, and SepLL is based on the idea of modeling the classification decision in the latent space. In the second part, we focus on image clustering. Specifically, we conduct research on the usage of model-generated textual descriptions of images for image clustering. Such generated descriptions are incomplete, partially erroneous, and possibly focus on irrelevant information. We find that clustering the generated text often outperforms clustering the visual information. Further, we derive a method using generated text to obtain multiple alternative clusterings for the same dataset. In the third part, we present research on a system of multiple, imperfect, large language models. We analyze so-called "LLM judges''. In our setting, a LLM judge evaluates the responses of two other candidate language models which give answers to mathematical reasoning tasks. In summary, the presented research focuses on different tasks and different settings where multiple sources of imperfect information are available. We derive methods and analyze the performance of systems based on imperfect information. Our research demonstrates the usefulness of using imperfect information.
Schlagwörter
Schlagwörter
(Deutsch)
natürliche sprachverarbeitung informatik Computerlinguistik Weak Supervision Multimodalität Large Language Models
Autor*innen
Andreas Joseph Stephan
Haupttitel (Englisch)
Integrating multiple imperfect sources of information in natural language systems
Publikationsjahr
2025
Umfangsangabe
x, 117 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*innen
Annemarie Friedrich ,
Ngoc Thang Vu
Klassifikation
54 Informatik > 54.72 Künstliche Intelligenz
AC Nummer
AC17728981
Utheses ID
76144
Studienkennzahl
UA | 786 | 880 | |