Detailansicht
Exploring the capabilities of large language models in causal inference
Andres Vladimir Arostegui Arias
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Informatik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Data Science
Betreuer*in
Katerina Schindlerova
DOI
10.25365/thesis.80742
URN
urn:nbn:at:at-ubw:1-24781.07242.218265-2
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Die Frage nach Ursache und Wirkung ist in vielen Bereichen entscheidend. In der Wirtschaft, Medizin und Technik bestimmt die kausale Richtung zwischen zwei Variablen, welche Maßnahmen funktionieren. Aber in vielen realen Systemen ist diese Richtung nicht stabil. Sie kann sich je nach Bedingungen umkehren. Zum Beispiel: Unterhalb eines Schwellenwerts kann die Inflation die Zinsen beeinflussen. Oberhalb davon kehrt sich die Beziehung um. Es ist schwierig, solche Wechsel nur aus Daten zu erkennen. Die meisten Methoden gehen davon aus, dass die kausale Richtung konstant bleibt. Diese Arbeit untersucht, ob große Sprachmodelle die kausale Richtung aus numerischen Daten erkennen können. Wir vergleichen sie mit etablierten datenbasierten Algorithmen. Wir vergleichen GPT-5.2 mit drei Methoden (ROCHE, LOCI und LCUBE) auf fünf Datensätzen mit zwei Variablen. Bei diesen Datensätzen wechselt die kausale Richtung zwischen verschiedenen Regimen. Die Datensätze umfassen synthetische Daten, Fahrzeugtechnik, Energiesysteme und Geldpolitik. Jede Regimegrenze stammt aus der Fachliteratur und dient als Grundwahrheit. Für einen fairen Vergleich definieren wir eine Metrik auf Regimeebene. Wir testen das Sprachmodell unter vier Konfigurationen. Diese unterscheiden sich darin, ob Variablennamen sichtbar sind und ob die Daten vorab nach Regime getrennt wurden. Die Ergebnisse zeigen deutliche Unterschiede. ROCHE und LCUBE erreichen eine mittlere Genauigkeit von 80\%. GPT-5.2 erreicht 30\%. Die Algorithmen erkennen den Regimewechsel bei 60\% der Datensätze korrekt. Das Sprachmodell erreicht 0\%. Das Sprachmodell scheitert auf zwei Arten: Bei den meisten Datensätzen ignoriert es die Regimestruktur und sagt eine einzige globale Richtung vorher. Bei wirtschaftlichen Datensätzen erkennt es einen Wechsel, sagt aber beide Richtungen vertauscht vorher. Wenn aussagekräftige Variablennamen gegeben werden, verbessert sich die Genauigkeit bei 2 von 5 Datensätzen (von 50\% auf 100\%). Das deutet darauf hin, dass das Modell auf Wortverbindungen aus seinen Trainingsdaten zurückgreift und nicht die numerischen Muster analysiert. Die praktische Schlussfolgerung ist: Aktuelle Sprachmodelle sind nicht zuverlässig für regimeabhängige kausale Inferenz aus numerischen Daten. Für diese Aufgabe sind datenbasierte Algorithmen die bessere Wahl. Um weitere Forschung zu unterstützen, stellen wir ein Open-Source Python-Tool bereit, das die komplette Auswertungspipeline implementiert.
Abstract
(Englisch)
Knowing what causes what matters for making good decisions. In economics, health, and engineering, the causal direction between two variables can determine which interventions work. But in many real-world systems, this direction is not fixed---it can reverse depending on the conditions. For example, below a certain threshold, inflation may drive interest rate changes; above it, the relationship flips. Detecting such regime-dependent causality from data alone is difficult, and most existing methods assume a single, stable causal direction. This thesis asks whether Large Language Models (LLMs) can identify causal direction from numerical data, and how they compare to established data-driven algorithms. We test GPT-5.2 against three causal discovery methods (ROCHE, LOCI, and LCUBE) on five bivariate datasets where the causal direction reverses between regimes. The datasets span synthetic validation data, automotive engineering, energy systems, and monetary policy. Each regime boundary comes from domain research, providing ground truth for evaluation. To compare these different approaches fairly, we define a regime-level accuracy metric and test the LLM under four prompt configurations---varying whether variable names are visible and whether data is pre-segmented by regime. The results show a clear gap. ROCHE and LCUBE achieve 80\% mean accuracy; GPT-5.2 achieves 30\%. The algorithms correctly detect regime-switching on 60\% of datasets; the LLM achieves 0\%. The LLM fails in two distinct ways: on most datasets, it ignores regime structure and predicts a single global direction; on economic datasets, it detects a switch but predicts both directions backwards. When meaningful variable names are provided, LLM accuracy improves on 2 of 5 datasets (from 50\% to 100\%), suggesting the model draws on word associations from its training data rather than analyzing the numerical patterns it receives. These findings carry a practical message: current LLMs are not reliable for regime-dependent causal discovery from numerical data. For this task, data-driven algorithms remain the appropriate choice. To support further research, we release an open-source Python tool implementing the complete evaluation pipeline.
Schlagwörter
Schlagwörter
(Deutsch)
Kausale Inferenz Große Sprachmodelle Regimeabhängige Kausalität Bivariate Kausalanalyse Datenbasierte Algorithmen Numerisches Schlussfolgern Richtungswechsel der Kausalität
Schlagwörter
(Englisch)
Causal Discovery Large Language Models Regime-Dependent Causality Bivariate Causal Inference Data-Driven Algorithms Numerical Reasoning Causal Direction Switching
Autor*innen
Andres Vladimir Arostegui Arias
Haupttitel (Englisch)
Exploring the capabilities of large language models in causal inference
Publikationsjahr
2026
Umfangsangabe
xvii, 71 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Katerina Schindlerova
Klassifikation
54 Informatik > 54.72 Künstliche Intelligenz
AC Nummer
AC17825687
Utheses ID
80155
Studienkennzahl
UA | 066 | 645 | |