Detailansicht
Exploring classifier skill in distinguishing climate model and observational data
Julian Merio
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Physik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Computational Science
Betreuer*in
Lukas Brunner
DOI
10.25365/thesis.76976
URN
urn:nbn:at:at-ubw:1-12594.58571.730244-7
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Klimamodelle sind wichtige Instrumente, um entscheidende Einblicke in klimatische Prozesse zu gewinnen. Diese physikalischen Modelle stellen aufwändige Berechnungen dar. Sie werden verwendet, um Simulationen auf sehr leistungsstarken Rechnern auszuführen. Diese immer besser werdenden Modelle werden auf verschiedensten Instituten weltweit entwickelt und unterscheiden sich somit auch in der Plausibilität ihrer Ergebnisse. Für die Verbesserung der Klimamodelle spielt die Evaluierung eine fundamentale Rolle. Dabei handelt es sich um eine komplexe Aufgabe, für die es wichtige Probleme zu lösen gilt, nicht zuletzt die Bestimmung der Unsicherheiten in den Daten. Die grundlegende Herangehensweise sieht vor, die Ergebnisse von Klimamodellen mit realen Beobachtungen aus der Vergangenheit zu vergleichen. Probleme wie die Unsicherheiten in den Beobachtungsdaten führen dazu, dass es genauere statistische Analysen erfordert, um Grenzen festzulegen, ab denen ein Modell als exakt gilt oder nicht. Außerdem gibt es zahlreiche Variablen die in die Simulationen bzw. Berechnungen mit einbezogen werden müssen, was zu einer hohen Komplexität führt. Dadurch kann es sein, dass bestimmte Klimamodelle nur für einzelne physikalische Prozesse genutzt werden, da sie nur für einen Teil der Simulationen exakte Ergebnisse liefern. Machine Learning (ML) Methoden finden immer häufiger Verwendung in den Klimawissenschaften. Brunner and Sippel (2023) haben gezeigt, dass ein Konvolutionales Neuronales Netzwerk (CNN - Convolutional Neural Network) in der Lage ist, mit hoher Genauigkeit zu unterscheiden, ob ein Ergebnis von Klimamodellen oder Beobachtungsdatensätzen stammt unter der Verwendung von globalen Tagestemperaturkarten. Dieses CNN war auch nach Entfernung wichtiger zugrunde liegender Verzerrungen in den Trainingsdaten in der Lage, diese Unterscheidung genau zu tätigen. Diese Entdeckungen warfen die Fragen auf, welche zugrundeliegenden Muster so ein CNN von den Daten lernen kann und zudem, welche geografischen Regionen dafür am ausschlaggebendsten sind. Um ein tiefgründigeres Verständnis für die Entscheidungen des CNNs zu bekommen, wurden im Zuge dieses Projektes Methoden der erklärbaren künstlichen Intelligenz (XAI- explainable artificial intelligence) eingesetzt. Genauer wurde die Methode Layerwise Relevance Propagation (LRP - Schichtweise Relevanzpropagation) verwendet, ein Algorithmus, der ausgehend von den Ergebnissen die das CNN vorhersagt, rückwärts durch die Schichten des Neuronalen Netzes propagiert und die einzelnen Gewichtungen der Merkmale zurückverfolgt. Das Ergebnis zeigt am Ende, welche Merkmale für die exakten Vorhersagen des CNNs besonders wichtig sind. Zu diesen zählen u.a. der Nordatlantik, der Äquatorialpazifik oder der südliche Ozean. Damit war es möglich, die geografischen ¨Regionen auszumachen, die das CNN besonders benötigt, um die Klimamodelldaten von den Beobachtungsdaten zu unterscheiden. Diese Resultate, die ’Erklärungen’ der Vorhersagen, wurden weiters mithilfe von Perturbationsmethoden evaluiert. Diese haben gezeigt, dass die Ergebnisse tatsächlich entscheidend für eine genaue Unterscheidung bzw. Vorhersage sind. Zusätzliche Untersuchungen der falschen Vorhersagen haben gezeigt, wie die Genauigkeit zudem von den spezifischen Trainingsdaten abhängt. Außerdem konnte gezeigt werden, dass diese Erklärungen auch schon im Falle eines binären CNNs Unterschiede innerhalb der einzelnen Datensätze (Modelle u Beobachtungen) aufweisen können. Dies galt vor allem für die Beobachtungsdatensätze im Zuge dieses Projekts. Generell war es augenscheinlich, dass die Entfernung von wichtigen Verzerrungen, wie in diesem Fall durch das Entfernen des mittleren saisonalen Zyklus, das Lernverhalten des CNNs erheblich beeinflusst. Die räumliche Verteilung der wichtigen Merkmale hat sich teils stark unterschieden. Die Ergebnisse dieser Arbeit tragen zu einem besseren Verständnis von XAI Methoden im Kontext der Klimawissenschaften bei und demonstrieren wie komplex sich die Analyse des Entscheidungsprozesses von einem CNN gestaltet. XAI Methoden stellen einen wichtigen ersten Schritt für das Verständnis komplexer ML Methoden dar, um deren Entscheidungen besser nachvollziehen zu können. Dennoch benötigt es für komplexe Probleme wie die Evaluierung von Klimamodellen weitere Schritte, um die Resultate dieser XAI Methoden tiefgründiger zu verstehen.
Abstract
(Englisch)
Climate models are important tools for gaining insights into the processes that shape the earth’s climate. These physical models, used for conducting experiments that run on supercomputers, are constantly improved, providing more realistic simulations from generation to generation. However, climate models are developed around the world and exhibit differences in the plausability of their outputs. For improving these climate models, climate model evaluation plays a fundamental role. It is a complex field dealing with critical questions such as data uncertainty. The basic approach in climate model evaluation is to compare the climate model output to actual observations. Regarding the problem of observational uncertainty, it becomes far from trivial to define thresholds at which one would reject a climate model. Moreover, there are numerous varibales that need to be considered. Climate models might simulate parts of the meteorological process very accurately while performing poorly on others. Hence, a given climate model can also be used for simulating only parts of the climate dynamics, where the model is known to be accurate. The application of machine learning methods is becoming increasingly popular in general and has also been successfully used in climate science. Brunner and Sippel (2023)have shown that a Convolutional Neural Network (CNN) is capable of robustly identifying observational and climate model data using daily temperature maps. Even after removing bias by subtracting the mean seasonal cycle from the training data, the CNN can accurately make the distinction at such short timescales. A drawback of the classical evaluation methods is that the average over several decades must be computed for the climate model output in order to reduce internal variability and obtain comparable tendencies. This, in return, leads to a demand for more observational data. MachineLearning methods could overcome this issue, since they can effectively learn dataset specific differences from such short timescales as shown by Brunner and Sippel (2023). This raised the question, what patterns are actually learned and what geographical regionsmight be the most important ones for a skillful prediction. In particular, it was worth investigating how the learned patterns change upon the removal of the mean seasonal cycle.To gain a deeper understanding of the decisions made by the CNN, explainable artificial intelligence (XAI) was employed. Through the application of layerwise relevancepropagation (LRP), an algorithm that propagates backwards from the output layer to the input layer of the CNN, it was possible to obtain explanations showing the geographical regions that are most relevant for the CNNs’ decision. Regions such as e.g. the north Atlantic, the equatorial Pacific or the southern Ocean emerged as important regions duringthe experiments. The resulting explanations were evaluated by making use of an input perturbation method, showing the reliability of the results. Further investigations of the misclassifications of the deep CNN classifier revealed the influence of the training data on the prediction accuracy. Moreover, it could be shown that the explanations show strong dataset specific differences when using various observational datasets. In general, the effect of removing the mean seasonal cycle clearly affected the explanations obtained by LRP. However, it could be found that some regions are highly relevant even after removal of the mean seasonal cycle, while the distribution of the important input features or even their type of contribution to the CNN classifiers’ decision (positive or negative) changed. The results contribute to a better understanding of XAI in the context of climate science. These findings demonstrate the complexity of analyzing the decision-making process of a CNN or artificial neural network in general. The application of these techniques indeed provide an excellent first step towards the understanding of the CNNs’ decisions. Additional insights would require a much deeper analysis, especially for highly complex tasks such as climate model evaluation.
Schlagwörter
Schlagwörter
(Deutsch)
Neuronale Netze Evaluierung von Klimamodellen Erklärbare Künstliche Intelligenz
Schlagwörter
(Englisch)
Convolutional Neural Network Climate Model Evaluation XAI
Autor*innen
Julian Merio 
Haupttitel (Englisch)
Exploring classifier skill in distinguishing climate model and observational data
Publikationsjahr
2024
Umfangsangabe
58 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Lukas Brunner
Klassifikation
30 Naturwissenschaften allgemein > 30.03 Methoden und Techniken in den Naturwissenschaften
AC Nummer
AC17360886
Utheses ID
73087
Studienkennzahl
UA | 066 | 910 | |