Detailansicht
Description of collective magnetization processes with machine learning models
Alexander Kornell
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Physik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Computational Science
Betreuer*in
Norbert Mauser
Mitbetreuer*in
Lukas Exl
DOI
10.25365/thesis.70927
URN
urn:nbn:at:at-ubw:1-13232.13471.688359-8
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
In dieser Arbeit werden die Ummagnetisierungsprozesse von High Performance Permanentmagneten mittels Machine Learning (Maschinelles Learning) analysiert und berechnet. Hierfür werden zuerst die wichtigen Eigenschaften dieser permanentmagneten beschrieben. Allgemein werden diese in makroskopische magnetische Eigenschaften und intrinsische magnetische Eigenschaften unterteilt. Im Zuge der makroskopischen Eigenschaften wird das Koerzitivfeld, die Remanenz und das Energie Dichte Produkt erklärt. Diese Eigenschaften sind essenziell für die Verwendung von Permanentmagneten in Gegenständen wie Elektromotoren oder Windrädern. Darüber hinaus sind sie stark von der Mikrostruktur und den intrinsischen Eigenschaften des Magneten abhängig. Aus diesem Grund werden wichtige intrinsische Eigenschaften wie die Curie Temperatur und die magnetokristalline Anisotropie-Achse diskutiert. Darüber hinaus wird ein Herstellungsverfahren für Hot-Deformed High Performance Magneten beschrieben, da die Herstellung maßgeblich zur Mikrostruktur und den intrinsischen Eigenschaften des Magneten beiträgt. Des Weiteren wird die Kontinuumstheorie des Mikromagnetismus eingeführt, da auf dieser theoretischen Basis effiziente Algorithmen zur Berechnung der wichtigen Eigenschaften von Permanentmagneten erstellt werden können. Im Detail wird hier das Reduced Order Model beschrieben, welches eine effiziente Erweiterung des Embedded Stoner Wohlfarth Algorithmus darstellt. Diese
Methode kann dazu verwendet werden, um den Ummagnetisierungsprozess von Permanentmagneten zu simulieren. Jedoch ist dieser Algorithmus sehr teuer, wenn Magneten, bestehend aus
einer Vielzahl an mikroskopischen magnetischen Körnern, anlysiert werden sollen. Aus diesem Grund wird in der Arbeit erklärt, welche Bedingungen erfüllt sein müssen, damit billigere Machine Learning Algorithmen hier Abhilfe schaffen können. Dafür wird zuerst Machine Learning mittels statistischer Lerntheorie eingeführt. Im Zuge dessen werden die Basiskomponenten eines Machine Learning Algorithmus diskutiert. In dieser Arbeit ist die Loss-Funktion (Kostenfunktion) von maßgeblicher Bedeutung, da hier der Algorithmus mit physikalischer Theorie angereichert werden kann. Im weiteren Teil der Arbeit liegt der Fokus auf Deep Learning im Kontext von Artificial Neural Networks (Künstliche Neuronale Netzwerke). Im Detail werden Fully-Connected Feedforward Neural Networks beschrieben, da diese später zur Berechnung der Hysteresekurve verwendet werden. Darüber hinaus wird auf Convolutional Neural Networks eingegangen, welche die Basis für Convolutional Autoencoders bilden. Das ist eine Machine Learning Methode, welche verwendet werden kann, um die Dimension des zugrunde liegenden Problems zu reduzieren. Das ist notwendig, da Vorhersagen der Ummagnetisierungskurve von komplexen Magneten im realen Raum nicht möglich sind, da hierfür die notwendige Rechenleistung nicht zur Verfügung steht. In anderen Worten, hätten Prädiktoren im realen Raum zu viele Gewichte, um sie effizient trainieren zu können. Im Allgemeinen können Feedforward Neural Networks mittels des Backpropagation Algorithmus effizient trainiert werden, auf welchen in der Arbeit näher eingegangen wird.
Im letzten Teil der Arbeit wird Machine Learning dazu verwendet, um die Hysteresekurve von einfachen Mikrostrukturen zu bestimmen. Hierfür wird zuerst ein Autoencoder trainiert. Dieser verwendet eine Loss-Function, welche zusätzlich zum Mittleren Quadratischen Fehler (MSE) auch die Normerhaltung berücksichtigt. Im Detail wird die Loss-Function des MSE um einen additiven Term erweitert, welcher diese grundlegende mikromagnetische Regel miteinbezieht. Darüber hinaus wird ein Prädiktor-Modell im Latent Space des Autoencoders beschrieben und analysiert. Dieses Modell nimmt Magnetisierungszustände von vorhergehenden Punkten der Ummagnetisierungskurve und die Stärke des externen Feldes, um die nächsten Schritte der Hysterese vorherzusagen. Auch hier liegt der Fokus auf der Loss-Function, da diese garantieren muss, dass
der Prädiktor mehr als einen Schritt der Ummagnetisierungskurve berechnen kann. Im Detail muss hierfür das Modell während des Trainings auf seine eigenen Vorhersagen angewendet werden. Die gesamte Loss-Function bezieht Fehler der zukünftigen Berechnungen mit ein. Das ist notwendig, da das grundlegende Ziel ist, komplette Hysteresekurven mittels Machine Learning zu berechnen.
Zusammenfassend zeigen die numerischen Experimente der Arbeit, dass eine repräsentative Loss-Function für beide Modelle notwendig ist, damit der Machine Learning Algorithmus zufriedenstellende Ergebnisse liefert. Die Berechnungen ergeben, dass der Term der Normerhaltung, in der Loss-Function des Autoencoders, die Trainingszeit reduziert, die Genauigkeit bezüglich der Normen der reproduzierten Bilder erhöht und darüber hinaus äquivalente Werte für den MSE liefert, verglichen mit einer Loss-Function, welche nur den MSE respektiert. Nichtsdestotrotz ist es wichtig zu erwähnen, dass die Gewichtung der beiden Terme gut gewählt sein muss, da das Modell sonst ungenaue Ergebnisse liefert. Darüber hinaus zeigen Vergleiche zwischen den originalen Magnetisierungszuständen und den reproduzierten Magnetisierungszuständen leichte Unterschiede. Diese Unterschiede sind im Zuge dieser Arbeit auf Schmiereffekte des Autoencoders zurückgeführt. Interessant ist, dass diese Unterschiede die vorhergesagte Hysterese weniger beeinflusst, als die Visulisierungen deutlich machen würden.
Des Weiteren zeigt die Analyse des Prädiktor-Modells, dass es notwendig ist, das Modell während des Trainings rekursiv anzuwenden. Ohne des rekursiven Trainings, ist das Modell nicht im Stande ganze Hysteresekurven akkurat zu berechnen. Darüber hinaus lassen die Ergebnisse darauf schließen, dass das Verhältnis zwischen rekursiven Anwendungen und Input Magnetisierungszustände maßgeblich zur Genauigkeit des Modells beitragen. Außerdem muss das Modell ein verhältnismäßig tiefes Neural Network sein, damit die zugrundeliegende Verteilung gut abgebildet werden kann.
Die Grundidee dieser Arbeit ist zu überprüfen, ob eine Machine Learning Methode bestehend aus Autoencoder und Prädiktor im Latent Space die Ummagnetisierungskurve von Mikrostrukturen vorhersagen kann. Für diesen Proof of Concept werden einfache Strukturen verwendet. Im Rahmen dieser Arbeit unterscheiden sich diese Strukturen in der magnetokristallinen Anisotropie-Achse der zugrunde liegenden magnetischen Körnern. Das bedeutet, dass das trainierte Modell in der Lage ist, die Hysteresekurve von Mikrostrukturen vorherzusagen, welche eine komplett neue Simulation durch das Reduced Order Model benötigen würden. Der Vorteil hier ist, dass die Evaluation des Machine Learning Modells kostengünstiger ist, als die Berechnung des numerischen Algorithmus.
Obwohl im Zuge der Arbeit nur einfache Strukturen verwendet werden, kann diese Methode auf synthetische Mikrostrukturen erweitert werden. Das erfordert jedoch eine Anpassung der Modelle. Im Detail zeigen die Experimente, dass physikalische Eigenschaften, beschrieben durch die Loss-Function, die Algorithmen akkurater machen. Aus diesem Grund gibt es Raum für Verbesserung, indem zusätzliche physikalische Informationen, abseits der Normerhaltung, in der Loss-Function abgebildet werden. Ein Beispiel dafür wäre, die Loss-Function mit einem additiven Term anzureichern, welcher die Energiegleichung des statischen Mikromagnetismus beinhaltet. Diese Idee nennt sich Physics Informed Neural Networks und ist eine beliebte Technik in der derzeitigen Forschung. Ein anderer Weg zur Verbesserung des Prädiktors ist es, dem Modell zusätzliche Inputs über die Mikrostruktur zu übergeben. Hierfür müsste ein neuer Autoencoder trainiert werden, welcher es ermöglicht, die Mikrostruktur in einem niederdimensionalen Raum darzustellen, da sonst erneut die hohe Dimensionalität ein Problem darstellen könnte.
Zusammenfassend beschreibt diese Arbeit eine Machine Learning Methode, welche zur Berechnung der Ummagnetisierungskurve eines Permanentmagneten verwendet werden kann. Die Analysen zeigen klar, dass Machine Learning effizient und mit hoher Genauigkeit diesen sehr wichtigen physikalischen Prozess berechnen kann.
Abstract
(Englisch)
This thesis first outlined the main properties of high performance magnets and it gave a brief introduction to a common manufacturing process. Furthermore it went into the details of the relation between the macroscopic magnetic properties and the intrinsic magnetic properties respectively the microstructure of the object. Therefore the magnetization reversal process was discussed since this is one of the main tools to compare different magnetic objects and to obtain the figures of interest. Moreover micromagnetism was introduced in brief way where the focus lied on applications with a slowly changing external field. This enables to calculate the demagnetization curve by energy minimization. Furthermore the reduced order model was explained which uses the analytically solvable Stoner-Wohlfarth particle to approximate the magnetic hysteresis of a multigrain microstructure. Although this method is able to provide accurate results, it has the problem that it is computationally not tractable to simulate magnets at an application length scale.
This was the reason to motivate machine learning as the method to sufficiently reduce the computation time to calculate the demagnetization curve of microstructures consisting of thousands of grains. Therefore chapter 3 went from the basics of machine learning towards the very famous neural networks of chapter 4. In detail machine learning was explained as an empirical risk minimization problem coming from statistical learning theory. Moreover the importance of numerical optimizers were discussed on the popular stochastic gradient descent method. Last it introduced techniques like learning curves and k-fold cross validation to successfully apply machine learning in practice. However chapter 3 built the basis to properly introduce neural networks in 4. In this part of the thesis the backpropagation algorithm with automated differentiation was explained as the method to efficiently train a complex neural network. Furthermore the universal approximation theorem was stated as the motivation for using this type of machine learning model.
Last convolutional autoencoders were introduced as a method for dimensionality reduction which is able to conserve non linear dependencies within the data set. Therefore it was necessary to explain convolutional layers which are commonly used in image recognition.
Finally the chapter 5 applied the methods explained in the previous section to develop an algorithm to estimate the magnetization reversal process by machine learning. This had required to first calculate a data set by doing simulations with the reduced order model. Furthermore autoencoders with different setups were applied to the data set to reduce the dimensionality of the problem to enable a derivation of a predictor model. Although the experiments must be understood as a proof of concept of this method, we were able to find useful insights which are necessary to take into account if one wants to calculate the demagnetization curve by machine learning.
In total the thesis clearly outlined that loss function engineering is necessary to apply common machine learning techniques to micromagnetism. One insight which was gained during this work is that adding the norm error to the loss function of the autoencoder did provide better results for this setup than just taking the standard means squared error. In detail adding this term with an appropriate weight led to the same results for the mean squared error while reducing the error in the norm. Moreover the inclusion of this term reduced the training time of the model since it was able to find a minima of the loss functions after less epochs. Furthermore we were able to find differences between the ground truth and the reproduced images which gives room for improvement for this method.
In addition the experiments with the predictors clearly stated the fact that it is necessary to account the error of future prediction during the training of the model to enable it to predict the complete hysteresis curve. Therefore a recursive loss function was developed which respects the mean squared error of the future predictions. Furthermore we were able to show that the neural network for calculating the following steps of the demagnetization curve must be deep enough to approximate the magnetization states accurately. Finally we evaluated architectures for the predictor by trying different combinations of the hyperparameters which describe the number of input magnetization states and the number of recursive iterations during the training. These experiments showed that ratio between these parameters effects the accuracy of the model.
The goal of this thesis was a proof of concept of the machine learning method for calculating the demagnetization curve of 3D microstructures. Nevertheless it is possible to extend this method for synthetic material. However more complex structures eventually need more complex methods. In detail the experiments with the norm error showed that adding information to the autoencoder improves the model. Therefore it would be interesting to apply additional information to the loss function. This can be a term which penalizes the model if the predicted state is not in its equilibrium. This idea comes from the work of [37] which introduces physical informed neural networks where the underlying equations of micromagnetism are part of the loss function.
Moreover another promising way to improve the predictor is to enrich its input by information about the microstructure and the intrinsic magnetic properties of the material. However since dimensionality is expected to be a problem one has to find a way to represent the microstructure itself within the latent space.
Schlagwörter
Schlagwörter
(Deutsch)
Materialwissenschaft Magnetische Werkstoffe Ummagnetisierungsvorgang Hysteresekurve Hochleistungsdauermagneten Magnetisierungsprozess Embedded Stoner-Wohlfarth Modell Reduced Order Model Maschinelles Lernen Neuronales Netzwerk Autoencoder Design Kostenfunktion
Schlagwörter
(Englisch)
Material Science Magnetic Materials Magnetization Reversal Process Hysteresis Loop High Performance Magnets Embedded Stoner-Wohlfarth Modell Reduced Order Model Machine Learning Neural Networks Autoencoder Loss Function Engineering
Autor*innen
Alexander Kornell
Haupttitel (Englisch)
Description of collective magnetization processes with machine learning models
Paralleltitel (Deutsch)
Beschreibung von kollektiven Magnetisierungsprozessen durch Maschinelles Lernen
Publikationsjahr
2021
Umfangsangabe
VI, 80 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Norbert Mauser
AC Nummer
AC16524673
Utheses ID
61746
Studienkennzahl
UA | 066 | 910 | |