Detailansicht
Dynamical optimization of neural network potentials
Valentin Hammer
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Physik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Physics
Betreuer*in
Christoph Dellago
DOI
10.25365/thesis.76390
URN
urn:nbn:at:at-ubw:1-29481.91373.551041-9
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
In dieser Masterarbeit werden Leistung und Verhalten einer neuen Trainingsmethode für künstliche neuronale Netzwerke (NNs) von hochdimensionalen neuronalen Netzwerkpotentialen (HDNNPs) untersucht. Diese neue Methode wird in der Programmbibliothek neural network potential package (n2p2) implementiert und führt das NN-Training über eine künstliche Molekulardynamik-Simulation (MD-Simulation) aus, welche Langevin-Dynamik verwendet. Die Untersuchungen dieses sogenannten "MD-Training" werden durchgeführt, indem HDNNPs aus einem Trainingsdatenset mit 7241 atomaren Konfigurationen von "RPBE-D3"-Wasser erzeugt werden. Die Idee des MD-Trainings besteht darin, das Konzept des NN-Trainings in den Rahmen eines dynamischen Teilchensystems zu übertragen, das an ein Langevin-Thermostat gekoppelt ist. Hierbei stellen die freien Parameter des NN die Teilchen des Systems dar, und die Loss-Funktion des Trainings wird als potentielle Energie verwendet. Folglich werden die Kräfte auf die Teilchen aus den negativen Gradienten der Loss-Funktion bestimmt. Die Positionen und Impulse der Teilchen werden mit den Trainingsiterationen integriert, wobei der "BAOAB"-Integrator für die Langevin-Bewegungsgleichungen verwendet wird. Hierbei reduziert die Reibung des Langevin-Thermostats kontinuierlich die Energie des Systems -- und folglich den Loss des Trainings -- und die Temperatur des Thermostats gibt dem Zustand des NNs die Fähigkeit, Barrieren in seiner Fehlerlandschaft im Parameterraum zu überwinden. Die Untersuchungen zeigen, dass das MD-Training HDNNPs aus dem Trainingsdatenset mit Root-Mean-Square-Fehlern (RMSEs) in der Größenordnung von 10^-1 erzeugen kann. Im Allgemeinen zeigen die Loss-Kurven des MD-Trainings ein oszillierendes Verhalten, welches tendenziell mit den Trainingsiterationen abnimmt und von thermischen Fluktuationen überlagert ist. Der Plot einer Fehlerlandschaft -- erzeugt aus einzelnen Läufen des MD-Trainings mit unterschiedlichen Reibungswerten und Temperaturwerten -- zeigt die besten Trainingsresultate bei einer Reibung von 9000 und einer Temperatur von 4000. Ein ähnlicher Plot einer Fehlerlandschaft, wo die Temperatur während den einzelnen Läufen des MD-Trainings kontinuierlich reduziert wird, zeigt die besten Resultate bei einer Reibung von 10000 und einer Temperatur von 100.
Abstract
(Englisch)
In this master's thesis, the performance and behaviour of a new training method for artificial neural networks (NNs) of high-dimensional neural network potentials (HDNNPs) is investigated. This new method is implemented in the library neural network potential package (n2p2) and performs the NN training via an artificial molecular dynamics (MD) simulation which uses Langevin dynamics. The investigations of this so-called "MD training" are performed by generating HDNNPs from a training data set of 7241 atomic configurations of "RPBE-D3" water. The idea of the MD training is to transfer the concept of NN training into the framework of a dynamical particle system that is coupled to a Langevin thermostat. Here, the free parameters of the NN represent the particles of the system and the loss function of the training is used as the potential energy. Consequently, the forces on the particles are determined from the negative gradients of the loss function. The positions and momenta of the particles are integrated with the training iterations, using the "BAOAB" integrator for the Langevin equations of motion. Here, the friction of the Langevin thermostat continuously reduces the energy of the system -- and hence the loss of the training -- and the temperature of the thermostat gives the state of the NN the ability to overcome barriers in its loss landscape in parameter space. The investigations show that the MD training can generate HDNNPs from the training data set with root mean square errors (RMSEs) in the order of 10^-1. In general, the loss curves of the MD training show an oscillating behaviour, which tendentially decreases with the training iterations and is overlaid by thermal fluctuations. The plot of a loss landscape -- generated from individual runs of the MD training with different friction values and temperature values -- shows the best training results at a friction of 9000 and a temperature of 4000. A similar plot of a loss landscape, where the temperature is continuously reduced during the individual runs of the MD training, shows the best results at a friction of 10000 and a temperature of 100.
Schlagwörter
Schlagwörter
(Deutsch)
Computergestützte Physik Statistische Physik Thermodynamik Maschinelles Lernen Künstliche Neuronale Netzwerke Training Künstliche Molekulardynamik Simulation Hochdimensionale Neuronale Netzwerkpotentiale Fehlerlandschaft Langevin Dynamik Langevin Thermostat BAOAB Integrator n2p2
Schlagwörter
(Englisch)
Computational Physics Statistical Physics Thermodynamics Machine Learning Artificial Neural Networks Training Artificial Molecular Dynamics Simulation High-dimensional Neural Network Potentials Loss Landscape Langevin Dynamics Langevin Thermostat BAOAB Integrator n2p2
Autor*innen
Valentin Hammer
Haupttitel (Englisch)
Dynamical optimization of neural network potentials
Paralleltitel (Deutsch)
Dynamische Optimierung von neuronalen Netzwerkpotentialen
Publikationsjahr
2024
Umfangsangabe
ii, 100 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*in
Christoph Dellago
AC Nummer
AC17254147
Utheses ID
71924
Studienkennzahl
UA | 066 | 876 | |