Detailansicht
Neural network acceleration techniques applied to SchNet
Maximilian Xaver Tiefenbacher
Art der Arbeit
Masterarbeit
Universität
Universität Wien
Fakultät
Fakultät für Chemie
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Masterstudium Chemie
Betreuer*in
Philipp Marquetand
DOI
10.25365/thesis.69748
URN
urn:nbn:at:at-ubw:1-11119.79622.128348-9
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Neuronal Netze haben in der Vergangenheit gezeigt, dass sie in der Lage sind quantenmechanische Simulationen ohne den Verlust von Genauigkeit zu beschleunigen. Obwohl die Beschleunigung beträchtlich ist, sind Zeitskalen jenseits des Bereichs von Nanosekunden immer noch unerreichbar. Jüngste Entwicklungen in der Beschleunigung von neuronalen Netzen könnten die Lösung für dieses Problem sein, indem sie die Vorhersagen von neuronalen Netzen noch schneller machen, während sie die gleiche Genauigkeit wie das Original-Netzwerk versprechen. Diese Arbeit konzentriert sich auf die Beschleunigung eines solchen neuronalen Netzes namens SchNet. Die Haupttechnik, die in dieser Arbeit untersucht wird, ist die sogenannte Singulärwertzerlegung, die eine spezielle Form der Rangreduktion ist. Diese Technik wird verwendet, um das Matrix-Vektor-Produkt zu beschleunigen, welches die häufigste Operation in einem neuronalen Netz ist. Die Arbeit analysiert hauptsächlich den Fehler und die Beschleunigung, der durch diese Technik für verschiedene Modellgrößen und verschiedene Mengen an reduzierten Rängen eingeführt wird. Darüber hinaus wurden auch andere Techniken in Form von Quantisierung und Pruning untersucht, die dem Trend der Beschleunigungsmethoden folgen und die Struktur von SchNet erhalten.
Abstract
(Englisch)
Neural networks have been shown to accelerate quantum mechanical dynamics simulations without a loss of accuracy. Even though the speedup is substantial, time scales beyond the realm of nanoseconds is still outside the reach of simulations. Recent developments in the acceleration of neural networks might hold the solution to this problem making neural networks predictions even faster, while promising the same accuracy as their non accelerated counter parts. This work focuses on the acceleration of such a neural network called SchNet. The main technique investigated in this work is the so called singular value decomposition, which is a special form of rank reduction. This technique is used to accelerate the matrix vector product, which is the most common operation in a neural network. The work analyzes mainly the error introduced and the speed up acchieved by this technique for different sizes of models and different amounts of reduced ranks. In addition also other techniques in the form of quantization and pruning were investigated following the trend of acceleration methods, which preserve the structure of SchNet.
Schlagwörter
Schlagwörter
(Englisch)
neural networks singular value decomposition SchNet
Schlagwörter
(Deutsch)
neuronale Netze Singulärwertezerlegung SchNet
Autor*innen
Maximilian Xaver Tiefenbacher
Haupttitel (Englisch)
Neural network acceleration techniques applied to SchNet
Paralleltitel (Deutsch)
Neuronale Netzwerk-Beschleunigungstechniken angewandt auf SchNet
Publikationsjahr
2021
Umfangsangabe
III, 28 Blätter : Diagramme
Sprache
Englisch
Beurteiler*in
Philipp Marquetand
Klassifikationen
35 Chemie > 35.06 Computeranwendungen ,
54 Informatik > 54.72 Künstliche Intelligenz
AC Nummer
AC16378255
Utheses ID
59344
Studienkennzahl
UA | 066 | 862 | |