Detailansicht
Enhancing the accuracy and privacy of machine learning predictions for molecular ensemble properties
Jan Weinreich
Art der Arbeit
Dissertation
Universität
Universität Wien
Fakultät
Fakultät für Physik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Doktoratsstudium NAWI aus dem Bereich Naturwissenschaften (DissG: Physik)
Betreuer*innen
Christoph Dellago ,
Anatole von Lilienfeld-Toal
DOI
10.25365/thesis.73985
URN
urn:nbn:at:at-ubw:1-13197.93289.215114-6
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Die beschleunigte Entdeckung neuer Materialien erfordert die Verknüpfung von Experimenten, Theorie und Simulation. In den letzten Jahren hat sich das maschinelle Lernen (ML) als vielversprechender Ansatz herauskristallisiert, um die Entdeckung neuer Materialien zu beschleunigen, die Anzahl zeitaufwändiger Experimente zu verringern, die experimentellen Ergebnisse schneller zu charakterisieren und ein Hochdurchsatz-Screening von Materialien zu ermöglichen. Insbesondere physikalisch inspirierte ML-Modelle erreichen mit weniger Daten eine höhere Genauigkeit als rein datengesteuerte Ansätze. Durch die Einbeziehung mathematischer Ausdrücke für atomare Wechselwirkungen wird beispielsweise die Genauigkeit der Vorhersage der Atomisierungsenergie erhöht. Im Hinblick auf die molekulare ML sind jedoch mehrere Fragen noch nicht geklärt: Erstens, wie kann die statistische Mechanik mit der Vorhersage molekularer Eigenschaften bei endlichen Temperaturen kombiniert werden? Und wie können Forscher experimentelle Daten nutzen, die bereits von Pharmaunternehmen gewonnen wurden, die zögern, sie offen zu legen? Die erste Frage bezieht sich auf die Verbesserung der Vorhersage der freien Energie, die für die Arzneimittelentwicklung und die Katalyse von Bedeutung ist. Während ML für Grundzustandseigenschaften gut etabliert ist, ist unklar, wie auf dreidimensionalen Molekülstrukturen basierende ML auf Ensemble-Eigenschaften wie freie Energien erweitert werden kann. Eine Herausforderung besteht darin, dass die ML-Vorhersage der freien Energie nicht von einem einzelnen Konformer abhängen sollte, da freie Energien eine Ensemblegröße sind. Bei endlichen Temperaturen ist der wahrscheinlichste Zustand derjenige mit der niedrigsten freien Energie, nicht derjenige mit der niedrigsten Energie. Daher muss ein ML-Modell, das sich dieser Frage nähert, über die Beschreibung des Grundzustands hinausgehen. In dieser Arbeit werden ML-Modelle mit Boltzmann-gemittelten Darstellungen eingeführt, die das statistische Ensemble relevanter Konformer berücksichtigen, was zu einer experimentellen Genauigkeit der freien Energien führt. Jede Vorhersage einer Ensemble-Eigenschaft erfordert eine Simulation der molekularen Dynamik für die Mittelwertbildung, was die Frage aufwirft, ob es möglich ist, die Abtastung gänzlich zu umgehen. Zu diesem Zweck führen wir ab initio ML des durchschnittlichen dreidimensionalen Konformers ein. Die vorhergesagten Strukturen dienen als Input für nachgelagerte ML-Aufgaben wie die Vorhersage der freien Energie. Schließlich wird die Darstellung des Systemdurchschnitts erweitert, indem eine explizite Abhängigkeit von intensiven thermodynamischen Variablen aufgenommen und thermodynamische Gleichungen integriert werden, was zu einem einzigen Modell führt, das freie Energie, Entropie und Enthalpie vorhersagen kann. Auch wenn physikalisch basiertes ML den Umfang der erforderlichen Trainingsdaten reduziert, ist die Erhebung experimenteller Daten immer noch teuer. Oft stehen nur sehr wenige Trainingsdaten zur Verfügung, und diese können mehrere fehlerhafte Einträge enthalten, insbesondere wenn sie aus verschiedenen Quellen stammen. Um diese Probleme zu entschärfen, schlagen wir datenschutzfreundliches ML vor, das eine verschlüsselte Vorhersage molekularer Eigenschaften auf der Grundlage geheimer Daten ermöglicht. Verschlüsselte Vorhersagen unterscheiden sich grundlegend von konventionellem ML, bei dem die abfragende Partei dem Modelleigentümer das Molekül von Interesse offenbart. Stattdessen berechnen zwei Parteien, der Besitzer der geheimen Daten und die abfragende Partei, gemeinsam die verschlüsselte Vorhersage, ohne die Trainings- und Abfragedaten preiszugeben. Zusammenfassend werden in dieser Arbeit von der Physik inspirierte ML-Modelle für thermodynamische Eigenschaften molekularer Systeme vorgestellt, deren Anwendungsmöglichkeiten über die Vorhersage von Grundzustandsenergien hinausgehen. Darüber hinaus diskutieren wir datenschutzfreundliche ML-Modelle, die die Verwendung versteckter kommerzieller Daten für die Vorhersage molekularer Eigenschaften ermöglichen. Die Ergebnisse zeigen das Potenzial von ML für die Beschleunigung der Materialentdeckung durch die Erleichterung der Zusammenarbeit zwischen Industrie und Wissenschaft.
Abstract
(Englisch)
Accelerated discovery of new materials requires the orchestration of experiments, theory, and simulation. In recent years machine learning (ML) has emerged as a promising approach to speed up the discovery of new materials, reduce the number of time-consuming experiments, faster characterization of experimental results, and enable high-throughput screening of materials. In particular, physics-inspired ML models achieve higher accuracy with less data than purely data-driven approaches. For example, incorporating mathematical expressions of atomic interactions enhances the accuracy of atomization energy predictions. Yet, with regard to molecular ML several issues have not been addressed: first, how can statistical mechanics be combined with molecular property predictions at finite temperatures? Furthermore, how can researchers leverage experimental data, already obtained by pharmaceutical companies, who are hesitant to disclose it? The first question relates to improving free energy predictions with relevance to drug development and catalysis. While ML for ground state properties is well established it is unclear how to extend ML based on three-dimensional molecular structures to ensemble properties such as free energies. A challenge is that ML prediction of the free energy should not depend on any single conformer, since free energies are an ensemble quantity. At finite temperatures, the most likely state is the one with the lowest free energy, not the one with the lowest energy. Thus, an ML model approaching this question must go beyond the ground state description. This thesis introduces ML models with Boltzmann averaged representations accounting for the statistical ensemble of relevant conformers resulting in experimental accuracy for free energies. Each ensemble property prediction requires conformer sampling for averaging, raising the question if it is possible to circumvent sampling altogether. To this end, we introduce ab initio ML of the average three-dimensional conformer. The predicted structures serve as input for downstream ML tasks such as free energy prediction. Finally, the system average representation is extended by including explicit dependence on intensive thermodynamic variables and incorporating thermodynamic equations resulting in a single model capable of predicting free energy, entropy, and enthalpyEven though physics-based ML reduces the necessary training set sizes, collecting experimental data is still expensive. Often only very little training data is available and it may contain several erroneous entries and multiple biases, especially when collected from several sources. To mitigate these issues, we propose privacy-preserving ML to enable encrypted molecular property prediction based on secret data. Encrypted predictions differ fundamentally from conventional ML where the querying party reveals the molecule of interest to the model owner. Instead, two parties, the owner of the secret data and the querying party, jointly compute the encrypted prediction without revealing the training and query data. In summary, this thesis presents physics-inspired ML models for thermodynamic properties of molecular systems with applications beyond the prediction of ground state energies. Moreover, we discuss privacy-preserving ML to allow the use of hidden commercial data for molecular property prediction. The results demonstrate the potential of ML for accelerating materials discovery by facilitating collaboration between industry and academia.
Schlagwörter
Schlagwörter
(Deutsch)
Maschinelles Lernen Moleküle freie Energien Ensembles Datenschutz
Schlagwörter
(Englisch)
Machine Learning molecules free energies ensembles privacy
Autor*innen
Jan Weinreich
Haupttitel (Englisch)
Enhancing the accuracy and privacy of machine learning predictions for molecular ensemble properties
Paralleltitel (Deutsch)
Verbesserung der Genauigkeit und des Datenschutzes beim maschinellen Vorhersagen molekularer Ensemble-Eigenschaften
Publikationsjahr
2023
Umfangsangabe
xxi, 169 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*innen
Julia Westermayr ,
Reinhard Maurer
Klassifikationen
33 Physik > 33.79 Kondensierte Materie. Sonstiges ,
54 Informatik > 54.72 Künstliche Intelligenz
AC Nummer
AC16919952
Utheses ID
66535
Studienkennzahl
UA | 796 | 605 | 411 |