Detailansicht
Computer vision and machine learning analysis of atomicscale microscopy images
Marco Corrias
Art der Arbeit
Dissertation
Universität
Universität Wien
Fakultät
Fakultät für Physik
Studiumsbezeichnung bzw. Universitätlehrgang (ULG)
Doktoratsstudium Naturwissenschaften: Physik
Betreuer*in
Cesare Franchini
DOI
10.25365/thesis.80044
URN
urn:nbn:at:at-ubw:1-10764.93993.111129-0
Link zu u:search
(Print-Exemplar eventuell in Bibliothek verfügbar)
Abstracts
Abstract
(Deutsch)
Die Entwicklung neuer computergestützter Methoden ergibt sich häufig aus der Notwendigkeit, bestimmte Aufgaben zu bewältigen, die zuvor nicht durchführbar waren oder einen hohen manuellen Aufwand erforderten. In den Materialwissenschaften, insbesondere in der Mikroskopie, werden viele Schritte des experimentellen Arbeitsablaufs immer noch manuell oder halb-manuell ausgeführt und hängen stark vom Fachwissen des Benutzers ab. Dies wirkt sich negativ auf den wissenschaftlichen Erkenntnisgewinn aus, da die Wissenschaftler gezwungen sind, sich auf manuelle, zeitaufwändige Aufgaben zu konzentrieren, anstatt sich auf analytische und kreative Aufgaben zu konzentrieren. Dieses Promotionsprojekt konzentrierte sich auf die Entwicklung und Anwendung von Arbeitsabläufen für die Analyse und Verarbeitung von Mikroskopiebildern. Es werden Werkzeuge zur Extraktion kristalliner Muster vorgestellt, die sowohl etablierte Computer-Vision-Techniken als auch Techniken des maschinellen Lernens nutzen. Eine erste Suche nach atomaren Merkmalen erfolgt mithilfe des im Bereich der Computer Vision bewährten Scale-Invariant Feature Transform (SIFT) Algorithmus. Anschließend wird ein agglomeratives Clustering eingesetzt, um die erkannten Merkmale anhand ihres Deskriptors, eines Histogramms orientierter Gradienten (HOG), zu unterscheiden. Nachfolgende Schritte des Clusterns und Filterns ermöglichen es, die Gittervektoren, die Einheitszelle und die Visualisierung der lokalen Verzerrungen zu erhalten. Als direkte Fortsetzung und Erweiterung dieses Tools wurde ein Workflow zur Erkennung und Analyse von quasikristallinen Oberflächen entwickelt, der unseres Wissens der erste seiner Art ist. Aufgrund der nicht-periodischen Natur dieser Systeme muss die herkömmliche Vorstellung einer Einheitszelle durch die von Kacheln ersetzt werden, was größere Anpassungen des ursprünglichen Workflows erforderte. Nach der Ermittlung der atomaren Koordinaten wird ein Konturverfolgungsalgorithmus angewandt, um die Kacheln zu erhalten, die auf der Grundlage ihrer Innenwinkel geclustert werden. Eine Support Vector Machine (SVM) wird auf die erkannten Atomkoordinaten trainiert, um mögliche fehlende Punkte zu finden, was die Genauigkeit der Vorhersage deutlich erhöht. Es wird eine statistische Analyse der Kacheln durchgeführt. Methoden zur Minimierung der Gesamtvariation (TV) wurden eingesetzt, um unerwünschte Hintergrundsignale zu entfernen. In dieser Studie wurden drei verschiedene Methoden (Huber-ROF, TV-$L^1$ und TGV-$L^1$) auf verschiedene Untersuchungsfälle angewandt und verglichen, um ihre unterschiedliche Anwendbarkeit zu verdeutlichen. Schließlich wurde ein spezielles Tool für die genaue Zählung von Atomen in atomar aufgelösten Bildern entwickelt, das auf bereits etablierten Workflows aufbaut und ein Mustervergleichsverfahren enthält. Jede Methode wurde in verschiedenen Szenarien getestet, wobei verschiedene Mikroskopietechniken und ein breites Spektrum von Rauschpegeln und Bildartefakten zum Einsatz kamen. Die Limitationen der einzelnen Methoden wurden sorgfältig ermittelt und diskutiert. Alle entwickelten Berechnungswerkzeuge sind als Teil des Open-Source-Pakets AiSurf öffentlich zugänglich.
Abstract
(Englisch)
The development of new computational methods often arises from the need to accomplish specific tasks that were previously unfeasible or required a strenuous amount of manual effort. In the field of materials science, in particular microscopy, many steps in the experimental workflow are still manually or semi-manually executed, heavily relying on the user's expertise. This negatively affects the rate of discovery, forcing scientists to focus on manual, time-consuming tasks instead of more analytical and creative ones. This doctoral project focused on the development and application of workflows for the analysis and processing of microscopy images. Tools for extracting crystalline patterns are presented, leveraging well-established computer vision techniques as well as machine learning techniques. A first search for atomic features is performed using the scale-invariant feature transform (SIFT), a well-established algorithm in the field of computer vision. Agglomerative clustering is then employed to differentiate the detected features based on their descriptor, a histogram of oriented gradients (HOG). Subsequent steps of clustering and filtering allow to obtain the lattice vectors, the unit cell, and the visualization of local distortions. As a direct follow-up and extension of this tool, a workflow for detecting and analyzing quasicrystalline surfaces has been developed, which, to the best of our knowledge, is the first one of its kind. Due to the non-periodic nature of these systems, the conventional notion of a unit cell must be replaced by that of tiles, and this necessitated major adjustments in the original workflow. After obtaining the atomic coordinates, a contour-following algorithm is applied in order to obtain the tiles, which are clustered based on their internal angles. A support vector machine (SVM) is trained on the detected atomic coordinates to find possible missing spots, greatly increasing the accuracy of the prediction. A statistical analysis of the tiles is performed. Total variation (TV) minimization methods have been employed to remove unwanted background signals. These methods have extensive application in the field of computer science; this study applied and compared three different methods (Huber-ROF, TV-$L^1$, and TGV-$L^1$) to different study cases, highlighting their different applicability. Lastly, a dedicated tool for accurate atom counting in atomically resolved images has been developed, building upon previously established workflows and incorporating a pattern-matching process. Each method has been tested across different case scenarios, involving various microscopy techniques and a wide range of noise levels and image artifacts. The limitations of each methodology have been carefully identified and discussed. All developed computational tools are publicly available as part of the open-source AiSurf package.
Schlagwörter
Schlagwörter
(Deutsch)
Oberflächenwissenschaft Mikroskopie Machine Learning Pattern Recognition
Schlagwörter
(Englisch)
Surface Science Microscopy Machine Learning Pattern Recognition
Autor*innen
Marco Corrias 
Haupttitel (Englisch)
Computer vision and machine learning analysis of atomicscale microscopy images
Publikationsjahr
2025
Umfangsangabe
xi, 115 Seiten : Illustrationen
Sprache
Englisch
Beurteiler*innen
Stefan Förster ,
Luca Massimiliano Ghiringhelli
Klassifikation
33 Physik > 33.61 Festkörperphysik
AC Nummer
AC17751493
Utheses ID
77519
Studienkennzahl
UA | 796 | 605 | 411 |