Automated analysis of high-resolution transmission electron microscopy images of nanoparticles by machine learning
This work was focused on building an automated routine to analyse HRTEM images of nanoparticles for the nanoparticle size, shape, and structure. The program ANTEMA (Automated Nanoparticle Transmission Electron Micrograph Analysis) was built to detect the nanoparticles and evaluate them for shape and size related parameters. The main component of the program is the neural network which was trained to separate the particles from the background. Additionally, a postprocessing routine was built to filter out segmentation artefacts and to separate overlapping particles. For the analysis of the particle structure, different approaches were tested to train a neural network to classify particles based on their crystallinity using synthetic images. The approaches were compared to find the best approach that could be used to build a robust classification network.
To build the program ANTEMA, the first step was to train a neural network for semantic segmentation to separate the particles from the background. For this, 128 HRTEM images of nanoparticles had to be manually labelled. Two different network architectures as well as two different pre-processing options for the HRTEM images were tested and the best-performing network was chosen to be implemented into the program. The final network has a DeepLabV3+ architecture with a ResNet-18 backbone and reached an accuracy of 96.3 % on the test dataset and an IoU value of 83 %. For further tests of the network performance and the usefulness of this approach, the segmentation using the network was compared to other segmentation methods. The comparison showed that standard techniques implemented for example in ImageJ are not suitable for many images and cannot be used in a highly automated fashion. In contrast, the neural network was able to segment most images as long as they were similar enough to the training data.
To build a fully functioning program around the segmentation, a postprocessing routine was established. The postprocessing routine that was implemented cleans up the segmentation by removing small, mislabelled areas (equivalent diameter < 0.5 nm) and particles that cross the image boundary. Furthermore, two options (UECS and watershed) were implemented to separate overlapping particles. At the end of the postprocessing routine, multiple parameters are extracted. These include the circularity, equivalent diameter, minimum and maximum Feret diameter, perimeter, particle area, and centroid position. To make the program useable for users without programming knowledge, a graphical user interface was built.
The full program was analysed by comparing it to manual evaluations. No systematic under- or overestimation of the particle size compared to the manual evaluations could be observed. By comparing multiple manual evaluations of the same images, the individual bias in manual evaluations could be shown. While the evaluations performed by the program cannot be said to be more accurate than the manual evaluations, they produce more comparable results as they can be deemed to always have the same bias. Furthermore, the program will always output the same result when analysing the same image. A major advantage of the program is the needed evaluation time which is up to 180 times faster than a manual evaluation while outputting more size and shape parameters. Additionally, the program was built to be able to analyse full image folders at once which not only makes the evaluation of large datasets easier and faster but consequently gives better statistical accuracy compared to manual evaluations. While most manual evaluations are only performed for one image with up to 100 particles the automated evaluation can analyse thousands of particles in a fraction of the time.
To showcase the capabilities of the program, it is applied to different image datasets which include ultrasmall gold nanoparticles, larger gold nanoparticles with an equivalent diameter of around 10 nm, ultrasmall platinum metal particles, ultrasmall silver nanoparticles as well as larger platinum nanoparticles with different morphologies. It could be shown that the program is capable of analysing a wide variety of nanoparticle images. A limitation exists for particles of non-convex shapes as overlapping particles cannot be separated by the implemented separation routines which leads to an overestimation of the particle size. Therefore, the program can only be used on non-convex particles if no particles overlap in the image. Another limitation is that the network is only applicable to images that are similar enough to the training data. Therefore, a visual inspection of the generated maps is always necessary for new datasets. One type of dataset that the network is unable to segment properly are images taken in gaseous atmospheres as is the case for many in-situ datasets. As in-situ datasets often consist of hundreds or thousands of images, this automated routine would be especially useful. To make the network applicable to other datasets, transfer learning with few images of the datasets was used. The resulting network could then be used in the program to analyse the new dataset. This was done for two in-situ datasets that were acquired in gaseous atmospheres. After transfer learning shape changes in the particles over the time of the experiment could be quantitively tracked. Additionally, transfer learning was successfully applied to make the program applicable to TEM images of rod-shaped nanoparticles that were acquired at lower resolution.
Apart from the shape and size parameters, the HRTEM images also show information on the particle’s crystallinity. To automate the analysis of the particle crystallinity different approaches to train a neural network for a classification of particles were tested. The main problem with training such a classification network is the generation of large amounts of correctly labelled images. As this is not feasible to do manually, two separate approaches for the generation of synthetic training data were tested. The first approach was a simple and computationally inexpensive pattern-based approach. The second approach was computationally more expensive image simulation using a program specifically designed for the simulation of HRTEM. The classification training was done for a two-class system distinguishing between amorphous and crystalline particles and a three-class system distinguishing between amorphous, monocrystalline and polycrystalline particles. To check the performance of the trained networks and their applicability to real data, they were not only tested on the test dataset but also on a small dataset of manually labelled real images. Both approaches were tested with small alterations to the data generation procedure in pursuit of optimizing the training result.
It could be shown that the simple pattern-based approach was unfit to train a network that is applicable to real data. The more sophisticated simulation approach showed more promising results with an accuracy of 75.3 % for the first tested dataset. By adding images with a higher amorphous background signal to the dataset, the network’s performance could be further improved to an accuracy of 89.3 %. More accurate results by the same network can be achieved by labelling all particles with high uncertainty in the network’s classification as a separate unknown class. However, this can also lead to systematically removing similar particles from the evaluation which would then need further refinement in an actual application. The training was then expanded to a three-class system. Here, the distinction between monocrystalline and polycrystalline particles produces the most errors. This can be attributed to the limited samples of what a polycrystalline particle could look like. These tests showed that image simulations can be used to train a network but that the variability in real images needs to properly be represented in the simulated data. Given larger amounts of crystallographic data for different kinds of particles, it should be possible to further improve the network’s performance and it could also be possible to expand the classification to more classes. Such a network could then be added to the ANTEMA program to enable a fully automated, complete analysis of the size, shape and structure of nanoparticles from HRTEM images.
Diese Arbeit befasst sich mit der Entwicklung einer automatisierten Routine zur Auswertung von HRTEM-Bildern von Nanopartikeln nach Größe, Form und Struktur. Das Programm ANTEMA (Automated Nanoparticle Transmission Electron Micrograph Analysis) wurde erstellt, um Nanopartikel zu detektieren und diese nach Größe und Form zu analysieren. Die Hauptkomponente des Programms ist das neuronale Netzwerk welches darauf trainiert wurde die Partikel vom Hintergrund zu trennen. Zusätzlich wurde eine Nachbearbeitungsroutine in das Programm eingebaut, welche dazu dient Segmentierungsartefakte zu bereinigen und überlappende Partikel zu trennen. Zur Analyse der Partikelstruktur wurden verschiedene Ansätze zur Generierung künstlicher Daten getestet, welche genutzt wurden, um neuronale Netzwerke für eine Klassifizierung der Partikel basierend auf ihrer Kristallinität zu trainieren. Die Trainingsresultate wurden miteinander verglichen, um einen Datengenerierungsansatz zu finden, der genutzt werden kann, um ein robustes Klassifizierungsnetzwerk zu erhalten.
Der erste Schritt in der Entwicklung des Programms ANTEMA war das Training des neuronalen Netzes zur Trennung von Partikeln und Hintergrund. Dazu wurden 128 HRTEM-Bilder von Nanopartikeln manuell gelabelt. Zwei verschiedene Netzwerkarchitekturen, sowie zwei verschiedene Vorbereitungsmethoden der Bilder wurden getestet und das Netzwerk, welches die besten Ergebnisse erzielen konnte, wurde in das Programm implementiert. Das ausgewählte Netzwerk erreichte einen Accuracy-Wert von 96.3 % und einen IoU-Wert von 83 %. Für weitere Tests der Performance des Netzwerkes und die Nützlichkeit dieses Ansatzes wurde die Segmentierung durch das Netzwerk mit anderen Sementierungsmethoden verglichen. Der Vergleich zeigte, dass Standardtechniken, wie beispielsweise in ImageJ implementiert, auf viele Bilder nicht anwendbar sind und nicht vollautomatisiert nutzbar sind. Das neuronale Netzwerk hingegen war in der Lage den Großteil der Bilder zu segmentieren, solange diese dem Trainingsdatensatz ähnlich genug waren.
Für ein vollfunktionales Programm zur Partikelauswertung musste um das Netzwerk noch eine Nachverarbeitungsroutine implementiert werden. Diese Routine bereinigt die Segmentierungskarten, indem kleine, falsch gelabelte Bereiche (Äquivalenz-durchmesser < 0,5 nm) sowie Partikel, die den Bildrand schneiden, entfernt werden. Außerdem wurden zwei Optionen zur Trennung von überlappenden Partikeln in das Programm eingebaut (UECS und Watershed). Am Ende der Routine werden mehrere Parameter ausgelesen. Diese umfassen die Zirkularität, den Äquivalenzdurchmesser, den minimalen und maximalen Feret Durchmesser, den Umfang, die Fläche und die Position des Schwerpunktes des Partikels.
Das vollständige Programm wurde dann analysiert, indem es mit manuellen Auswertungen verglichen wurde. Dabei wurde keine systematische Unter- oder Überschätzung der Partikelgröße im Vergleich zu den manuellen Auswertungen beobachtet. Durch einen Vergleich mehrerer manueller Auswertungen untereinander konnte der individuelle Bias beim Vermessen der Partikelgröße gezeigt werden. Das Programm erzeugt zwar nicht zwangsläufig richtigere Ergebnisse als die manuelle Auswertung, liefert aber Ergebnisse, die untereinander vergleichbarer sind. Zudem liefert das Programm stets dieselben Ergebnisse für dasselbe Bild, was bei einer manuellen Auswertung nicht zwangsläufig gegeben ist. Ein großer Vorteil des Programms ist die benötigte Zeit zum Auswerten der Bilder. Im Vergleich zu manuellen Auswertungen ist das Programm bis zu 180-mal schneller und analysiert dabei eine größere Anzahl an Form- und Größenparametern. Außerdem wurde das Programm so strukturiert, dass ganze Bildordner auf einmal ohne zwischenzeitliche, zusätzliche Eingaben des Nutzers ausgewertet werden können. Dies macht die Auswertung großer Datensätze nicht nur einfacher und schneller, sondern liefert als Konsequenz auch eine bessere statistische Aussagekraft der Daten im Vergleich zu manuellen Auswertungen. Während eine manuelle Auswertung häufig nur für ein Bild mit bis zu 100 Partikeln durchgeführt wird, kann die automatisierte Auswertung tausende Partikel in einem Bruchteil der Zeit analysieren.
Um die Anwendungsmöglichkeiten des Programms darzustellen, wurde das Programm auf mehrere unterschiedliche Datensätze angewandt. Dies beinhaltet die Auswertung von Bildern von ultrakleinen Gold-Nanopartikeln, größeren Gold-Nanopartikeln mit einem Äquivalenzdurchmesser von ca. 10 nm, ultrakleinen Platinmetall-Nanopartikeln, ultrakleinen Silber-Nanopartikeln, sowie größeren Silber-Nanopartikeln mit unterschiedlicher Morphologie. Es konnte gezeigt werden, dass das Programm in der Lage ist, eine große Bandbreite unterschiedlicher Nanopartikelbilder auszuwerten. Limitierungen in der Anwendbarkeit existieren bei der Auswertung von nicht konvexen Partikelformen, da diese, sobald sie im HRTEM-Bild überlappen, nicht getrennt werden können, was zu einer Überschätzung der Partikelgröße führt. Daher gilt bei nicht konvexen Partikeln, dass das Programm nur anwendbar ist, solange alle Partikel im Bild klar getrennt voneinander vorliegen. Abgesehen von der Partikelform, müssen die Bilder zudem den Trainingsdaten ähnlich genug sein, da sonst das Netzwerk fehlerhafte Segmentierungen produzieren kann. Daher ist bei neuen Datensätzen eine visuelle Überprüfung der Segmentierungskarten erforderlich. Datensätze bei deren Auswertung das Netzwerk Schwierigkeiten hat, sind beispielsweise in-situ Daten, die unter Gasatmosphäre aufgenommen wurden. Da in-situ Datensätze häufig aus Hunderten oder Tausenden von Bildern bestehen, wäre die automatisierte Auswertung dieser natürlich besonders interessant. Um das Netzwerk und damit die Gesamtroutine für diese Datensätze nutzbar zu machen, wurde Transfer Learning verwendet. Die Transfer Learning Routine wurde für zwei in-situ Datensätze durchgeführt und anschließend konnten Formveränderungen der Partikel über die Zeit des Experiments quantitativ verfolgt werden. Zusätzlich wurde die Transfer Learning Routine erfolgreich auf TEM Bilder von Nanostäbchen angewandt.
Abgesehen von Größen- und Formparametern können HRTEM-Bildern auch Informationen über die Kristallinität der Partikel entnommen werden. Um die Analyse der Kristallinität der Partikel ebenfalls zu automatisieren, wurden unterschiedliche Trainingsansätze getestet, mit dem Ziel ein neuronales Netzwerk auf die Klassifizierung von Partikeln nach ihrer Kristallinität zu trainieren. Das Hauptproblem eines solchen Unterfangens ist die Generierung großer, korrekt annotierter Datensätze. Da es nicht möglich ist, solche Datensätze manuell zu erstellen, wurden zwei Ansätze zur Generierung synthetischer Daten getestet. Der erste Ansatz war ein simpler und rechnerisch kostengünstiger, rein musterbasierter Ansatz. Der zweite Ansatz war die Nutzung rechnerisch aufwändigerer Simulationen mittels eines Programms, welches speziell zur Simulation von HRTEM-Bildern entwickelt wurde. Das Klassifizierungstraining wurde mittels beider Datengenerierungsansätze sowohl für eine Zwei-Klassen-Klassifizierung mit der Unterscheidung zwischen kristallinen und amorphen Partikeln, als auch für eine Drei-Klassen-Klassifizierung mit der Unterscheidung zwischen amorphen, einkristallinen und polykristallinen Partikeln durchgeführt. Zur Bewertung des Trainingserfolges und der Übertragbarkeit auf echte HRTEM Bilder wurde die Leistung des Netzwerks sowohl mittels des Testdatensatzes, als auch mittels eines kleinen manuell gelabelten Datensatzes realer Bilder überprüft. Dabei wurden bei beiden Ansätzen auch kleine Änderungen innerhalb der Datengenerierungsroutinen durchgeführt und überprüft, in wie weit dadurch die Trainingsresultate verbessert werden können.
Es konnte gezeigt werden, dass der einfache musterbasierte Ansatz kein auf reale Daten übertragbares Netzwerk hervorbringt. Der aufwändigere Simulationsansatz liefert hingegen vielversprechendere Resultate mit einer Accuracy von 75,3 % für den ersten generierten Datensatz. Durch das zusätzliche Erstellen von Bildern mit einem stärkeren Hintergrundsignal konnte die Accuracy auf einen Wert von 89,3 % verbessert werden. Der Wert konnte noch weiter erhöht werden, indem alle Partikel, bei denen das Netzwerk eine erhöhte Unsicherheit in der Klassifizierung ausgibt, von der Auswertung ausgenommen werden und als separate unbekannte Klasse verarbeitet werden. Allerdings könnte dies auch zu einem systematischen Ausschluss ähnlicher Partikel von der Auswertung und dadurch verfälschten Ergebnissen führen. Für ein Anwendungsprogramm basierend auf einem solchen Netzwerk müssten dann weitere Vorkehrungen getroffen werden, um dies zu vermeiden. Das Training wurde dann auf ein Drei-Klassen-System ausgeweitet. Hier entstehet der Großteil der Fehler bei der Unterscheidung zwischen einkristallinen und polykristallinen Partikeln. Dies kann sich darauf zurückführen lassen, dass nur eine begrenzte Variabilität in den Daten der künstlich generierten polykristallinen Partikel vorliegt. Die Tests haben gezeigt, dass simulierte Bilder zum Trainieren eines Netzes verwendet werden können, wobei aber die Variabilität in realen Bildern in den simulierten Daten abgebildet werden muss. Mit größeren Mengen kristallografischer Daten für verschiedene Arten von Partikeln sollte es möglich sein, die Leistung des Netzes weiter zu verbessern und die Klassifizierung auf weitere Klassen auszudehnen. Ein solches Netzwerk könnte dann dem ANTEMA-Programm hinzugefügt werden, um eine vollautomatische, vollständige Analyse der Größe, Form und Struktur von Nanopartikeln aus HRTEM-Bildern zu ermöglichen.