Deep learning for imaging particle analysis applications
This work offers a thorough exploration of an innovative methodology for imaging particle analysis, utilizing advanced deep learning (DL) techniques.
Chapter 1 points out the significant role of powders and particles in various industries, with a focus on the importance of particle size distributions (PSDs) for product and process quality. It explains the advantage of imaging particle analysis over other methods for detailed size and shape measurement, highlighting the limitations of manual and traditional automated techniques and ultimately advocates for DL as a promising approach to enhance imaging particle analysis, aiming for a more reliable, objective, and precise analysis process that reduces manual labor and error susceptibility.
Chapter 2 reviews the state of the art of imaging particle analysis techniques, ranging from manual counting methods and traditional automated techniques like Otsu’s method, k-means, watershed transform and Hough transform, to classical machine learning (ML)-based methods that laid the foundation for the work at hand.
Chapter 3 establishes a basis for understanding particle properties and concepts relevant to the studies conducted in the course of this work, such as the concept of equivalent diameters, the PSD and sintering.
Chapter 4 delves into the theoretical underpinnings of ML, DL, and computer vision, offering a primer on the technologies that form the core of this work. It discusses neural network architectures and their applications, focusing on the potential of convolutional neural networks (CNNs) and region-based convolutional neural networks (R-CNNs), such as the Feature Pyramid Network and Mask R-CNN, for imaging particle analysis.
Chapter 5 focuses on the adaptation of the aforementioned DL methodologies, especially R-CNNs, for particle analysis. It showcases the customization of DL techniques to address specific challenges in particle analysis, such as enhancing training performance and improving PSD prediction accuracy. Furthermore, two novel extensions of already existing DL methods – Voronoi++ for the analysis of densely packed grains in sintered solids and FibeR-CNN for the analysis of curved and overlapping fibers – are introduced.
Chapter 6 presents the synthPIC (Synthetic Particle Image Creator) toolbox, a novel solution for overcoming the data-intensive requirements of training DL models by generating synthetic training images. This approach boosts the potential for DL in imaging particle analysis by sidestepping the limitations associated with gathering vast amounts of manually annotated data.
Chapter 7 presents real-world and synthetic datasets used for the training and evaluation of the proposed DL particle analysis methods. It emphasizes the diversity of the datasets and the challenges they present, underscoring the necessity and effectiveness of the developed DL approaches in overcoming these challenges.
Chapter 8 provides a detailed evaluation of the proposed DL methodologies through five case studies:
- detection of complete soot aggregates in transmission electron microscopy images;
- detection of quasi-spherical primary particles in secondary electron microscopy (SEM) images of silica aggregates;
- classification of catalyst particles in endoscopic images of a densely packed binary particle mixtures;
- detection of packed crystallites in SEM images of breaking edges of solids made from compacted and sintered zinc oxide particles; and
- detection of curved and overlapping fibers in SEM images of carbon nanotubes.
By comparing the utilized DL techniques to traditional automated and manual imaging particle analysis methods, an improved accuracy and reliability across the various evaluated applications is demonstrated.
Finally, Chapter 9 summarizes the contributions and implications of this work, while acknowledging
its limitations and potential societal impact, as well as pointing out possible directions of future work.
Diese Arbeit stellt eine umfassende Untersuchung eines neuartigen Ansatzes für die bildbasierte Partikelanalyse dar, der sich auf Deep Learning (DL)-Techniken stützt.
Kapitel 1 verdeutlicht die wichtige Rolle von Pulvern und Partikeln in verschiedenen Industriezweigen, wobei der Schwerpunkt auf der Bedeutung von Partikelgrößenverteilungen (PGV) für die Produkt- und Prozessqualität liegt. Es werden die Vorteile der bildbasierten Partikelanalyse gegenüber anderen Methoden zur detaillierten Größen- und Formmessung erklärt und die Grenzen manueller und traditioneller automatisierter Verfahren beleuchtet. Schlussendlich wird die Verwendung von DL als vielversprechender Ansatz zur Verbesserung der bildbasierten Partikelanalyse vorgeschlagen, mit dem ein zuverlässigerer, objektiverer und präziserer Analyseprozess angestrebt wird, welcher die manuelle Arbeit und die Fehleranfälligkeit reduzieren soll.
Kapitel 2 gibt einen Überblick über den Stand der Technik in der bildbasierten Partikelanalyse, der von manuellen Zählmethoden und traditionellen automatisierten Verfahren wie der Otsu-Methode, k-Means, Watershed-Transformation und Hough-Transformation bis hin zu klassischen Machine Learning (ML)-basierten Methoden reicht, welche die Grundlage für die vorliegende Arbeit bilden.
Kapitel 3 etabliert grundlegende Partikeleigenschaften und -konzepte, die für die im Rahmen dieser Arbeit durchgeführten Studien relevant sind, wie z. B. das Konzept des Äquivalenzdurchmessers, die PGV und das Sintern.
Kapitel 4 befasst sich mit den theoretischen Grundlagen von ML, DL und Computer Vision und bietet eine Einführung in die Technologien, die den Kern dieser Arbeit bilden. Es werden neuronale Netzwerkarchitekturen und ihre Anwendungen erörtert, wobei der Schwerpunkt auf dem Potenzial von Convolutional Neural Networks (CNNs) und Region-Based Convolutional Neural Networks (R-CNNs), wie dem Feature Pyramid Network und Mask R-CNN, für die bildbasierte Partikelanalyse liegt.
Kapitel 5 konzentriert sich auf die Anpassung der oben genannten DL-Methoden, insbesondere R-CNNs, für die Partikelanalyse. Es zeigt die Anpassung von DL-Techniken, um spezifische Herausforderungen in der Partikelanalyse anzugehen, wie z.B. die Verbesserung der Trainingsleistung und der PGV-Vorhersagegenauigkeit. Darüber hinaus werden zwei neuartige Erweiterungen bereits bestehender DL-Methoden – Voronoi++ zur Analyse dicht gepackter Körner in gesinterten Festkörpern und FibeR-CNN zur Analyse gekrümmter und überlappender Fasern – vorgestellt.
Kapitel 6 stellt die synthPIC (Synthetic Particle Image Creator)-Toolbox vor, eine neuartige Lösung zur Bewältigung der datenintensiven Anforderungen beim Training von DL-Modellen durch die Erzeugung synthetischer Trainingsbilder. Dieser Ansatz steigert das Potenzial von DL in der bildbasierten Partikelanalyse, indem er die Einschränkungen umgeht, die mit der Erfassung großer Mengen händisch ausgewerteter Daten verbunden sind.
Kapitel 7 stellt reale und synthetische Datensätze vor, die für das Training und die Bewertung der vorgeschlagenen DL-Partikelanalysemethoden verwendet wurden. Es zeigt die Vielfalt der Datensätze und die damit verbundenen Herausforderungen und unterstreicht die Notwendigkeit und Wirksamkeit der entwickelten DL-Ansätze zur Bewältigung dieser Herausforderungen.
Kapitel 8 liefert eine detaillierte Bewertung der vorgeschlagenen DL-Methoden anhand von fünf Fallstudien:
- Detektion vollständiger Rußaggregaten in Transmissionselektronenmikroskopie-Bildern;
- Detektion quasi-sphärischer Primärpartikeln in Sekundärelektronenmikroskopie (SEM)-Bildern von Silika-Aggregaten;
- Detektion und Klassifizierung von Katalysatorpartikeln in endoskopischen Bildern einer dicht gepackten binären Partikelmischung;
- Detektion gepackter Kristallite in SEM–Bildern von Bruchkanten von Festkörpern aus verdichteten und gesinterten Zinkoxidpartikeln; und
- Detektion gekrümmter und überlappender Fasern in SEM-Bildern von Carbon Nanotubes.
Durch den Vergleich der verwendeten DL-Techniken mit herkömmlichen automatisierten und manuellen bildbasierten Partikelanalysemethoden wird eine verbesserte Genauigkeit und Zuverlässigkeit bei den verschiedenen evaluierten Anwendungen nachgewiesen.
Abschließend werden in Kapitel 9 der Mehrwert und die Auswirkungen dieser Arbeit zusammengefasst, während gleichzeitig ihre Grenzen sowie potenziellen gesellschaftlichen Auswirkungen benannt und mögliche Richtungen für zukünftige Arbeiten aufgezeigt werden.
Preview
Cite
Rights
License Holder:
Max Frei. Excluded from the license are the publications P1, P2, P3, P5 and P6 (License Holder: Elsevier) ; Ausgenommen von der Lizenz sind die Publikationen P1, P2, P3, P5 und P6 (Lizenzinhaber: Elsevier)
Use and reproduction:
This work may be used under a
Creative Commons Attribution 4.0 License (CC BY 4.0)
.