Anatomical Priors for Fully Automated Medical Image Segmentation

Pham, Duc Duy

doi:10.17185/duepublico/78355

Dissertation Fr., 28. Apr.. 2023 CC BY-SA 4.0

Veröffentlicht

Anatomical Priors for Fully Automated Medical Image Segmentation

Pham, Duc Duy

Englisch
Deutsch

In this dissertation, novel ideas regarding the usage of prior anatomical information
in fully automated image segmentation pipelines are presented and investigated. In
the context of traditional segmentation methods, primitive shape priors are used
to construct contour initialization methods, which complement traditional contour
based segmentation approaches towards full automation. In the scope of this thesis, these initialization methods, namely Polar Appearance Models (PAMs) and Gradient based Expanding Spherical Appearance Models (GESAMs), are specifically designed for the extraction of the femoral bone in MR volumes.

Regarding deep learning, full automation is already implied by the architectural
end-to-end design of fully convolutional segmentation networks. Their performance
can, however, be increased by sufficient incorporation of prior anatomical knowledge. In regards to shape priors, a cascaded convolutional distance transform is
proposed, which directly integrates the distance transform, as a conventional representation for shape, into arbitrary segmentation networks. Moreover, two imitating encoder based architectures are introduced, in which the compressing property of convolutional autoencoders is leveraged to infuse shape information during training. Furthermore, their applicability in cross-modality and one-shot settings is demonstrated. In case of zero-shot domain adaptation, three strategies, i.e. shape priors by Oktay et al.’s ACNN [OF+18], contour infusion by edge enhancement, and feature abstraction by color augmentation, are introduced in this specific setting, all enforcing shape aware feature learning to gap the domain shift to unseen target domains.

Additionally, a novel deep learning segmentation approach is presented for small
structures with strong shape variations, which considers topographical priors by
means of multitask learning. A similar topography aware approach is shown in an
excursion to weakly supervised caries detection in smartphone images.

The insights from both shape and topology based deep learning architectures are
combined in an application pipeline for the projection of necrotic tissue from MR
volumes onto fluoroscopic x-ray images. In this scope, a procedure is presented to
extract landmarks of the femoral bone, which are used in an evolution strategy to
find a suitable projection.

The dissertation is concluded with a discussion about prospects and limitations of
the proposed approaches for future research.

In der vorliegenden Dissertation werden neue Ideen bezüglich der Nutzung von ¨
anatomischen Priors, d.h. anatomischem Vorwissen, vorgestellt, die in vollautomatisierten Bildsegmentierungspipelines Anwendung finden sollen. Im Zusammenhang von traditionellen Segmentierungsverfahren werden primitive Shape Priors verwendet, um Methoden zur Konturinitialisierung zu entwickeln, die klassische konturbasierte Segmentierungsverfahren in Richtung Vollautomatisierung ergänzen. Im Rahmen dieser Arbeit werden die Initialisierungsverfahren Polar Appearance Models (PAMs) und Gradient based Expanding Spherical Appearance Models (GESAMs) speziell für den Anwendungsfall der Femurextraktion aus MRT Volumen entwickelt.

Im Deep Learning Kontext sind Fully Convolutional Segmentierungsnetzwerke in
der Regel aufgrund ihrer End-to-End Architektur bereits vollautomatisiert. Eine
Segmentierungsvorhersage kann aus einem Eingabebild erzeugt werden, ohne dass weitere Schritte zwingend erforderlich sind. Anatomische Priors sollen in diesem Zuge zur Verbesserung der Segmentierungsqualitat beitragen, indem sie sinnvoll in die Netzwerkarchitektur oder den Trainingsprozess eingebettet werden. Bezüglich Shape Priors wird eine kaskadierte, faltungsbasierte Distanztransformation zur Formreprasentation vorgestellt, die direkt in beliebige Segmentierungsnetze integriert werden kann. Des Weiteren werden zwei Architekturen präsentiert, die auf imitierenden Encodern basieren. Diese nutzen die komprimierende Eigenschaft von Convolutional Autoencodern aus, um Forminformationen während des Trainings in das Netzwerk zu injizieren. Ihre Eignung fur die Anwendung in Cross-Modality und One-Shot Szenarien wird zudem demonstriert.

Weiterhin werden im Rahmen der Zero-Shot Domain Adaptation drei Strategien eingefuhrt, die formbasiertes Feature Learning forcieren, um den Domain Shift zu noch unbekannten Zieldomanen zu überwinden. Speziell werden Netzwerke durch Shape Priors nach Oktay et al.’s ACNN [OF+18] ergänzt, Konturinformationen durch Kantenhervorhebung stärker berücksichtigt und eine Featureabstraktion durch die Augmentierung von Farben erzwungen.

Zusätzlich wird eine neue Deep Learning Architektur vorgestellt, die kleine Strukturen mit starker Formvariabilität extrahiert, indem sie topographische Priors mithilfe von Multitask-Learning berücksichtigt. Ein ähnliches Verfahren, das ebenfalls topographisches Vorwissen nutzt, wird im Rahmen einer Exkursion zu schwach überwachten Detektionsverfahren zur Kariesidentifikation in Smartphonebildern vorgestellt.

Die Erkenntnisse bezüglich form- und topographiebasierten Deep Learning Architekturen werden in einer Applikationspipeline zusammengeführt, die sich mit der Projektion von nekrotischem Gewebe aus 3D MRT Volumen auf 2D Röntgenbilder befasst. In diesem Rahmen wird ein Verfahren zur Extraktion von Orientierungspunkten des Femurs vorgestellt, die in einer Evolution Strategy genutzt werden, um eine geeignete Projektion zu finden.

Die Dissertation wird mit einer kurzen Diskussion über Perspektiven und Einschränkungen der vorgestellten Verfahren für zukünftige Forschungsarbeiten abgeschlossen.