Non-invasive continuous blood pressure measurement using machine learning
Blood pressure is an important clinical parameter that is used to assess cardiovascular health. Deviations from the normal range can lead to severe organ damage and increased mortality, while sudden changes can indicate cardiovascular events. Therefore, a regular ambulatory blood pressure measurement as well as a reliable monitoring in clinical settings are essential for an accurate diagnosis and treatment of such cardiovascular diseases and events. However, the commonly used cuff-based measurement devices exhibit several limitations regarding accuracy, temporal resolution and measurement comfort.
Therefore, this thesis investigates new methods for camera-based beat-to-beat blood pressure monitoring. Such methods rely on the extraction of remote Photoplethysmogram (rPPG) signals from skin pixels of the video. To overcome illumination and movement artifacts as well as an insufficient Signal-to-Noise Ratio (SNR) for darker skin tones, various colour model transformations and rPPG extraction algorithms are evaluated with respect to the application for remote blood pressure measurement. The experiments show that Plane Orthogonal to Skin (POS) performs best under difficult measurement conditions and that considering skin pixels of the palm as opposed to the face significantly improves SNR for darker skin.
Moreover, a method based on hand-crafted rPPG features and a Random Forest Regression (RFR) model is proposed. To obtain a light-weight model and increase prediction accuracy, a Sequential Forward Selection (SFS) is performed. The prediction accuracy could be improved to an Mean Absolute Error (MAE) +/-Standard Deviation (SD) of 11.91 +/-9.66 mmHg for Systolic Blood Pressure (SBP) and 7.92 +/-6.02 mmHg for Diastolic Blood Pressure (DBP) on a wide range of blood pressure values outperforming comparable studies. An analysis of the feature selection results is provided to enhance model interpretability for medical applications and aid future developments.
Next, based on the ResNet-50 architecture, a more complex Convolutional Neural Network (CNN) is developed to automatically extract features from the raw rPPG signals. Due to the small size of the rPPG data set, the model is developed and pre-trained on the MIMIC III waveform data base. This Photoplethysmogram (PPG)-based beat-to-beat prediction method reaches an MAE +/-SD of 8.73 +/-7.36 mmHg for SBP and 8.07 +/-6.86 mmHg for DBP which is comparable to related studies that rely on longer PPG sections or an additional ECG signal.
Further analyses underline the potential of model personalisation and the importance of a balanced fine-tuning data set, since the results of personalisation strongly depend on the selected tuning data and is prone to overfitting when using sequential tuning samples. Therefore, different strategies are derived for balancing the tuning data set in real-world applications.
Finally, transfer-learning from the PPG domain to the rPPG domain is assessed and shows encouraging results on the rPPG data set with prediction errors close to the feature-based method.
Der Blutdruck ist ein wichtiger klinischer Vitalparameter, der häufig zur Beurteilung der kardiovaskulären Gesundheit herangezogen wird. Starke Abweichungen vom Normalbereich führen zu schweren Organschäden und erhöhter Sterblichkeit, und plötzliche Schwankungen können auf kardiovaskuläre Ereignisse hinweisen. Daher sind eine regelmäßige ambulante Blutdruckmessung sowie eine zuverlässige Überwachung im klinischen Umfeld für eine genaue Diagnose und Behandlung solcher Herz-Kreislauf-Erkrankungen unerlässlich. Die gemeinhin verwendeten, auf Blutdruckmanschetten basierenden Messsysteme weisen jedoch einige Einschränkungen hinsichtlich Genauigkeit, zeitlicher Auflösung und Messkomfort auf.
Daher werden in dieser Arbeit neue Methoden zur kamerabasierten Beat-to-Beat-Blutdruckmessung untersucht. Diese Methoden beruhen auf der Ableitung von kontaktlosen Photoplethysmogramm-Signalen (rPPG) aus Hautpixeln des Videos. Um Beleuchtungs- und Bewegungsartefakte zu reduzieren sowie ein unzureichendes Signal-zu-Rausch-Verhältnis für dunklere Hauttöne zu beheben, werden verschiedene Farbmodelltransformationen und rPPG-Extraktionsalgorithmen hinsichtlich der Anwendung zur kontaktlosen Blutdruckmessung evaluiert. Die Experimente zeigen, dass POS unter schwierigen Messbedingungen am besten abschneidet und dass die Berücksichtigung von Hautpixeln der Handfläche im Gegensatz zu denen des Gesichts das SNR für dunklere Haut deutlich verbessert.
Außerdem wird eine Methode entwickelt, die auf manuell definierten rPPG-Merkmalen und einem Random-Forest-Modell basiert. Um ein leichtgewichtiges Modell zu erhalten und die Vorhersagegenauigkeit zu erhöhen, wird ein sequentielle Merkmalsselektion durchgeführt. Die Vorhersagegenauigkeit konnte auf einen MAE +/-SD von 11,91 +/-9,66 mmHg für systolischen Blutdruck und 7,92 +/-6,02 mmHg für diastolischen Blutdruck verbessert werden und übertrifft damit die Ergebnisse vergleichbarer Studien. Zusätzlich wird eine Analyse der Ergebnisse der Merkmalsauswahl durchgeführt, um die Interpretierbarkeit des Modells für medizinische Anwendungen zu verbessern und zukünftige Entwicklungen zu unterstützen.
Anschließend wird auf Grundlage der ResNet-50-Architektur ein komplexeres Faltungsnetzwerk entwickelt, um automatisch Merkmale aus den rohen rPPG-Signalen zu extrahieren. Aufgrund der geringen Größe des rPPG-Datensatzes wird das Modell auf der MIMIC-III-Signaldatenbank entwickelt und vortrainiert. Diese PPG-basierte Beat-to-Beat-Prädiktion erreicht einen MAE +/-SD von 8,73 +/-7,36 mmHg für systolischen Blutdruck und 8,07 +/-6,86 mmHg für diastolischen Blutdruck, was vergleichbar ist mit verwandten Studien, die auf längere PPG-Abschnitte oder eine zusätzliches EKG-Signal angewiesen sind.
Weitere Analysen belegen das Potenzial der Modellpersonalisierung und die Relevanz eines ausgeglichenen Finetuning-Datensatzes: So sind die Ergebnisse der Personalisierung stark von den ausgewählten Tuning-Daten abhängig und bei der Verwendung sequenzieller Tuning-Samples zeigt sich eine hohe Anfälligkeit für eine Überanpassung des Modells. Daher werden verschiedene Strategien für einen ausgeglichenen Finetuning-Datensatz in realen Anwendungen abgeleitet.
Eine abschließende Bewertung des Transfer-Lernens von der PPG-Domäne auf die rPPG-Domäne zeigt vielversprechende Ergebnisse auf dem rPPG-Datensatz mit Vorhersagefehlern, die nahe an denen der merkmalsbasierten Methode liegen.