Data driven-based human reliability analysis for individualized human supervision and reliability evaluation in situated context

Human factor-related accidents account for an increasing portion of the total accidents through the advancing level of system automation. Human reliability becomes the key issue in human-machine systems especially for  safety-relevant tasks and operations.

Various human reliability analysis (HRA) methods to systematically incorporate for the analysis, prediction, and prevention of human errors have been developed. Three fundamental gaps in the existing HRA methods can be stated: i) the lack of possibilities of gathering relevant site data in human-in-loop related industry, ii) the missing consideration of dynamic human reliability in situated context, and iii) the deep reliance on expert knowledge in evaluation process. Human operator's reliability in dynamic context is the focus of this thesis, therefore without loss of generality human drivers in dynamically changing situations are used as example case due to easy comprehensibility. With the development of human driver behavior monitoring in dynamic driving context, driving behavior data are generated and could be used for HRA.

In this thesis, the modified CREAM (cognitive reliability and error analysis method) approach is applied for the evaluation of human driver performance. To reduce the reliance on expert knowledge, the performance levels in the modified CREAM approach are determined by automated data clustering. Three data clustering approaches including FN-DBSCAN (fuzzy neighborhood density-based spatial clustering of application with noise), CLUSTERDB*, and GMFPE (genetic-based membership function parameter estimation) are applied to driving data defining the membership function parameters which are corresponding to the performance levels in the modified CREAM approach. As result a new approach addressing dynamically aspects for human reliability is developed. The concept and the design of a new evaluation of human performance reliability score (HPRS) as a function of time is proposed for the quantitative and dynamic evaluation of individualized human performance. The HPRS results with different clustering approaches for the same time period are compared.

To detect and evaluate the critical behaviors in situated driving, the quantification of human behavior levels needs to be proposed.  
Rasmussen's SRK (skill-rule-knowledge) model is well known in the field of human factors. Likewise, it is well known that skill-based behaviors have the highest human reliability, while knowledge-based behaviors are associated with the lowest reliability scores. Although numerous studies exist on human error probability (HEP), correspondingly typically attributed directly or indirectly to these three levels of behavior, a coherent, consistent representation, especially using data sources, has not been available. In this thesis, the quantification of human behavior levels with Rasmussen's SRK model is given based on three databases.
Effects of time pressure and training on human reliability switching are also analyzed based on related publications. 

To determine the HEP of these three levels, three databases, technique for human error rate prediction (THERP), Savannah river site human reliability analysis (SRS-HRA) and nuclear action reliability assessment (NARA), from human reliability analysis (HRA) methods are used. The procedure contains identifying the tasks including the operator involved and the assumptions the analysts made and classifying the tasks into suitable cognitive behavior mode (CBM). In this case, the relationship between SRK levels and HEP is mapped. The effects of the two in automation context very relevant performance shaping factors (PSFs), time pressure and training/knowledge degradation, on human behavior levels switching are analyzed and the explanations of the SRK switching are presented. In this case, a more general structure is established to illustrate the dynamic behavior of levels switching with six directions under different conditions. From the results we conclude that skill, rule, and knowledge behavior levels are continuous in terms of HEP and therefore allow a new inside into this key aspect of human factor quantification. Based on this analysis the consequences of daily automation in the context of autonomous transport systems in combination with human qualification and reliability degrading is from this specific and in the current automation discussion very intensively discussed. 

 The proposed approach will allow future automation systems including warning, assistance, or situated switch over to fully automated control to be established for the avoidance of human errors. Meanwhile, the presented discussion linking SRK levels and HEP gives a new perspective on the foreseeable consequences of further automation in application areas with increasing automation of everyday tasks (like using a highly automated vehicle). 

Durch die fortschreitende Automatisierung in der Industrie sinkt die Zahl der Unfälle, jedoch steigt die Anteil der Unfälle, die auf den menschlichen Faktor zurückzuführen sind am Gesamtunfallgeschehen. Die Zuverlässigkeit des Menschen wird zur Schlüsselfrage in Mensch-Maschine-Systemen, insbesondere bei sicherheitsrelevanten Aufgaben und Operationen.

Es wurden verschiedene Methoden der menschlichen Zuverlässigkeitsanalyse (Human Reliability Analysis, HRA) entwickelt, die systematisch zur Analyse, Vorhersage und Vorbeugung von menschlichen Fehlern eingesetzt werden können.
Es lassen sich drei grundlegende Lücken in den bestehenden HRA-Methoden feststellen: i) das Fehlen von Möglichkeiten zur Erhebung relevanter Daten in der Human-in-Loop-Branche, ii) die fehlende Berücksichtigung der dynamischen menschlichen Zuverlässigkeit im situierten Kontext und iii) die starke Abhängigkeit von Expertenwissen im Bewertungsprozess. Die Zuverlässigkeit des menschlichen Fahrers im dynamischen Kontext steht im Mittelpunkt dieser Arbeit, daher werden ohne Einfluss auf die Verallgemeinerbarkeit menschliche Fahrer in sich dynamisch verändernden Situationen aufgrund der leichten Verständlichkeit als Beispiel verwendet. Mit der Entwicklung der Überwachung des menschlichen Fahrerverhaltens im dynamischen Fahrkontext werden Fahrverhaltensdaten generiert, die für die HRA genutzt werden können. 

In dieser Arbeit wird der modifizierte CREAM-Ansatz (Cognitive Reliability and Error Analysis Method) zur Bewertung der menschlichen Fahrleistung angewendet. Um die Abhängigkeit von Expertenwissen zu verringern, werden die Leistungsstufen im modifizierten CREAM-Ansatz durch automatisches Clustering der Daten bestimmt. Drei Daten-Clustering-Ansätze, darunter FN-DBSCAN (Fuzzy neighborhood density-based spatial clustering of application with noise), CLUSTERDB* und GMFPE (genetic-based membership function parameter estimation), werden auf Fahrdaten angewandt, um die Parameter der Zugehörigkeitsfunktionen zu definieren, die den Leistungsstufen im modifizierten CREAM-Ansatz entsprechen. Als Ergebnis wird ein neuer Ansatz entwickelt, der die dynamischen Aspekte der menschlichen Zuverlässigkeit berücksichtigt. Das Konzept und der Entwurf einer neuen Bewertung als Human Performance Reliability Score (HPRS) als Funktion der Zeit wird für die quantitative und dynamische Bewertung der individuellen menschlichen Leistung vorgeschlagen. Die HPRS-Ergebnisse mit verschiedenen Clustering-Ansätzen werden für denselben Zeitraum verglichen. 

Um die kritischen Verhaltensweisen beim situierten Fahren zu erkennen und zu bewerten, muss eine Quantifizierung der menschlichen Verhaltensebenen vorgeschlagen werden. Dies ist vor allem daher wichtig, da die Fahrzeugautomatisierung im Fall der Übernahme der Fahrzeugführung sowohl auf untrainierte Personen trifft wie auch die Personen dann unter Zeitdruck handeln müssen. Das SRK-Modell (Skill-Rule-Knowledge) von Rasmussen ist im Bereich der menschlichen Faktoren sehr bekannt. Ebenso ist bekannt, dass auf Fähigkeiten basierende Verhaltensweisen die höchste menschliche Zuverlässigkeit aufweisen, während wissensbasierte Verhaltensweisen mit den niedrigsten Zuverlässigkeitswerten verbunden sind. Zwar gibt es zahlreiche Studien zur menschlichen Fehlerwahrscheinlichkeit (HEP), die in der Regel direkt oder indirekt auf diese drei Verhaltensebenen zurückgeführt werden, aber eine kohärente, konsistente Darstellung, insbesondere unter Verwendung von Datenquellen, ist bisher nicht verfügbar. In dieser Arbeit wird die Quantifizierung menschlicher Verhaltensebenen mit dem SRK-Modell von Rasmussen anhand von drei Datenbanken vorgenommen. Die Auswirkungen von Zeitdruck und Training auf die menschliche Zuverlässigkeitsvermittlung werden ebenfalls auf der Grundlage einschlägiger Veröffentlichungen analysiert.  

Zur Bestimmung des HEP dieser drei Ebenen werden drei Datenbanken, die Technik zur Vorhersage der menschlichen Fehlerrate (THERP), die Savannah River Site Human Reliability Analysis (SRS-HRA) und die Nuclear Action Reliability Assessment (NARA), aus den Methoden der Human Reliability Analysis (HRA) verwendet. Das Verfahren umfasst die Identifizierung der Aufgaben einschließlich des beteiligten Bedieners und der von den Analysten getroffenen Annahmen sowie die Einordnung der Aufgaben in den geeigneten kognitiven Verhaltensmodus (CBM). In diesem Fall wird die Beziehung zwischen SRK-Niveau und menschlicher Fehlerwahrscheinlichkeit (HEP) abgebildet. Die Auswirkungen der beiden im Automatisierungskontext sehr relevanten Performance Shaping Factors (PSFs), Zeitdruck und Trainings-/Wissensabbau, auf das menschliche Verhalten beim Schalten werden analysiert und die Erklärungen für das SRK-Schalten vorgestellt. In diesem Fall wird eine allgemeinere Struktur erstellt, um das dynamische Verhalten von Ebenen zu veranschaulichen, die unter verschiedenen Bedingungen in sechs Richtungen schalten. Aus den Ergebnissen schließen wir, dass die Ebenen der Fähigkeiten, Regeln und des Wissensverhaltens in Bezug auf HEP kontinuierlich sind und daher einen neuen Einblick in diesen Schlüsselaspekt der Quantifizierung menschlicher Faktoren ermöglichen. Basierend auf dieser Analyse werden die Folgen der Alltagsautomatisierung im Kontext autonomer Verkehrssysteme in Kombination mit menschlicher Qualifikation und Zuverlässigkeitsverschlechterung aus dieser spezifischen und in der aktuellen Automatisierungsdiskussion sehr intensiv diskutiert.  

 Der vorgeschlagene Ansatz wird es ermöglichen, künftige Automatisierungssysteme mit Warnung, Unterstützung oder Umschaltung auf vollautomatische Steuerung zu etablieren, um menschliche Fehler zu vermeiden. Die vorgestellte Diskussion über die Verknüpfung von SRK-Ebenen und HEP bietet eine neue Perspektive auf die absehbaren Folgen einer weiteren Automatisierung in Anwendungsbereichen mit zunehmender Automatisierung alltäglicher Aufgaben (z. B. bei der Nutzung eines hochautomatisierten Fahrzeugs).  

Preview

Cite

Citation style:
Could not load citation form.

Rights

Use and reproduction:
This work may be used under a
CC BY 4.0 LogoCreative Commons Attribution 4.0 License (CC BY 4.0)
.