AI-based Situation Awareness for Smart Environment
In this dissertation, we investigate the requirements for situation awareness applications and the selected existing situation awareness technologies, including pedestrians positioning, pedestrians traffic detection, pedestrians walking direction detection, pedestrians number counting, emergency detection, explosion detection, detection of calling for help, detection of seeking rescue. And we innovatively proposed a situation awareness system with a set of approaches and a mechanism that balances privacy protection and high-reliability detection. The system includes two layers which are the perception layer and the representation layer. The perception layer handles the data from the multi-mode sensors and perceives the situation of the environment. The representation layer receives the perception results from the perception layers and visualizes this information. The system considers the privacy protection requirement from the system architecture level, because the functions and the data or devices used by each layer can be controlled according to the level of crisis and the level of privacy. In the perception layer, the low-cost piezoelectric sensors, audio sensors, and cameras deployed in the environment are used according to the level of the crisis of the environment. Our piezoelectric sensors-based approach can detect if an emergency happens in the smart environment. The audio sensors or cameras are not allowed to turn on while there is no emergency. Only with piezoelectric sensors data, emergency detection, pedestrians number counting, pedestrian positioning, and pedestrians walking direction detection functions can be completed. If an emergency event is detected, the audio sensors and camera will turn on to confirm the credibility of the emergency. If indeed it is an emergency event, these additional sensors will increase the reliability of each detection function to support actions of responses to crises. In the representation layer, a 3D virtual environment is built to visualize the results of the perception layer. According to the crisis and privacy levels, the system can show pedestrians with anonymous synthetic images or real-time authentic camera images. The proposed system fulfills the requirements of both privacy protection and situation awareness functions.
In dieser Dissertation untersuchen wir die Anforderungen an Situational-AwarenessAnwendungen und ausgewählte existierende Technologien, einschließlich der Erkennung von Fußgängerverkehr, der Erkennung der Laufrichtung, Zählung und Positionierung von Fußgängern, sowie der Erkennung von Notfällen, Explosionen, Hilferufen und Rettungsaktionen. Wir schlagen ein innovatives Situationserkennungssystem mit einer Reihe von Ansätzen und einem Mechanismus vor, das den Schutz der Privatsphäre und eine hochzuverlässige Erkennung in Einklang bringt. Das System umfasst zwei Schichten: die Wahrnehmungsschicht und die Darstellungsschicht. Die Wahrnehmungsschicht verarbeitet die Daten der Multimode-Sensoren und nimmt die Umgebungssituation wahr. Die Darstellungsschicht empfängt die Ergebnisse der Wahrnehmungsschichten und visualisiert diese Informationen. Das System berucksichtigt die Anforderungen an den Schutz der Privatsphäre bereits in der Systemarchitektur, da die Funktionen und die Daten oder Geräte, die von den einzelnen Schichten verwendet werden, dem Grad der Krise und dem Grad der Privatsphäre angemessen gesteuert werden können. In der Wahrnehmungsschicht werden kostengünstige piezoelektrische Sensoren, Audiosensoren und Kameras, die in der Umgebung vorhanden sind, entsprechend der Schwere der Krise verwendet. Unser auf piezoelektrischen Sensoren basierender Ansatz kann erkennen, ob in der intelligenten Umgebung ein Notfall eintritt. Die Audiosensoren oder Kameras dürfen sich nicht einschalten, wenn kein Notfall vorliegt. Bereits mit den Daten der piezoelektrischen Sensoren können die Funktionen Notfallerkennung, Fußgängerzählung, Fußgängerpositionierung und Erkennung der Laufrichtung von Fußgängern ausgeführt werden. Wenn so ein Notfall erkannt wird, schalten sich die Audiosensoren und die Kamera ein, um das Vorhandensein des Notfalls zu bestätigen. Wenn es sich tatsächlich um einen Notfall handelt, erhöhen diese zusätzlichen Sensoren die Zuverlässigkeit der einzelnen Erkennungsfunktionen, um Maßnahmen zur Krisenbewältigung zu unterstützen. In der Darstellungsschicht wird eine virtuelle 3D-Umgebung aufgebaut, um die Ergebnisse der Wahrnehmungsebene zu visualisieren. Je nach Risiko und Datenschutzanforderungen kann das System Fußgänger als anonyme synthetische Bilder oder authentische Kamerabilder in Echtzeit zeigen. Das vorgeschlagene System erfüllt sowohl die Anforderungen an den Schutz der Privatsphäre als auch an Situational Awareness.