Time Synchronization in Multimodal Wireless Cyber-Physical Systems : A Wearable Biopotential Acquisition and Collaborative Brain-Computer Interface Paradigm

Die Forschung zu Brain-Computer Interface (BCI) hat in den letzten drei Jahren riesige Fortschritte gemacht, nicht nur im Bereich der menschlich gesteuerten Roboter, der Steuerung von Prothesen, des Interpretierens von Wörtern, der Kommunikation in einer Virtual Reality Umgebung oder der Computerspiele, sondern auch in der kognitiven Neurologie. Patienten, die unter enormen motorischen Dysfunktionen leiden (letztes Stadium Amyotrophe Lateralsklerose) könnten solch ein BCI System als alternatives Medium zur Kommunikation durch die eigene Gehirnaktivität nutzen. Neuste Studien zeigen, dass die Verwendung dieses BCI Systems in einem Gruppenexperiment helfen kann die menschliche Entscheidungstreffung deutlich zu verbessern. Dies ist ein neues Feld des BCI, nämlich das Collaborative BCI. Einerseits erfordert die Durchführung solch eines Gruppenexperiments drahtlose Hochleistungs-EEG Systeme, basierend auf BCI, welches kostengünstig und tragbar sein sollte und Langzeit-Monitoring hochwertiger EEG Daten sicherstellt. Andererseits ist es erforderlich, eine Zeitsynchronisierung zwischen den einzelnen BCI Systemen einzusetzen, damit diese für ein Gruppenexperiment zum Einsatz kommen können. Diese Herausforderungen setzten die Grundlage dieser Doktorarbeit. In dieser Arbeit wurde ein neuartiges, nicht invasives, modulares, biopotentiales Messsystem entwickelt: Dieses kann Breitband (0.5 Hz–150 Hz) Biopotentiale ableiten, bestehend aus Elektromyographie (EMG), Elektrokardiografie (EKG), Elektroencephalografie (EEG), wurde insgesamt bezeichnet als ExG bzw. das Messsystem als ExG-System benannt. Die Modularität des ExG-Systems erlaubt 8 bis hin zu 256 Kanäle zu konfigurieren, je nach Anforderung, ob in einen textilen Schlauch eingekapselt zur Erfassung von EMG Signalen, in eine textilen Weste zur Erfassung von ECG Signalen oder in eine textilen Kappe zur Erfassung von EEG Signalen. Der Einbau des ExG-Systems in eine Kappe wurde ebenfalls im Rahmen der Arbeit entwickelt. Der letzte Schritt des ExG-Systems zeigt niedriges Eingangsrauschen von 7 µVvon-Spitze-zu-Spitze und benötigt 41 mW/Kanal der Datenaufnahme im aktiven Zustand. Ein WiFi-Modul wurde für eine drahtlose Datenübertragung an einen ferngesteuerten PC in das ExG-System eingebaut. Um mit dem entwickelte System BCI Anwendungen zu ermöglichen, wurde ein akustisch und visuell evozierter Potenzialstimulator (SSVEP/AEP Stimulator) entwickelt. In eben diesem wurde ein Rasperry Pi als Zentralrechner benutzt und ein Bash basiertes Player-Skript iii einprogrammiert, das Mediadaten (Video, Audio, Ton) aus der Angabe einer Lookup Tabelle (LUT) in ihr Linux Betriebssystem spielt. Im Rahmen der Arbeit wurde eine Zeitsynchronisierung an einigen dieser ExG-Systeme mit Hilfe von einer eingebetteten Hardware/Softwarelösung durchgeführt. Die Hardwareteile bestehen aus einigen Leiterplatten, nämlich Sync Modulen mit einem Quarzoszillator, einem Mikrocontroller und einem Funkmodul (Hierbei Bluetooth 4.0). Eines von diesen ist das Sync-Addon, das mit jedem Messsystem (z.B. ExG-System) das zu synchronisieren ist, angeschlossen wird. Das andere bezeichnet man als Sync-Center, das an die Datenverarbeitungsrechner angehängt wird. Das Softwareteil übernimmt den Zeitsynchronisierungsmechanismus mit Hilfe eines funkbasierten Protokolls. Im Rahmen der Arbeit wurde ein neues energieeffizientes pairwise broadcast Zeitsynchronisationsprotokoll (PBS), welches nur theoretisch vorgestellt wurde, experimentell verifiziert. Außerdem wurde es mit anderen bestehenden Zeitsynchronisationsprotokollen auf dem aktuellen Stand der Technik evaluiert, basierend auf den Ergebnissen der gleichen Hardwareebene. In der letzten Iteration der Sync-Module wurde ein durchschnittlicher Synchronisationsfehler von 2 ms, den Konfidenzintervall von 95% berücksichtigend, erlangt. Da für Collaborative BCI, P300, ein Ereignis bezogenes Potenzial mit dem Auslöseimpuls, der 300−500 ms nach dem Vorgang eintritt, eingestellt wurde, ist die erreichte Synchronisationsgenauigkeit genügend, um solch ein Experiment durchzuführen.
Brain-computer interface (BCI) has experienced the last three decades tremendous technological advances not only in the field of human controller robotics, or in controlling prosthesis, or in spelling words, or in interacting with a virtual reality environment, or in gaming but also in cognitive neuroscience. Patients suffering from severe motoric dysfunction (e.g. late stage of Amyotrophic Lateral Sclerosis) may utilise such a BCI system as an alternative medium of communication by mental activity. Recently studies have shown that usage of such BCI in a group experiment can help to improve human decision making. This is a new field of BCI, namely collaborative BCI. On one hand, performing such group experiments require wireless, high density EEG system based BCI which should be low-cost, wearable and provide long time monitoring of good quality EEG data. On the other hand time synchronization is required to be established among a group of BCI systems if they are employed for such a group experiments. These drawbacks set the foundation of this thesis work. In this work a novel non-invasive modular biopotential measurement system which can acquire wideband (0.15 Hz–200 Hz) biopotential signals consisting Electromyography (EMG), Electrocardiography (ECG), Electroencephalography (EEG) together called ExG, following ExG-system was designed. The modularity of the ExG-system allows it to be configured from 8 up to 256 channels according to the requirement if it’s to be encapsulated in a textile sleeve for recording of EMG signals, or in a textile vest for recording of ECG signals, or in a textile cap for recording of EEG signals. The assembly of the ExG-system in cap was also developed during the scope of the work. The final iteration of the ExG-system exhibits low input noise of 7 µVpeak-to-peak and require 41 mW/channel of data recording in active state. A WiFi module was embedded into the ExG-system for wireless data transmission to a remote PC. To enable the developed system for BCI applications a steady-state visually/auditory evoked potential stimulator (SSVEP/AEP stimulator) incorporating a Raspberry Pi as a main computer and a bash based player script which plays media data (video, pictures, sound) as defined in a lookup table in the Linux operating system of it. Within the scope of the work time synchronization among a group of such ExG-systems was further realized with the help of an embedded hardware/software solution. The hardware part consists of two different PCB sync modules that are incorporated with a crystal oscillator a microcontroller, a radio module (in this case Bluetooth 4.0). One of them is called the v sync-addon which is to be attached to each of the measurement systems (e.g. ExG-system) that are to be synchronized and the sync-center which is to be attached to the remote PC. On the software part, a wireless time synchronization protocol exchanging timing information among the sync-center and sync-addons must establish tight time synchronization between the ExG-system. Within the framework of this work, a novel time synchronization protocol energy efficient pairwise broadcast synchronization protocol (PBS) that was only theoretically proposed before but not evaluated on real hardware was experimentally evaluated with the developed sync modules. Moreover a benchmarking with other state-of-the-art existing time synchronization protocols based on the results from same hardware platform were drawn. In the final iteration of sync modules an average synchronization error of 2 ms was achieved considering the 95% of confidence interval. Since for collaborative BCI, P300, an event related potential was triggered with the stimuli that occur 300−500 ms after the event, the achieved synchronization accuracy is sufficient to conduct such experiments.

Zitieren

Zitierform:
Zitierform konnte nicht geladen werden.

Rechte

Nutzung und Vervielfältigung:
Alle Rechte vorbehalten