Kommunikations- und Aggregationsmethoden für das föderale Lernen
Die Popularität und Fortschritte im maschinellen Lernen (ML) der letzten Jahrzehnte basieren maßgeblich auf den umfangreichen und diversen Datenmengen, die durch die Vernetzung unterschiedlicher Datenquellen über das Internet entstehen. Nach Angaben der Internationalen Datengesellschaft werden im Jahr 2025 weltweit 170 Zettabytes an Daten generiert, wovon etwa 45 % durch Geräte des Internets der Dinge (IoT) erzeugt werden, wobei die Zahl der IoT-Geräte bis 2030 auf über 29 Milliarden ansteigen soll. Dieser Trend hat die Entwicklung von ML-gestützten IoT-Geräten wie Sprachassistenz- oder Überwachungssystemen ermöglicht, die den Alltag der Menschen erleichtern können. Bei diesen Anwendungen wird das ML jedoch in der Cloud ausgeführt, was durch die Übertragung sensibler Daten zu einer Verletzung der Privatsphäre führen kann. Dies kann zu Einschränkungen sowohl in den Anwendungsbereichen als auch bei der Datenerfassung führen, was wiederum in nicht generischen ML-Modellen resultieren kann. Eine Alternative besteht darin das ML auf ressourcenbeschränkten Geräten durchzuführen, was auch als TinyML bezeichnet wird. Aufgrund von Speicherlimitierungen der ressourcenbeschränkten Geräte ist es jedoch nicht möglich, große und vielfältige Datensätze auf ihnen zu trainieren. Daher ist eine globale Speicherung der Trainingsdaten und Durchführung des Trainings erforderlich, was dazu führt, dass sensible Daten, z. B. medizinische Daten, von Anwendern geteilt werden müssen. Um diesen Herausforderungen zu begegnen, wurde das föderale Lernen (FL) entwickelt, bei dem ein ML-Modell kollaborativ trainiert wird, ohne die Rohdaten der Anwender zu versenden. Stattdessen werden die ML-Modelle der Geräte versendet und in einer zentralen Einheit aggregiert, wodurch eine Abhängigkeit von dieser entsteht. Die Verwendung einer zentralen Einheit kann jedoch zu schlechterer Skalierbarkeit und hohen Kommunikationskosten führen. Um diese Abhängigkeit aufzulösen, entstand das dezentrale föderale Lernen (DFL), bei dem keine zentrale Einheit existiert und die Aggregation sowie Orchestrierung von den teilnehmenden Geräten erfolgt. Jedoch wird bei der Verwendung von DFL die Genauigkeit der ML-Modelle durch eine heterogene Datenverteilung stärker verringert und erfordert daher angepasste Kommunikations- und Aggregationsmethoden. Zudem liegen keine Untersuchungen und Methoden zum DFL vor, die ausschließlich die Verwendung jener Teilmenge von IoT-Geräten berücksichtigen, die ressourcenbeschränkte Geräte sind. Daher werden in dieser Arbeit Kommunikationsarchitekturen und Aggregationsmethoden für die Verwendung in ressourcenbeschränkten Systemen vorgestellt und empirisch untersucht.
Insgesamt werden in dieser Arbeit vier Kommunikationsarchitekturen zur Reduzierung der Datenübertragung und drei Aggregationsmethoden zur Steigerung der Genauigkeit präsentiert. Damit wird die Basis für DFL mit ressourcenbeschränkten Geräten geschaffen und eine Vielzahl von Anwendungen erschließbar gemacht, bei denen bisher ein lokales Training aufgrund von Speicherlimitierungen oder fehlender großer und vielfältiger Datenmengen zum Schutz der Privatsphäre nicht möglich waren. Hierbei werden Evaluierungen sowohl für das FL als auch für das DFL in Simulationen und in realen Untersuchungen auf ressourcenbeschränkten Mikrocontrollern mit bekannten Datensätzen aus der Literatur durchgeführt. Die durchgeführten Analysen verdeutlichen, dass die Implementierung der in dieser Arbeit konzipierten Methoden auf Mikrocontrollern zu einer signifikanten Reduzierung der Datenübertragung führt. Diese Reduktion ist insbesondere im direkten Vergleich mit der State-of-the-Art-Methode des segmentierten Gossip-Ansatzes (SGA) zu beobachten. Mit der in dieser Arbeit entwickelten Methode der stochastischen Modellübertragung, kombiniert mit Modellsegmentierung, Modellkomprimierung und asynchroner Aggregation, verringert sich die Datenübertragung um bis zu 75 % gegenüber dem SGA. Zusätzlich lässt sich die Genauigkeit der Methode durch die Kombination mit einer entwickelten adaptiven Lernratenanpassung um 30 % steigern, was einer Genauigkeitssteigerung um bis zu 14 % gegenüber SGA entspricht.
The basis for the popularity and improvement of machine learning (ML) in recent decades has been made possible primarily by the large and diverse amounts of data generated by the interconnection of different data sources over the internet. According to the International Data Society, 170 zettabytes of data will be generated worldwide in 2025, of which around 45 % will be generated by Internet of Things (IoT) devices, with the number of IoT devices expected to rise to over 29 billion by 2030. This trend has enabled the development of ML-supported IoT devices, such as voice assistance or monitoring systems, that can simplify people's daily lives. However, in these applications, ML is performed in the cloud, which can violate privacy due to the transmission of sensitive data. Insufficient data privacy can lead to restrictions in the application and collection of data, which in turn can result in non-generic ML models. An alternative is to run ML on resource-constrained devices, also known as TinyML. However, due to the memory limitations of resource-constrained devices, training large and diverse datasets on them is not viable. Therefore, global storage of the training data and execution of the training is necessary, which results in sensitive data, e.g., medical data, being shared by users. To address these challenges, federated learning (FL) was developed, where a ML model is trained collaboratively without sending the users' raw data. Instead, the ML models of the devices are sent and aggregated in a central unit, creating a dependency on it. However, using a central unit can lead to poor scalability and high communication costs. Therefore, decentralized federated learning (DFL), where the devices are involved in aggregation and orchestration, was developed to resolve this dependency. However, when using DFL, the accuracy of the ML models is significantly reduced due to heterogeneous data distribution and it therefore requires adapted communication and aggregation methods. In addition, no existing studies and methods are applied to DFL that exclusively consider the use of the subset of IoT devices that are resource-constrained devices. Therefore, this thesis presents and empirically investigates communication architectures and aggregation methods for resource-constrained systems.
This thesis presents four communication architectures to reduce data transmission and three aggregation methods to increase accuracy. This creates a basis for DFL with resource-constrained devices and increases accessibility for various applications, where local training was previously not possible due to memory limitations or the lack of large and diverse amounts of data as a result of data privacy concerns. The thesis evaluates both FL and DFL in simulations and on resource-constrained microcontrollers with known data sets from literature. Using microcontrollers, it is shown that the methods proposed in this thesis significantly reduce data transmission compared to the state-of-the-art segmented gossip approach (SGA). The stochastic model transmission method developed in this thesis, combined with model segmentation, model compression, and asynchronous aggregation, reduces data transmission by up to 75 % compared to SGA. In addition, the accuracy of the method could be increased by 30 % by combining it with a developed adaptive learning rate adaptation, which translates into an accuracy increase of 14 % compared to SGA.