An Interaction Design for AI-enhanced Assistive Human-Robot Collaboration
The global population of individuals with motor impairments faces substantial challenges, including reduced mobility, social exclusion, and increased caregiver dependency. While advances in assistive technologies can augment human capabilities, independence, and overall well-being by alleviating caregiver fatigue and care receiver weariness, target user involvement regarding their needs and lived experiences in the ideation, development, and evaluation process is often neglected. Further, current interaction design concepts often prove unsatisfactory, posing challenges to user autonomy and system usability, hence resulting in additional stress for end users. Here, the advantages of Artificial Intelligence (AI) can enhance accessibility of assistive technology. As such, a notable research gap exists in the development and evaluation of interaction design concepts for AI-enhanced assistive robotics.
This thesis addresses the gap by streamlining the development and evaluation of shared control approaches while enhancing user integration through three key contributions. Firstly, it identifies user needs for assistive technologies and explores concepts related to robot motion intent communication. Secondly, it introduces the innovative shared control approach Adaptive DoF Mapping Control (ADMC), which generates mappings of a robot’s Degrees-of-Freedom (DoFs) based on situational Human-Robot Interaction (HRI) tasks and suggests them to users. Thirdly, it presents and evaluates the Extended Reality (XR) framework AdaptiX for in-silico development and evaluation of multi-modal interaction designs and feedback methods for shared control applications.
In contrast to existing goal-oriented shared control approaches, my work highlights the development of a novel concept that does not rely on computing trajectories for known movement goals. Instead of pre-determined goals, ADMC utilises its inherent rule engine – for example, a Convolutional Neural Network (CNN), the robot arm’s posture, and a colour-and-depth camera feed of the robot’s gripper surroundings. This approach facilitates a more flexible and situationally aware shared control system.
The evaluations within this thesis demonstrate that the ADMC approach significantly reduces task completion time, average number of necessary switches between DoF mappings, and perceived workload of users, compared to a non-adaptive input method utilising cardinal DoFs. Further, the effectiveness of AdaptiX for evaluations in-silico as well as real-world scenarios has been shown in one remote and two laboratory user studies.
The thesis emphasises the transformative impact of assistive technologies for individuals with motor impairments, stressing the importance of user-centred design and legible AI-enhanced shared control applications, as well as the benefits of in-silico testing. Further, it also outlines future research opportunities with a focus on refining communication methods, extending the application of approaches like ADMC, and enhancing tools like AdaptiX to accommodate diverse tasks and scenarios. Addressing these challenges can further advance AI-enhanced assistive robotics, promoting the full inclusion of individuals with physical impairments in social and professional spheres.
Menschen mit motorischen Beeinträchtigungen stehen vor großen Herausforderungen, einschließlich eingeschränkter Mobilität, sozialer Ausgrenzung und zunehmender Abhängigkeit von Betreuungspersonen. Assistive Technologien können die Mobilität und Unabhängigkeit der Betroffenen fördern und ihr allgemeines Wohlbefinden verbessern. Allerdings ist zu beobachten, dass die Einbeziehung der Zielgruppe in Bezug auf ihre Bedürfnisse während der Entwicklungs- und Evaluationsphase häufig vernachlässigt wird. Darüber hinaus erweisen sich aktuelle Konzepte des Interaktionsdesigns oft als unbefriedigend. Sie stellen Herausforderungen für die Autonomie der Zielgruppe und die Bedienbarkeit dar, was zu zusätzlichem Stress für die Betroffenen führt. Künstliche Intelligenz (KI) kann die Zugänglichkeit assistiver Technologien optimieren und verbessern, insbesondere durch den Einsatz von assistiver Mensch-Roboter-Kollaboration. Es besteht insoweit eine Forschungslücke in der Entwicklung und Evaluierung von Interaktionsdesignkonzepten für KI-unterstützte assistive Robotik.
Diese Arbeit adressiert diese Forschungslücke, indem sie die Entwicklung und Evaluierung von Ansätzen für KI-unterstützte assistive Robotik optimiert und die Integration der Zielgruppe durch drei wesentliche Punkte verbessert. Erstens werden die Bedürfnisse der Nutzenden von assistiven Technologien identifiziert und Konzepte für die Kommunikation geplanter Roboterbewegungen erforscht. Zweitens führt sie das innovative ADMC-Konzept für eine unterstützte Bedienung des Roboters ein. Dieses Konzept basiert auf der situationsspezifischen Erfüllung der an das Mensch-Roboter-Team gestellten Aufgaben durch die Generierung von Kombinationen von Roboter-Freiheitsgraden, die dem Bedienenden vorgeschlagen werden. Drittens wird das XR-Framework AdaptiX zur in-silico-Entwicklung und Evaluation von multimodalen Interaktionsdesigns und Feedbackmethoden für Anwendungen der KI-unterstützten Bedienung vorgestellt und evaluiert.
Im Gegensatz zu bestehenden Ansätzen wird in dieser Arbeit ein neuartiges Konzept entwickelt, das nicht auf der Berechnung von Bewegungen zu bereits bekannten Zielen basiert. Anstelle von vordefinierten Endpunkten verwendet ADMC seinen inhärenten Regelmechanismus – z.B. ein Convolutional Neural Network (CNN), die Ausrichtung des Roboterarms sowie ein Farb- und Tiefenbild der Umgebung. Dieser Ansatz ermöglicht ein flexibleres und situationsangepasstes System.
Die im Rahmen dieser Arbeit durchgeführten Studien zeigen, dass der ADMC-Ansatz die zur Aufgabenerfüllung benötigte Zeit, die durchschnittliche Anzahl der notwendigen Wechsel zwischen Freiheitsgradabbildungen und die wahrgenommene Arbeitsbelastung der Nutzenden signifikant reduziert. Dies wurde mit einer nicht-adaptiven Eingabemethode verglichen, welche rein kartesische Freiheitsgrade verwendet. Darüber hinaus wurde die Effizienz von AdaptiX für die Evaluierung sowohl in-silico als auch für Anwendungen in der realen Welt nachgewiesen.
Insgesamt wird der positive Einfluss von assistiven Technologien auf Menschen mit motorischen Beeinträchtigungen hervorgehoben. Auch die Bedeutung von nutzerzentriertem Design, verständlichem Verhalten KI-unterstützter Anwendungen und die Vorteile von in-silico-Tests werden betont. Darüber hinaus werden Forschungsmöglichkeiten skizziert, wobei der Schwerpunkt auf der Weiterentwicklung von Kommunikationsmethoden, Szenarien für ADMC und Werkzeugen wie AdaptiX liegt. Lösungen in diesem Bereich können die Entwicklung von KI-gestützter assistiver Robotik vorantreiben und die vollständige Integration von Menschen mit körperlichen Beeinträchtigungen in soziale und berufliche Bereiche fördern.