Spezifikation von Gestensteuerung - Ein hybrider Ansatz

Die Interaktion zwischen Mensch und Maschine (engl. Human-Computer Interaction (HCI)) entwickelt sich mit hoher Geschwindigkeit weiter, insbesondere durch den Fortschritt in der Sensortechnologie. Vor allem Multi-Touch-Gesten sind in den vergangenen Jahren durch die Verbreitung mobiler Geräte und zahlreicher anderer Geräte (z. B. berührungsempfindliche Tische oder digitale Whiteboards) zum Standard avanciert und haben mittlerweile auch den Weg zurück in die klassische Welt des PCs geschafft. Neue Sensoren ermöglichen auch räumliche Gesten, die vor allem für Anwendungen im Bereich der virtuellen und augmentierten Realität interessant sind: Benutzer können direkt mit virtuellen Objekten interagieren oder Kommandos absetzen, indem sie ihre Hände, Finger oder Werkzeuge wie Magic Wands im dreidimensionalen Raum bewegen. HCI im Allgemeinen und Gestensteuerung im Besonderen sind außerdem Schlüsselfaktoren, um die individuelle Benutzererfahrung (engl. User Experience (UX)) zufriedenstellend zu gestalten. Benutzer erwarten Fehlerfreiheit und ein ansprechendes Design, aber auch ein gutes Gefühl – ein eher undefinierbares Merkmal, das abhängig ist von unterschiedlichen Faktoren, aber maßgeblich von HCI beeinflusst wird. Gestensteuerung ist somit wichtig für den wirtschaftlichen Erfolg einer Anwendung und muss bei der Entwicklung explizit betrachtet werden. Angedachte Gesten müssen korrekt definiert und zwischen den unterschiedlichen Projektbeteiligten kommuniziert werden. Gesten sind jedoch schwierig zu implementieren und Entwickler müssen unterschiedliche Entscheidungen treffen, die nicht ohne Weiteres rückgängig gemacht werden können: Passende Hardware zur definierten Interaktion ist ebenso nötig wie Sensoren, die die notwendigen Daten liefern, und Algorithmen, die in dem Strom der Eingaben die ausgeführten Gesten zuverlässig erkennen – eine komplexe und fehleranfällige Aufgabe. In der modernen Software-Entwicklung sind interdisziplinäre Teams und agile Methoden heute Standard, in denen die unterschiedlichen Projektbeteiligten – sowohl technische als auch fachliche Spezialisten – ihre jeweiligen Stärken ausspielen und kombinieren können. Skizzen und Prototypen spielen vor allem in frühen Phasen eines Projekts eine wichtige Rolle bei der Arbeit von UI-Designern und Software-Ingenieuren und sind insbesondere für die Entwicklung der Benutzerschnittstelle wichtig: Alle Projektbeteiligten können so schnell eine gemeinsame Vision der Anwendung aufbauen. Allerdings wird in Sketches und Prototypen die Interaktion nicht explizit definiert, sondern nur eine implizite Definition zur Verfügung gestellt, wodurch Missverständnisse und unterschiedliche Interpretationen möglich sind. Die Definition von Gesten ist jedoch wichtig, um die korrekten Entscheidungen für die Implementierung zu treffen, insbesondere wenn individuelle Gesten eingesetzt werden sollen. Die Grundlage der Gestenbeschreibung sind die unterschiedlichen Eigenschaften, die moderne Sensoren ermöglichen. Neben der Form einer Geste können auch weitere Informationen für HCI verwendet werden, z. B. die Geschwindigkeit oder der Ort der Ausführung. Allerdings kann die optimale Notationsform für verschiedene Eigenschaften unterschiedlich sein. Existierende Notationen zur Beschreibung von Gesten basieren meist auf entweder textuellen oder graphischen Elementen und lassen somit die Möglichkeiten außer Acht, die eine Kombination beider Paradigmen bietet. Diese Arbeit stellt GestureCards vor, eine hybride Notation zur Beschreibung von Gesten. GestureCards kombinieren graphische und textuelle Elementen, um die unterschiedlichen Eigenschaften von Gesten darzustellen. Die Notation soll zur Spezifikation von Gesten eingesetzt werden und ermöglicht die Beschreibung von Oberflächengesten und räumlichen Gesten. Die verschiedenen Aspekte, die bei der Entwicklung von GestureCards im Vordergrund standen, und die zugrundeliegenden Konzepte werden in mehreren Studien evaluiert. Die Studien zeigen, dass der hybride Ansatz, der für GestureCards gewählt wurde, vorteilhaft bei der Entwicklung gestenbasierter Anwendungen ist und Entwickler beim Verständnis definierter Gesten unterstützt.

Human-Computer Interaction (HCI) is evolving quickly with the recent advances in sensor technology. Especially multi-touch gestures are now common for interacting with mobile and various other devices (e.g. tabletops or wall-sized displays) and also made their way back to classic desktop computing. New sensor technology allows for spatial gestures that are particularly interesting in virtual and augmented reality applications: users can interact directly with virtual objects or issue commands by moving their hands, fingers, or tools like pens or magic wands in three-dimensional space. HCI in general and gestures in particular are also key factors shaping the individual User Experience (UX). Users expect flawlessness and a decent look but also a good feeling – a rather fuzzy feature depending on various aspects, but particularly affected by HCI. Gestures are therefore important for an application’s economic success and should be considered explicitly during development. Envisioned gestures must be defined properly and communicated between stakeholders. Unfortunately, gestures are also hard to implement and require several decisions that cannot be reverted easily: suitable hardware that matches the designed interaction, appropriate sensors providing the needed information, and reliable recognition algorithms to monitor and analyze the stream of incoming data encapsulating all information relevant to identify gestures – a complex and error-prone task. Software development nowadays involves cross-functional teams and agile methods, thus combining the strengths of technical and non-technical stakeholders. Sketching low-fidelity prototypes has been proven to be an important and highly valued activity in design and engineering disciplines, especially in early development stages, and is considered beneficial for UI design: it allows all stakeholders to quickly foster a common vision of the future application. However, sketches and prototypes typically do not explicitly define interaction, but provide an implicit definition, leaving room for misunderstandings and misconception. Gesture definition is thus important, especially when custom gestures are used, to ensure the right decisions. The foundation for gesture definition are the various traits that recent sensor technology makes possible. Besides the shape, different information can be used for HCI, e.g. execution speed or area. Unfortunately, the optimal notation for traits may differ. Existing gesture notations focus too narrowly on either textual or graphical elements and ignore the power of combining paradigms and describing different gesture traits with different notation styles. This thesis presents GestureCards, a hybrid gesture notation using textual and graphical elements to describe different traits. GestureCards are used to specify and document gestures and allow to describe multi-touch and spatial gestures. Various studies eliciting different aspects of GestureCards were used to evaluate the notation and the underlying concept. The studies show that GestureCardsh ́ybrid approach to gesture description is beneficial when creating gesture-based applications and supports developers in understanding defined gestures.

Zitieren

Zitierform:
Zitierform konnte nicht geladen werden.

Rechte

Nutzung und Vervielfältigung:
Alle Rechte vorbehalten