Effiziente Entwicklung von Augmented-Reality-Anwendungen für die industrielle Domäne : ein Ansatz zur vereinfachten, interdisziplinären Modellierung linearer Augmented-Reality-User-Interfaces
Die Technologie Augmented Reality (AR) ermöglicht die Erweiterung der physischen Realität und birgt ein enormes Potenzial in diversen Anwendungsdomänen. Dies zeigt sich insbesondere in industriellen Prozessen, wo AR bereits im gesamten Produktlebenszyklus eingesetzt wird und vorteilhafte Effekte, z. B. in der Wartung und Montage industrieller Objekte, offenbart. Die technologischen Charakteristika führen jedoch zu Herausforderungen, die sich in einem Entwicklungsprozess manifestieren, welcher durch eine komplexe Interaktionsmodellierung, fehlende etablierte Gestaltungsrichtlinien und eine erschwerte interdisziplinäre Kollaboration geprägt ist. Diese Herausforderungen potenzieren sich in industriellen Prozessen, welche weitere Anforderungen offenbaren, u. a. hinsichtlich der Beschaffenheit physischer Objekte sowie erschwerter bzw. unbeständiger Umgebungsvariablen. Im Rahmen der Dissertation werden diese Kernherausforderungen detailliert beleuchtet und Anforderungen an Lösungsansätze abgeleitet. Hieraus resultieren drei zentrale Lösungsartefakte, die diese identifizierten Anforderungen adressieren: Interaction Stories, das Design Pattern Modell und das Interdisziplinäre Prozessmodell.
Als zweites Lösungsartefakt wird das Design Pattern Modell als Sammlung von Gestaltungsrichtlinien zur Modellierung mobiler AR-UIs definiert. Die Auswahl, Analyse und Aggregation identifizierter Gestaltungsrichtlinien folgen einem iterativen Forschungsprozess, sodass ein finales Gestaltungsmodell auf Basis initialer Erkenntnisse formuliert wird. Das Design Pattern Modell umfasst Gestaltungsrichtlinien der Kategorien „Design“, „Interaction“, „Information“, „Support“ sowie „Cognition“ und adressiert somit Aspekte eines gesamten UI-Konzepts. Die Evaluation einer technischen Repräsentation des Gestaltungsmodells zeigte, dass die Berücksichtigung des Design Pattern Modells zu einer hohen Benutzungsfreundlichkeit führt.
Das Lösungsartefakt Interaction Stories ermöglicht eine sequenzielle Modellierung von AR-Anwendungen durch die Verknüpfung vordefinierter Interaktionen, daraus resultierender Aktionen sowie optionaler Vorbedingungen. Diese vereinfachte Definition linearer User Interfaces (UI) reduziert die technische Komplexität der Interaktionsmodellierung und befähigt UI-Designer:innen ohne explizite Programmierkenntnisse an dem AR-Entwicklungsprozess zu partizipieren. Ein empirischer Vergleich der technischen Repräsentation dieses Lösungsartefakts mit zwei identifizierten, kommerziellen Ansätzen zeigt positive Effekte der Interaction Stories gegenüber den Vergleichsobjekten. Diese offenbaren sich insbesondere in der Modellierung von AR-Kernfunktionalitäten, wie der markerbasierten Registrierung physischer Objekte, und führen zu einem korrekteren, schnelleren, belastungsärmeren sowie selbstwirksameren Modellierungsprozess.
Das dritte Lösungsartefakt adressiert die interdisziplinäre Kollaboration zwischen Akteur:innen des UI-Designs und der Softwareentwicklung. Hierzu wird das Interdisziplinäre Prozessmodell präsentiert, welches die spezifischen Prozessaktivitäten involvierter Beteiligter berücksichtigt und den Austausch modellierter Artefakte sowie Informationen realisiert. Dieses Prozessmodell umfasst das Design-Modul, welches die UI-Modellierung durch Interaction Stories abbildet, das Code-Modul, welches den aufbereiteten Quellcode der modellierten Artefakte bereitstellt, sowie das Collab-Modul, welches den gemeinsamen Austausch involvierter Beteiligter fördert, indem eine visuell aufbereitete Repräsentation modellierter Artefakte bereitgestellt wird. Das Interdisziplinäre Prozessmodell wurde in einem iterativen Forschungsprozess in drei verschiedenen empirischen Studien untersucht und geschärft. Dabei wurde die Eignung der generierten Artefakte nachgewiesen, welche vorteilhafte Effekte im Vergleich zu einem kommerziellen Ansatz zeigten.
Insgesamt können die in dieser Dissertation präsentierten Lösungsansätze zur nutzenden- und bedarfsgerechten Implementierung von AR-Anwendungen der industriellen Domäne herangezogen werden und stellen einen Vorteil gegenüber bisherigen Lösungen dar.
The Augmented Reality (AR) technology enables the enhancement of the physical world and has enormous potential in various application domains. The solution artifact Interaction Stories enables a sequential modeling of AR applications by linking predefined interactions, resulting actions and optional preconditions. As a second solution artifact, the Design Pattern Model is defined as a collection of design guidelines for modeling mobile AR UIs. The third solution artifact addresses interdisciplinary collaboration between UI designers and developers. Overall, the solution approaches presented and evaluated in this thesis are applicable for the user- and requirement-oriented implementation of AR applications in the indsturial domain and represent an advantage over previous commercial solutions.
This is particularly evident in industrial processes, where AR is already used across the entire product life cycle and reveals beneficial effects, e.g., in the maintenance and assembly of industrial objects.
However, the characteristics of the technology lead to challenges that become apparent in a development process that is characterized by complex interaction modelling, a lack of established design guidelines and hindered interdisciplinary collaboration.
These challenges are multiplied in the industrial domain, which reveals further requirements, e.g., with regard to the characteristics of physical objects and difficult or unstable environmental variables.
This thesis examines these core challenges in detail and derives requirements for solutions.
This results in three solution artifacts that address these identified requirements: Interaction Stories, the Design Pattern Model and the Interdisciplinary Process Model.
This simplified definition of linear user interfaces (UI) reduces the technical complexity of interaction modeling and enables UI designers without explicit programming knowledge to participate in the AR development process.
An empirical comparison of the technical representation of this solution artifact with two identified commercial approaches shows positive effects of Interaction Stories.
These are particularly evident in the modeling of core AR functionalities, such as the marker-based registration of physical objects, and lead to a more correct, faster, less stressful and more self-efficacious modeling process.
The selection, analysis and aggregation of identified design guidelines follow an iterative research process so that a final design model is formulated on the basis of initial findings.
The Design Pattern Model comprises design guidelines of the categories ''Design'', ''Interaction'', ''Information'', ''Support'' and ''Cognition'' and thus addresses aspects of an entire UI concept.
The evaluation of a technical representation of the design model showed that the consideration of the Design Pattern Model leads to a positive usability.
For this purpose, the Interdisciplinary Process Model is presented, which takes into account the specific process activities of involved actors and realizes the exchange of modeled artifacts and information.
This process model consists of the Design Module, which represents the UI modeling using Interaction Stories, the Code Module, which provides the prepared source code of modeled artifacts, and the Collab Module, which supports the collaborative exchange by providing a visually prepared representation of modeled artifacts.
The Interdisciplinary Process Model was evaluated in three different empirical studies and thus refined in an iterative research process.
The applicability of the generated artifacts was demonstrated, which showed advantageous effects compared to an commercial approach.