Situated and Semantics-Aware Mixed Reality
Computers moved from the basement onto the user's desk into their pocket and around their wrist. Not only did they physically converge to the user's space of action, but sensors such as CMOS, GPS, NFC, and LiDAR also began to provide access to the environment, thus situating them in the user's direct reality. However, the user and their computer exhibit fundamentally different perceptual processes, resulting in substantially different internal representations of reality.
Augmented and Mixed Reality systems, as the most advanced situated computing devices of today, are mostly centered around geometric representations of the world around them, such as planes, point clouds, or meshes. This way of thinking has proven useful in tackling classical problems including tracking or visual coherence. However, little attention has been directed toward a semantic and user-oriented understanding of the world and the specific situational parameters a user is facing. This is despite the fact that humans not only characterize their environment by geometries, but they also consider objects, the relationships between objects, their meanings, and the affordance of objects. Furthermore, humans observe other humans, how they interact with objects and other people, all together stimulating intent, desire, and behavior. The resulting gap between the human-perceived and the machine-perceived world impedes the computer's potential to seamlessly integrate with the user's reality. Instead, the computer continues to exist as a separate device, in its own reality, reliant on user input to align its functionality to the user's objectives.
This dissertation on Situated and Semantics-Aware Mixed Reality aims to get closer to Augmented and Mixed Reality experiences, applications, and interactions that address this gap and seamlessly blend with a user's space and mind. It aims to contribute to the integration of interactions and experiences with the physicality of the world based on creating an understanding of both the user and their environment in dynamic situations across space and time.
Method-wise, the research presented in this dissertation is concerned with the design, implementation, and evaluation of novel, distributed, semantics-aware, spatial, interactive systems, and, to this end, the application of state-of-the-art computer vision for scene reconstruction and understanding, together enabling Situated and Semantics-Aware Mixed Reality.
Computer sind vom Keller auf den Schreibtisch der Nutzer gelangt, von dort in ihre Tasche und bis hin um ihr Handgelenk. Sie haben sich jedoch nicht nur physisch praktischen Einsatzbereichen angenähert, vielmehr haben Sensoren wie CMOS, GPS, NFC, und LiDAR auch informationellen Zugang zur Umgebung ermöglicht, und sind somit auch im unmittelbar relevanten Realitätsauschnitt des Nutzers situiert. Jedoch weisen ein menschlicher Nutzer und ein digitaler Rechner fundamentale Unterschiede in ihrem Wahrnehmungsprozess auf, die in unterschiedlichen internen Repräsentationen des Realweltauschnitts resultieren.
Augmented-Reality- und Mixed-Reality-Systeme als die heute fortschrittlichsten Instanzen dessen, was in dieser Dissertation als Situated-Computing-Paradigma verstanden wird, sind vorrangig auf geometrische Repräsentationen der Welt ausgerichtet, etwa in Form von Ebenen, Punktwolken, oder Polygonnetzen. Diese konventionelle Betrachtungsweise hat sich als nützlich erwiesen um klassische Probleme der Disziplin zu bearbeiten, etwa zur Eigenbewegungsverfolgung oder der Herstellung visueller Kohärenz in Mixed-Reality-Systemen. Ein semantisches oder nutzerorientiertes Verständnis der Welt und deren situativer Parameter, denen sich ein Nutzer gegenübersieht, haben weit weniger Aufmerksamkeit in der Disziplin erfahren. Dies steht jedoch der Tatsache entgegen, dass Menschen ihre Umgebung nicht mittels Geometrien charakterisieren, sondern vielmehr mittels Objekten, der Beziehung zwischen Objekten, deren Bedeutungen und ihrer funktionalen Verwendbarkeit. Sie erkennen andere Menschen, wie andere Menschen mit Objekten und wieder anderen Menschen interagieren, und reagieren mit Gedanken, Absichten, und Verhalten. Die resultierende Diskrepanz zwischen der menschlich wahrgenommenen und der maschinell wahrgenommenen Welt mindert das Potenzial von Computern zur nahtlosen Integration in die Realität des Nutzers. Stattdessen verbleibt der Rechner in konzeptuell isolierter Existenz und Abhängigkeit expliziter Nutzereingaben, um seine Funktionalität mit den Zielen des Nutzers in Einklang zu bringen.
Die vorliegende Dissertation zu \emph{Situated and Semantics-Aware Mixed Reality} zielt darauf ab, diese Diskrepanz mittels Augmented- und Mixed-Reality-Experiences, -Anwendungen, und \nobreakdash-Interaktionen, die sich nahtlos in Raum und Geist des Nutzers einbetten, zu adressieren. Es wird angestrebt einen Beitrag zur Integration von Experiences und Interaktionen mit der Physikalität der nutzerumgebenden Welt zu leisten, indem ein maschinelles, gleichwohl semantisch verankertes Verständnis vom Nutzer und der Umgebung in räumlichen und zeitlichen Facetten erlangt wird.
Methodisch ist die dieser Dissertation zugrundeliegende Forschung im Entwurf, der Implementierung und der Evaluation neuartiger, verteilter, semantisch informierter, räumlicher, interaktiver Systeme konstituiert, wobei auf der Computer-Vision-Forschung zur Szenenrekonstruktion und -erfassung aufgebaut wird, um zusammengenommen der Vision von Situated and Semantics-Aware Mixed Reality näherzukommen.