How far can we get with just visual information? Path integration and spatial updating studies in Virtual Reality

Abstract

How do we find our way around in everyday life? In real world situations, it typically takes a considerable amount of time to get completely lost. In most Virtual Reality (VR) applications, however, users are quickly lost after only a few simulated turns. This happens even though many recent VR applications are already quite compelling and look convincing at first glance. So what is missing in those simulated spaces? That is, what sensory information is essential for accurate, effortless, and robust spatial orientation? In this thesis, these and related questions were approached by performing a series of spatial orientation experiments in various VR setups as well as in the real world.

A first series of experiments (part II) investigated the usability of purely visual cues, with particular focus on optic flow, for basic navigation and spatial orientation tasks. Participants had to execute turns, reproduce distances or perform triangle completion tasks. Most experiments were performed in a simulated 3D field of blobs, thus restricting navigation strategies to path integration based on optic flow. For our experimental setup (half-cylindrical 180x50 deg. projection screen), optic flow information alone proved to be sufficient for untrained participants to perform turns and reproduce distances with negligible systematic errors, irrespective of movement velocity. Path integration by optic flow was sufficient for homing by triangle completion, but homing distances were biased towards the mean response. Mental spatial ability test scores correlated positively with homing performance especially for the more complex triangle completion tasks, suggesting that mental spatial abilities might be a determining factor for navigation performance. In summary, visual path integration without any vestibular or kinesthetic cues can be sufficient for elementary navigation tasks like rotations, translations, and triangle completion.

A second series of experiments (part III) investigated the influence and interaction of visual and vestibular stimulus parameters for robust and intuitive spatial orientation ("spatial updating") in real and virtual environments. After real and/or visually simulated ego-turns, participants were asked to accurately and quickly point towards different previously-learned target objects that were currently not visible. The rapid egocentric response ensured that participants could not solve the task cognitively. Unpredicted by the literature, visual cues alone proved sufficient for excellent automatic spatial updating performance even without any vestibular motion cues. Furthermore, participants were virtually unable to ignore or suppress the visual stimulus even when explicitly asked to do so. This indicates that the visual cues alone were even sufficient to evoke reflex-like "obligatory spatial updating". Comparing performance in the real environment and a photorealistic virtual replica revealed similar performance as long as the field of view was the same. This highlights the power and flexibility of using highly photorealistic virtual environments for investigating human spatial orientation and spatial cognition. It furthermore validates our VR-based experimental paradigm, and suggests the transferability of results obtained in this VR setup to comparable real world tasks. From a number of additional parameters investigated, only the field of view and the availability of landmarks had a consistent influence on spatial updating performance. Unexpectedly, motion parameters did not show any clear influence.

Modeling spatial orientation processes in a comprehensive framework based on logical propositions (part IV) allowed for a deeper understanding of the underlying mechanisms in both our experiments and experiments from the literature. Furthermore, the logical structure of the framework suggests novel ways of quantifying spatial updating and "spatial presence" (which can be seen as the consistent feeling of being in a specific spatial context, and intuitively knowing where one is with respect to the immediate surround). In particular, it allows the disambiguation between two complementary types of automatic spatial updating found in our experiments: On the one hand, the well-known "continuous spatial updating" induced by continuous movement information. On the other hand, a novel type of discontinuous, teleport-like "instantaneous spatial updating" that allowed participants to quickly adopt the reference frame of a new location without any explicit motion cues, just by presenting a novel view from a different viewpoint. Last but not least, the framework suggested novel experiments and experimental paradigms and was used to generate new hypotheses and testable predictions.

Wie finden wir uns tagtäglich in unserer Umgebung zurecht? In realen Umgebungen dauert es relativ lange bis wir komplett die Orientierung verloren haben. In den immer häufiger verwendeten virtuellen Umgebungen (VU) hingegen finden sich Benutzer oft schon nach wenigen simulierten Drehungen nicht mehr zurecht, auch wenn diese VU auf den ersten Blick bereits überzeugend und realistisch aussehen. Was also fehlt diesen simulierten Umgebungen? Anders gefragt, welche Sinnesinformationen sind essentiell für genaue, mühelose, und robuste Raumorientierung? Diese und andere offene Fragen waren Untersuchungsgegenstand dieser Arbeit.

Eine erste Serie von Experimenten (Teil II) untersuchte die Verwendbarkeit rein visueller Stimuli und insbesondere optischen Flusses für grundlegende Navigations- und Raumorientierungsaufgaben. Versuchspersonen sollten dabei simulierte Drehungen ausführen, zurückgelegte Distanzen reproduzieren und Dreiecksvervollständigungsaufgaben durchführen. Die meisten Experimente wurden in einer simulierten 3D Punktewolke durchgeführt, wodurch mögliche Navigationsstrategien auf Pfadintegration anhand optischen Flusses eingeschränkt wurden. Untrainierte Versuchspersonen konnten in der verwendeten Versuchsumgebung (eine halbzylidrische 180x50 Grad Projektionsleinwand) allein mit Hilfe optischen Flusses Drehungen ausführen und Distanzen reproduzieren. Ihre systematischen Fehler waren dabei vernachlässigbar und unabhängig von der Bewegungsgeschwindigkeit. Pfadintegration basierend auf optischem Fluss erlaubte zudem Dreiecksvervollständigung; die Distanzantworten waren jedoch zum Mittelwert hin verschoben. Unter Verwendung eines VR-Aufbaus mit einer halbzylindrischen 180° Leinwand konnten wir somit zeigen, dass visuelle Pfadintegration ohne zugehörige vestibuläre oder kinästhetische Reize für elementare Navigationsaufgaben wie Rotationen, Translationen, und Heimfinden nach Dreiecksexkursion prinzipiell ausreichen kann.

Eine zweite Experimentserie (Teil III) untersuchte Einfluss und Wechselwirkung visueller und vestibulärer Reizparameter für robuste und intuitive Raumorientierung ("spatial updating") in realen und virtuellen Umgebungen. Nach realen und/oder visuell simulierten Eigendrehungen sollten die Versuchspersonen möglichst genau und schnell auf verschiedene zuvor gelernte Zielobjekte zeigen, die gerade nicht sichtbar waren. Durch die schnelle egozentrische Bewegungsantwort wurde vermieden, dass die Aufgabe abstrakt-kognitiv gelöst werden konnte. Entgegen den Vorhersagen der Literatur erwiesen sich die visuellen Stimuli als ausreichend für ausgezeichnetes automatisches spatial updating, selbst ohne jegliche vestibuläre Bewegungsreize. Zudem konnten Versuchspersonen den visuellen Stimulus praktisch nicht ignorieren oder unterdrücken, auch wenn sie ausdrücklich dazu instruiert wurden. Vergleiche zwischen spatial updating in einer realen Umgebung und ihrem virtuellen Pendant ergaben vergleichbare Leistungen, solange das visuelle Gesichtsfeld gleich groß war. Dies zeigt das Potential und die Flexibilität der Verwendung photorealistischer virtueller Umgebungen bei der Untersuchung der menschlichen Raumorientierung und Raumkognition. Zudem validiert es unser VR-basiertes experimentelles Paradigma und lässt vermuten, dass sich die in diesem Versuchsaufbau gefundenen Ergebnisse auf entsprechende reale Situationen übertragen lassen. Von den weiteren untersuchten Parametern hatten lediglich das visuelle Gesichtsfeld und die Landmarken einen konsistenten Einfluss auf die spatial updating Leistung.

In Teil IV wurden die beteiligten Raumorientierungsprozesse theoretisch modelliert. Das resultierende Modell basiert auf logischen Verknüpfungen und ermöglicht dadurch ein tieferes Verständnis der zugrunde liegenden Mechanismen in unseren Experimenten als auch Experimenten der Literatur. Zudem ließen sich aus den logischen Verknüpfungen des Modells neuartige Methoden zur Quantifizierung von spatial updating und "spatial presence" ableiten. Insbesondere konnte so klarer zwischen zwei komplementären Arten von automatischem spatial updating unterschieden werden, die in unseren Experimenten beobachtet wurden: Einerseits das bekannte "kontinuierliche spatial updating", welches durch kontinuierliche Bewegungsstimuli ausgelöst wird; andererseits eine neue Art von diskontinuierlichem, Teleport-artigem, "augenblicklichen (instantaneous) spatial updating", welche es Versuchspersonen ermöglichte, den Referenzrahmen eines neuen Ortes augenblicklich an zunehmen. Dies geschah ohne jegliche Bewegungsreize, nur indem eine neue Ansicht aus einem anderen Blickwinkel präsentiert wurde. Nicht zuletzt motivierte das Modell neuartige Experimente und experimentelle Paradigmen, und wurde benutzt um Hypothesen und überprüfbare Vorhersagen abzuleiten.