Rendering methods for augmented reality

Abstract

Augmented reality (AR) has become a promising and fast-growing application of computer graphics over the course of the last years. Augmented reality systems overlay computer-generated graphical information over the view of the real world. Several main research challenges can be identified in the field of augmented reality. These are the design of advanced display devices (e.g., head-mounted displays), camera tracking, system design, user interaction, and rendering. While a major part of the previous work focused on the problems of system design, camera tracking, and applications of AR, this thesis puts a different emphasis on the relatively underrepresented aspect of rendering techniques. In this thesis, several novel methods for displaying augmented video streams are explored.

In the first part of this thesis in Chapter 2, the design and implementation of a novel system for medical augmented reality are discussed. The ARGUS framework is a new augmented reality system based on a commercial surgical navigation device. Since it does not require any additional hardware components, a transition into the clinical practice can be facilitated. Several extensions of the basic framework are described, including a hybrid tracking scheme, a user interaction library, and a method for handling occlusion. The latter algorithm makes it possible to correctly render the occlusion of graphical objects by the anatomy of the patient, leading to a more realistic and easily comprehensible output. This approach is one of the advanced rendering methods for augmented reality investigated in the context of this thesis.

The second part of this thesis, Chapter 3, introduces the concept of stylized augmented reality, which applies artistic or illustrative stylization methods to augmented reality video streams. Since the same type of stylization is applied to virtual and real scene elements, they become difficult to distinguish. This way, a novel augmented reality experience is created, and possibly even a better immersion. Real-time algorithms for cartoon-like and painterly brush stroke stylization of augmented video streams are described. The exploitation of programmable graphics hardware for this purpose is discussed. Moreover, the results of a psychophysical study on the discernability of virtual objects in stylized augmented reality are presented.

At the beginning of Chapter 4, which is the third part of this thesis, a novel illustrative visualization method is described. This new rendering algorithm for iso-surfaces and polygonal models generates an illustrative representation of a surface and structures hidden behind it. The method is designed for the programmable rendering pipelines of modern graphics hardware and is capable of displaying complex models in real-time. An extension of this newly developed illustrative display style was also applied to augmented reality video streams. This system constitutes another realization of the concept of stylized augmented reality.

In den letzten Jahren hat sich die Erweiterte Realität (englisch: Augmented Reality) zu einer vielversprechenden und schnell an Bedeutung gewinnenden Anwendung der Computergraphik entwickelt. Augmented-Reality-Systeme kombinieren vom Computer erzeugte graphische Darstellungen mit der Ansicht der realen Welt. Mehrere zentrale Problemstellungen lassen sich im Bereich der Augmented Reality identifizieren. Dabei handelt es sich um die Entwicklung spezieller Anzeigegeräte, das Kamera-Tracking, den Systementwurf, die Benutzerinteraktion und Darstellungsverfahren. Während sich der Großteil vorhergehender Arbeiten mit den Problemen des Systementwurfs, des Kamera-Trackings und mit Anwendungen der Augmented Reality befasste, liegt der Schwerpunkt dieser Doktorarbeit auf dem bislang relativ wenig beachteten Thema der Darstellungstechniken.

Im ersten Teil dieser Doktorarbeit (Kapitel 2) wird ein neu entwickeltes System für die medizinische Augmented Reality vorgestellt. Das ARGUS-Projekt ist ein neues Augmented-Reality-System, das auf einem kommerziellen intraoperativen Navigationsgerät basiert, wodurch ein Einsatz in der klinischen Praxis erleichtert werden könnte. Mehrere Erweiterungen des grundlegenden Projekts werden beschrieben, darunter ein hybrides Tracking-Verfahren, eine Bibliothek für die Benutzerinteraktion und eine Methode für die Verdeckungsbehandlung. Letztere macht es möglich, die Verdeckung graphischer Objekte durch die Patientenanatomie korrekt darzustellen, was zu einer realistischeren und verständlicheren Ausgabe führt. Dieser Algorithmus ist eine der fortgeschrittenen Darstellungstechniken für Augmented Reality, die im Rahmen dieser Doktorarbeit entwickelt wurden.

Der zweite Teil dieser Doktorarbeit, Kapitel 3, stellt das neue Konzept der Stylized Augmented Reality vor. Dabei werden künstlerische oder illustrative Stilisierungsmethoden auf Augmented-Reality-Videoströme angewendet. Da die gleiche Art der Stilisierung auf virtuelle und reale Bildelemente angewendet wird, nimmt ihre Unterscheidbarkeit stark ab. Auf diese Art und Weise wird ein neuartiges Augmented-Reality-Erlebnis vermittelt, und möglicherweise wird eine bessere Immersion erzeugt. Echtzeitverfahren für die Cartoon-artige und malerische Stilisierung von Augmented-Reality-Bildern werden beschrieben. Auch der Einsatz programmierbarer Graphikhardware zu diesem Zweck wurde untersucht. Zudem werden die Ergebnisse einer psychophysikalischen Studie über die Unterscheidbarkeit virtueller Objekte in der Stylized Augmented Reality präsentiert.

Zu Beginn von Kapitel 4, das den dritten Teil dieser Doktorarbeit darstellt, wird eine neue Methode der illustrativen Visualisierung beschrieben. Dieser neue Darstellungsalgorithmus für Isoflächen und polygonale Modelle erzeugt die illustrative Abbildung einer Oberfläche und dahinter versteckter Strukturen. Die Methode wurde für die programmierbaren Architekturen moderner Graphikhardware entworfen und kann komplexe Modelle in Echtzeit darstellen. Eine Erweiterung dieses neu entwickelten Darstellungsstils wurde auch auf Augmented-Reality-Videoströme angewendet. Diese Entwicklung stellt eine weitere Realisierung des Konzepts der Stylized Augmented Reality dar.