Kompression von bildbasierten Szenenrepräsentationen für interaktive Umgebungen

Abstract

Traditionelle Computergrafik beschreibt eine am Computer darzustellende Szene durch eine Menge geometrischer Primitive. Da die Konstruktion einer geometrischen Szenenbeschreibung sehr arbeitsaufwendig und teuer sein kann, benutzt die bildbasierte Modellierung und Darstellung (IBR) stattdessen Bildinformation zur Beschreibung und Darstellung einer Szene. Bildinformation ist leicht zu akquirieren und erfasst auf einfache Weise alle Eigenschaften eines beliebigen Objekts.

Theoretische Grundlage für IBR ist die plenoptische Funktion, welche die Beleuchtung einer Szene vollständig beschreibt. Ein Lichtfeld speichert eine vierdimensionale Teilmenge der plenoptischen Funktion und kann auf diese Weise beliebige Objekte erfassen. Hierzu wird lediglich eine Menge von Bildern des Objekts benötigt. Allerdings muss eine große Datenmenge in einem Lichtfeld gespeichert werden, um die plenoptische Funktion hinreichend genau abzutasten.

Die in dieser Arbeit vorgestellte Waveletstream-Datenstruktur erlaubt die progressive Speicherung, Übertragung und Darstellung von komprimierten Lichtfeld-Datensätzen. Zur Kompression der Daten wird eine Wavelet-Dekomposition durchgeführt. Die berechneten Koeffizienten werden in einem Datenstrom progressiv übertragen und ermöglichen die einfache Darstellung des Lichtfeldes in unterschiedlichen Auflösungsstufen. Zur Unterscheidung von Vorder- und Hintergrund wird die Objektsilhouette im Waveletstream gespeichert. Hierdurch wird nicht nur die Integration von bildbasierten Objekten in herkömmlich modellierte Szenen unterstützt, sondern auch die Kompression erhöht. Mit dem Waveletstream ist es möglich, Lichtfelder in einem Verhältnis von 1:100 zu komprimieren. Die interaktive Dekompression und Darstellung der Lichtfelder wird durch den Einsatz spezieller Caching-Verfahren gewährleistet.

Außerdem werden in dieser Arbeit verschiedene Beispiele für die Integration von bildbasierten Datenstrukturen in interaktive Anwendungen vorgestellt.

In traditional computer graphics a scene to be rendered on a computer screen is described by a number of geometric primitives. However, construction of a geometric scene model can be a great deal of work and can be very expensive. Instead, image based modelling and rendering (IBR) employs pictorial information to describe and render a scene. Acquisition of images is straightforward and all properties of arbitrary objects are captured.

Theoretical foundation for IBR is the plenoptic function, which stores the entire illumination in a scene. A Light Field consists of a four-dimensional subset of the plenoptic function. In this way objects with arbitrary material properties and complex geometry are described. To obtain a Light Field, only a number of pictures of an object are sufficient. Unfortunately, a large amount of data has to be stored in a Light Field to sample the plenoptic function with sufficient density.

The Waveletstream data structure presented in this work allows for progressive transmission, storage, and rendering of compressed Light Field data. For compression, the non-standard four-dimensional wavelet decomposition of the Light Field is calculated. The coefficients obtained are transmitted progressively in a data stream and allow for display of the Light Field in different resolutions. To distinguish between fore- and background, the silhouette of the object is stored in the Waveletstream. In this way, not only integration of image based objects into conventional modelled scenes is facilitated, but also the compression ratio is increased. The Waveletstream allows for compression of Light Fields at a ratio of 1:100. Supplementary caching schemes allow for interactive decompression and display of Light Fields.

Furthermore, this thesis presents various examples for integration of image based data structures into interactive applications.