Speicher- und Kompressionsverfahren für Volumenvisualisierungshardware

Abstract

In der Computergraphik hat sich die Volumenvisualisierung als wertvolle Technik etabliert. Besonders im Bereich der medizinischen Visualisierung, wissenschaftlichen Simulation und in der Geophysik konnte sich dieses Verfahren zur Darstellung volumetrischer Datensätze durchsetzen. Den stetig wachsenden Anforderungen in Bezug auf Datenmenge, Darstellungsgeschwindigkeit und Interaktivität, wurde durch die Verwendung spezieller Volumenvisualisierungshardware Rechnung getragen. Hierbei werden die zur Verfügung stehenden Ressourcen bestmöglich an den Visualisierungsalgorithmus angepasst. Die dominante Herausforderung der Volumenvisualisierung bleibt dennoch die sehr großen Datenmenge, die zu schwerwiegenden Problemen in Bezug auf Speicherplatz und -bandbreite führt. Der bisherige Ansatz bestehender Visualisierungshardware resultiert in einem linearen Zusammenhang zwischen Datensatzgröße und Speicherbedarf. Eine Methode die Komplexität sowohl hinsichtlich Speicherbedarf als auch Rechenzeit auf O(log n) zu reduzieren, besteht in der Verwendung eines Multiskalenmodells.

Diese Arbeit stellt erstmals die Integration eines solchen waveletbasierten Multiskalenmodells in eine Hardwarearchitektur zur Volumenvisualisierung vor. Dies erlaubt Datensätze darzustellen, die um eine Größenordnung umfangreicher sind als bisher. Das Multiskalenmodell erfordert jedoch eine dynamische Speicherverwaltung der Volumendaten im lokalen Speicher der Visualisierungshardware. Um dieser Anforderung gerecht zu werden, wird durch eine neuartige cachebasierte Speicherschnittstelle, genannt VoxelCache, die notwendige Virtualisierung der Speicherverwaltung durchgeführt. Der VoxelCache führt darüber hinaus durch seinen on-chip Cache zu einer signifikanten Reduzierung der erforderlichen Speicherbandbreite zwischen der Visualisierungspipeline und ihrem lokalen Speicher.

Um auch die Bandbreite zwischen Visualisierungshardware und Host-Computer zu reduzieren, wird die Decodierung der komprimierten Waveletkoeffizienten des Multiskalenmodells in Hardware durchgeführt. Somit kann der Datendurchsatz der Dekompression auf ein Vielfaches, gegenüber bestehenden softwarebasierten Dekompressionsimplementierungen, gesteigert werden. Der Host-Computer wird damit von allen rechenintensiven Aufgaben befreit und ist nur noch für die Verwaltung des Multiskalenmodells verantwortlich.

Da die aufwendige Vorverarbeitung des Multiskalenmodells nicht in allen Anwendungszenarien möglich ist, wird für in Echtzeit generierte dynamische Volumendaten ein Kompressionsschema vorgestellt, dass sich durch geringe Ressourcenanforderungen hinsichtlich der Kompression auszeichnet und kaum zusätzliche Latenz in den Zeitraum zwischen Aufnahme und Visualisierung der Daten einführt. Dies ist von entscheidender Bedeutung bei der Echtzeitvisualisierung von Volumendaten, wie sie zum Beispiel bei intraoperativen Anwendungen in der Medizin eingesetzt werden.

Volume rendering is a well established technique in computer graphics. Especially in the fields of medical visualisation, scientific simulation, and in geophysics, this method to visualise volumetric datasets is widely accepted. The constantly increasing demands with respect to data size, frame rates and interactivity was accommodated by utilising special purpose hardware. The available resources are adapted in the best possible way to the visualisation algorithm. Nevertheless the predominant challenge in volume rendering remains the exceedingly large volume datasets, which leads to serious storage and bandwidth issues. The current approach to dedicated volume rendering hardware results in a linear interrelation between dataset size and storage space. A method to reduce storage and rendering time complexity to O(log n) are multi resolution hierarchies.

For the first time, this thesis presents the integration of a wavelet based multi-resolution model into a hardware architecture for volume rendering. This allows the rendering of datasets witch are a order of magnitude larger the currently possible. However the multi-resolution model requires a dynamic memory management of the volume data in the local on-board memory of the rendering hardware. To fullfill this requirement, a new cache based memory interface, the VoxelCache, is used to achieve the necessary virtualisation of the memory. Furthermore the VoxelCache results in a significant reduction in the required bandwidth between rendering pipeline and local memory by its on-chip cache.

To reduce the bandwidth between rendering hardware and host computer, the decoding of the wavelet coefficients is performed in hardware. This results in a multiple of the decoding bandwidth compared to a PC-based approach. Therefore the host computer is relieved from all calculation intensive tasks and is only responsible for the management of the multi-resolution model.

The time consuming preprocessing of the multi-resolution model is not possible in all scenarios. Therefore, a compression scheme is presented for real time generated dynamic volume data that distinguishes itself by its limited hardware resources with respect to the compression and adds only little extra latency to the time between data acquisition and visualisation of the data. This is crucial for real time displaying of volumetric data as it is used in a intra-operative application in a medical environment.