Advanced techniques for the visualization of 3D medical datasets

Abstract

Visualization is probably one of the oldest and most important applications of computer graphics. In the last decades the relevance of volume visualization has increased exponentially. This growth has been especially significative in the application of 3D visualization to medicine, where the development of more accurate scanning devices has escorted the creation of new algorithms to enable the proper display of these larger and more precise data.

This thesis presents several solutions for the correct visualization of 3D data, emphasizing their utility as a tool in the medical field. Due to the diversity of volume visualization algorithms, and in order to provide a correct global overview without sacrificing necessary and relevant details, this work has been structured in three different thematic units:

The first unit, presented in Chapter 2, is devoted to point rendering and its application for obtaining graphical representations of volumetric data. The simplicity inherent to the utilization of point samples as rendering and modelling primitives and the increasing performance of graphics hardware have made point rendering an interesting alternative to more traditional rendering modalities. Nevertheless, given the large amount of point primitives necessary to represent large 3D models, real-time or even interactive frame-rates can become a challenge. Our work in this field is devoted towards a hardware-based solution that enables high speed point-based rendering without sacrificing image quality. In order to make the exposition fully understandable and self-contained, a survey of the most important algorithms for point-based rendering is firstly exposed. Once the working principle of these methods has been presented, our hardware accelerated point projection strategy is explained and analyzed in detail.

In the second unit, enclosed in Chapter 3, the focus is shifted to the possibilities of indirect volume rendering as a volume visualization tool. In indirect volume rendering, representative isosurfaces are extracted and rendered as a means to gain an insight of the volume data. Since isosurface extraction is a key element in every indirect volume rendering application, the standard technique for this purpose, i.e., the marching cubes algorithm is explained in detail here. The necessary background is complemented with an analysis of the most relevant acceleration techniques, hence indicating the current state-of-the-art on the field. This is then further extended with the presentation of our own work, which pursues a hardware (GPU) accelerated isosurface decoding and rendering solution.

Chapter4 closes this circle of volume visualization algorithms with a direct volume rendering unit. As a straight representation of a 3D dataset as a whole, direct volume rendering is the perfect option to obtain a good insight of a patient's scan at once. However, given the increasing resolution of the acquisition devices (e.g., CT-/MR-scanners) and therefore of the generated datasets, the production of a clear representation, where certain regions of interest are highlighted over other context information, is by no means a trivial task. Furthermore, the internal complexity of the techniques responsible of emphasizing these regions of interest too often prevents new interesting algorithms from being applied in practical cases. Therefore, in this unit we start by first giving an overview of the principles of direct volume rendering together with a brief collection of the most commonly used algorithms, for then focussing on our novel approach for volume classification. Our method combines an intuitive augmented reality environment for direct display and user interaction, with automatic machine-learning based classifiers. This way, the physician is furnished with a complete tool able to efficiently highlight materials and features of interest within the volume in a semiautomatic way, without requiring from her/him a high level of expertise on transfer function design.

Finally, several examples of practical applications corresponding to concrete projects are summed up in Appendix A, thus illustrating the applicability of medical volume visualization to real-life cases.

Die Visualisierung zählt zu den ältesten und wichtigsten Anwendungen der Computergraphik. In den letzten Jahrzehnten hat die Bedeutung der Volumenvisualisierung exponentiell zugenommen. Dieses Wachstum war von besonders großer Bedeutung für die Anwendung der 3D-Visualisierung in der Medizin, wo die Verbreitung immer genauerer Scanner zur Entwicklung neuer Darstellungs-Verfahren für die grösseren und genaueren Datensätze geführt hat.

In dieser Doktorarbeit werden verschiedene Lösungsansätze für die korrekte Visualisierung von 3D-Daten vorgestellt, wobei der Anwendungsschwerpunkt immer auf dem medizinischen Bereich liegt. Aufgrund der Vielfalt existierender Visualisierungsalgorithmen, und um einen korrekten, umfassenden Überblick zu schaffen, ohne auf die relevanten Details zu verzichten, besteht diese Arbeit aus drei unterschiedlichen thematischen Einheiten:

Die erste Einheit, die in Kapitel 2 präsentiert wird, beschäftigt sich mit punktbasierten Darstellungstechniken (Point Rendering) und ihre Anwendung auf die graphische Darstellung von volumetrischen Daten. Die inhärente Einfachheit der Verwendung von Punkten als Darstellungs- und Modellierungsprimitive, sowie die wachsende Leistung von Graphikhardware, machen punktbasiertes Rendering zu einer interessanten Alternative zu traditionellen Darstellungstechniken. Trotzdem stellt das Erreichen von Echtzeit- oder selbst interaktiven Bildfrequenzen angesichts der grossen Menge von Punktprimitiven, die für die Darstellung grosser 3D-Modelle notwendig sind, eine Herausforderung dar. Unsere Arbeit in diesem Bereich befasst sich mit einer hardwarebasierten Lösung, die eine hohe Geschwindigkeit erreicht, ohne die Bildqualität zu verringern. Um die Ausführungen verständlicher und vollständiger zu machen, wird zuerst ein Überblick über die wichtigsten Algorithmen für punktbasierte Darstellung gegeben. Nachdem die grundlegende Funktionsweise erklärt wurde, wird unsere hardwarebeschleunigte Punktprojektionstrategie erläutert und im Detail analysiert.

In der zweiten Einheit (Kapitel 3) liegt der Schwerpunkt auf den Möglichkeiten der indirekten Volumendarstellung (indirect Volume Rendering) als Volumenvisualisierungswerkzeug. In der indirekten Volumendarstellung werden charakteristische Isoflächen extrahiert und anschließend dargestellt, um einen Einblick im Volumendatensatz zu gewinnen. Da die Isoflächenextraktion das zentrale Element in jeder Anwendung der indirekten Volumendarstellung ist, wird die Standardmethode, d.h. der Marching Cubes Algorithmus, hier im Detail erklärt. Das notwendige Hintergrundwissen wird mit einer Analyse der wichtigsten Beschleunigungstechniken ergänzt, so dass der aktuelle Stand der Technik aufgezeigt wird. Auf diesem aufbauend wird dann unsere eigene Arbeit vorgestellt, die auf eine hardwarebeschleunigte Isoflächendekodierung und -darstellung abzielt.

Kapitel 4 schliesst den Kreis von Volumenvisualisierungsalgorithmen mit einer Einheit über direkte Volumendarstellung (direct Volume Rendering). Als die unmittelbare Darstellung eines 3D-Datensatzes ist direct Volume Rendering der ideale Ansatz, um einen guten Einblick in einen kompletten Patientenscan auf einmal zu erhalten. Allerdings ist die Erzeugung einer klaren Darstellung mit einer Betonung von signifikanten Bereichen gegenüber von Kontextinformation keineswegs trivial, da die Auflösung der Aufnahmegeräte (z.B. CT-/MRI-Scanner) ständig wächst, und mit ihr auch die entsprechenden Datensätze. Darüberhinaus ist die Anwendung der Techniken, die für die Betonung dieser Regionen zuständig sind, oft zu kompliziert, was einen praktischen Einsatz im medizinischen Bereich meist verhindert. Deswegen fangen wir in dieser Einheit mit einem Überblick über die Grundlagen von direct Volume Rendering und einer kurzen Sammlung der bekanntesten Algorithmen an, um uns dann mit unserem eigenen Ansatz für die Volumenklassifikation zu befassen. Unsere Methode kombiniert eine intuitive Augmented Reality-Umgebung zur direkten Darstellung und Benutzerinteraktion mit einem automatischen Klassifizierungsverfahren, das auf maschinellen Lernverfahren basiert. Auf diese Art und Weise wird dem Arzt ein komplettes Werkzeug zur Verfügung gestellt, mit dem wichtige Materialien im Volumen halbautomatisch hervorgehoben werden können, ohne dass man ein Experte in der Definition von Transferfunktionen sein muss.

Abschließend werden verschiedene Beispiele von praktischen Anwendungen, die zu konkreten Projekten gehören, in Appendix A zusammengefasst. Dadurch wird die Einsatzfähigkeit der medizinischen Volumenvisualisierung in realen Anwendungen illustriert.