Free-formed Surface Mirrors in Computer Vision Systems

Abstract

Using free-formed surface mirrors into optical systems introduces difficulties. Hence, so far such reflections were only regarded as source of error in image processing. Accordingly, there are no methods to extract the information contained in the reflection image. The problems and methods are analyzed in the first part of this thesis. The camera calibration and the surface reconstruction, the basic requirements for every reconstruction methods, form the second part of the thesis. A new method for the imaged-based data-acquisition in the calibration effort is presented. It improves the existing calibration technique manifold. On the basis of this technique, a new method to recover a reflective surface's topography is elaborated. The last part is devoted to the detailed presentation of two methods for the extraction of the contained information. The first method is a non-classical approach in the sense that the distorted image is not reconstructed to a pinhole-camera view. It depends on an extension of a usually applied linear constraint in stereo-image processing to a more general non-linear understanding of the restriction. The second one is a classical reconstruction of the image, based on the comparison of the reflection directions of the free-formed surface and a virtual planar mirror. This method is implemented in two ways. One is an ordinary implementation on the central processing unit of the computer. The second one uses the graphics processing unit (GPU), i.e. the main computational unit on the computer's graphics-card, to reconstruct the image. The usage of the GPU offers manifold new possibilities for image processing in general. Both implementations are tested on images acquired in the experimental vehicle. For one method a coarse distance determination is conducted. This thesis proves that reflections on free-formed surface mirrors are sources of information, even if the free-formed surface was not constructed to serve as a mirror in an optical system.

Da sich bei der Verwendung von Freiflächenspiegeln in optischen Systemen Probleme ergeben, wurden diese bisher nur als Fehlerquelle für Bildverarbeitungsalgorithmen betrachtet. Dementsprechend gibt es bisher keine Methoden zur Informationsextraktion aus dem Reflexionsbild. Die auftretenden Probleme werden im ersten Teil analysiert und Methoden untersucht. Die Kalibrierung der Kamera und die Vermessung der Oberfläche sind fundamentale Anforderungen für jede Rekonstruktionsmethoden und bilden den zweiten Teil. Es wird ein neues Verfahren zur bildbasierten Datengewinnung in der Kalibrierung präsentiert. Diese verbessert die existierende Kalibriertechnik in mehreren Stufen. Auf der Basis der Kalibriertechnik wird eine neue Technik zur Vermessung einer reflektierenden Oberflächentopographie eingeführt. Der letzte Teil der Dissertation ist zwei Methoden zur Informationsextraktion aus dem Reflexionsbilder gewidmet. Das erste Verfahren ist in sofern nicht klassisch als keine Rekonstruktion des Bildes zu einer Lochkameraperspektive stattfindet. Es basiert auf der Erweiterung einer linearen Beschränkung der Stereobildverarbeitung zu einem generelleren nicht-linearen Verständnis der Abbildungsgeometrie. Die zweite Methode ist eine klassische Rekonstruktion des Bildes durch den Vergleich der Reflexionsrichtungen der Freifläche mit denen eines virtuellen ebenen Spiegels. Letzteres Verfahren wurde auf zwei Arten realisiert. Zum einen durch übliche Implementierung auf der zentralen Recheneinheit des Computers, zum anderen auf dem Hauptprozessor der Grafikkarte (GPU). Die Verwendung der GPU bietet viele neue Möglichkeiten zur Bildverarbeitung im allgemeinen. Beide Verfahren wurden mit Bildern aus dem Versuchsfahrzeug getestet. Für eine Methode wurde eine manuelle Abstandsmessung durchgeführt. In dieser Dissertation wird gezeigt, daß Reflexionen auf Freiflächen Informationsquellen sind, selbst dann wenn die Fläche nicht als Element eines optischen Systems konzipiert wurde.