Blind Deconvolution in Scientific Imaging & Computational Photography

Abstract

Digital image restoration is a key area in signal and image processing due to its many applications in both scientific imaging as well as everyday photography. An important subdiscipline, that is receiving an ever increasing interest from the academic as well the industrial world, is the field of image deconvolution, which enjoys this interest due to both its theoretical and practical implications. While classical or non-blind image deconvolution aims at restoring a sharp latent image assuming the blur is known, this thesis addresses the much harder but also more realistic problem of blind image deconvolution, where the degradation is unknown. An estimate of the original image must be obtained using only its blurred and possibly noise corrupted observations. The aim of this thesis is to advance the state-of-the-art in the field of blind deconvolution and thereby to broaden the applicability of blind deconvolution techniques in everyday photography but also in scientific imaging such as astronomical and microscopic imaging.

To this end, we develop a mathematically sound and physically well-motivated framework, which allows to express and efficiently compute spatially-varying blur. We derive our “Efficient Filter Flow” framework as a discrete approximation of the incoherent imaging equation and devise expressions for its efficient implementation using the short-time Fourier transform. By extending the commonly employed invariant blur model, our framework substantially broadens the application range of blind deconvolution methods.

In a number of challenging real-world applications we demonstrate both the validity and versatility of our approach. In particular, we utilise our model for reconstructing a sharp latent image from a sequence of short-exposure images degraded by atmospheric turbulence. To capitalise on the abundance of data available in astronomical imaging, we develop a blind deconvolution algorithm, which bypasses the computational burden of current blind deconvolution methods that are restricted in the number of observations they can process. In addition, we further extend the imaging model to not only include the effect of spatially-varying blur but also to account for the effects of saturation and super-resolution.

Another challenging application which proves the usefulness of our framework, is the problem of removing camera shake from a single image. We extend our model to incorporate the particularities of camera shake and develop an efficient algorithm that outperforms state-of-the-art methods in both restoration quality and computation time.

Finally, by presenting a novel blind deconvolution algorithm for improving the resolution of three-dimensional electron density maps, we promote the use of blind deconvolution in the interesting field of cryo-electron microscopy. Results on both simulated and experimental density maps demonstrate that our approach serves as a flexible and generic tool that facilitates structure elucidation of macromolecular assemblies.

Die Restaurierung digitaler Bilder ist aufgrund ihrer vielfältigen Anwendung sowohl in der wissenschaftlichen Bildgebung, als auch im Bereich der alltäglichen Fotografie ein Schlüsselbereich der Signal- und Bildverarbeitung. Ein wichtiger Teilbereich ist der Bereich der Bilddekonvolution, welcher aufgrund seiner theoretischen und praktischen Implikationen zunehmend Interesse seitens der Wissenschaft als auch der Industrie erfährt. Das Ziel der klassischen oder nicht blinden Dekonvolution ist die Wiederherstellung eines scharfen Bildes, unter der Annahme, dass der Unschärfeprozess bekannt ist. Gegenstand dieser Arbeit ist das sehr viel schwierigere aber auch realistischere Problem der blinden Bilddekonvolution, bei welchem, im Gegensatz zur klassischen Dekonvolution, keine genaue Kenntnis über den Unschärfevorgang vorliegt. Das Orginalbild muss allein aus seinen unscharfen und möglicherweise verrauschten Aufnahmen rekonstruiert werden. Das Ziel der vorliegenden Arbeit ist es, den Stand der Wissenschaft und Technik im Bereich der blinden Dekonvolution voranzutreiben und dadurch das Spektrum möglicher Anwendungen im Bereich der Alltagsfotografie, aber auch auf dem Gebiet der wissenschaftlichen Bildgebung, bspw. in der Astronomie oder Mikroskopie, zu erweitern.

Zu diesem Zweck erarbeiten wir ein mathematisch solides und physikalisch wohl motiviertes Framework, welches die Beschreibung und effiziente Berechnung von ortsabhängiger Unschärfe ermöglicht. Wir leiten unser sogenanntes Efficient Filter Flow Framework als diskrete Approximation der inkohärenten Abbildungsgleichung her und entwickeln Formeln zur effizienten Implementierung mittels einer zweidimensionalen Verallgemeinerung der Kurzzeit-Fourier-Transformation. Unser Framework verallgemeinert das gemeinhin verwendete Model, welches annimmt, dass die Unschärfe über das ganze Bild hinweg gleich ist, und erweitert damit den Anwendungsbereich blinder Dekonvolutionsmethoden erheblich.

In einer Reihe anspruchsvoller Anwendungen mit realen Daten stellen wir die Gültigkeit und vielseitige Anwendbarkeit unseres Ansatzes unter Beweis. Inbesondere wird sich seine Nützlichkeit bei der Rekonstruktion eines scharfen Bildes aus einer Sequenz von Kurzzeitaufnahmen zeigen, deren Qualität durch atmosphärische Luftturbulenzen beeinträchtigt wurde. Um Nutzen aus der großen Menge an verfügbaren Bilddaten in der astronomischen Bildgebung ziehen zu können, entwickeln wir einen Algorithmus zur blinden Dekonvolution, welcher die hohen Rechenanforderungen bisheriger Methoden umgeht und insbesondere nicht in der Anzahl verwendbarer Bilder eingeschränkt ist. Darüberhinaus erweitern wir das bildgebende Modell dahingehend, dass es nicht nur ortsabhängige Unschärfe, sondern auch den Effekt der Saturierung und Superresolution beschreibt.

Ein weiteres schwieriges Problem, welches den Wert unseres Frameworks unterstreicht, ist die Korrektur verwackelter Bilder. Wir erweitern unser Modell, um den spezifischen Eigenschaften von Kameraverwacklung Rechnung zu tragen, und entwickeln einen leistungsfähigen Algorithmus, welcher bisherige Methoden sowohl in der Qualität der rekonstruierten Bilder als auch Rechenzeit übertrifft.

Zum Schluss stellen wir einen neuartigen blinden Dekonvolutionsalgorithmus zur Verbesserung der Auflösung dreidimensionaler Elektronendichten vor, wir zeigen auf, wie die blinde Dekonvolution auch im interessanten Feld der Cryo-Elektronenmikroskopie eingesetzt werden kann. Ergebnisse für sowohl simulierte als auch experimentelle Daten zeigen, dass unser Ansatz als flexibles und generisches Hilfsmittel zur molekularen Strukturbestimmung beiträgt.