Modelling and Learning Approaches to Image Denoising

Abstract

Currently, most photographs are taken with digital cameras. Improvements in chip technologies have made possible the integration of digital cameras into other devices, such as mobile phones. This in turn has caused an explosion in the number of digital photographs taken each day. Unfortunately, all digital photographs contain an undesirable component commonly referred to as noise. Noise arises for a number of reasons. For example, photon shot noise is due to the discrete nature of light, and dark-current noise is due to the thermal energy of a camera's sensor. Image denoising is the problem of finding a clean image, given a noisy one. Using a denoising method becomes necessary when modifying the image acquisition process in such a way as to reduce the noise is not an option. This thesis presents three novel contributions to the field of image denoising.

Improving existing approaches using a multi-scale meta-procedure. Most denoising algorithms focus on recovering high-frequencies. However, for high noise levels it is also important to recover low-frequencies. We present a multi-scale meta-procedure that applies existing denoising algorithms across different scales and combines the resulting images into a single denoised image. We show that our method can improve the results achieved by many denoising algorithms.

Astronomical image denoising with a pixel-specific noise model. For digital photographs of astronomical objects, where exposure times are long, the dark-current noise is a significant source of noise. Usually, denoising methods assume additive white Gaussian noise, with equal variance for each pixel. However, dark-current noise has different properties for every pixel. We use a pixel-specific noise model to handle dark-current noise, as well as an image prior adapted to astronomical images. Our method is shown to perform well in a laboratory environment, and produces visually appealing results in a real-world setting.

Image denoising using multi-layer perceptrons. Many of the best-performing denoising methods rely on a cleverly engineered algorithm. In contrast, we take a learning approach to denoising and train a multi-layer perceptron to denoise image patches. Using this approach, we outperform the previous state-of-the-art. Our approach also achieves results that are superior to one type of theoretical bound and goes a large way toward closing the gap with a second type of theoretical bound. Furthermore, we achieve outstanding results on other types of noise, including JPEG-artifacts and Poisson noise. Also, we show that multi-layer perceptrons can be used to combine the results of several denoising algorithms. This approach often yields better results than the best method in the combination. We discuss in detail which trade-offs have to be considered during the training procedure. We are also able to make observations regarding the functioning principle of multi-layer perceptrons for image denoising.

Heutzutage werden die meisten fotographischen Bilder mit Digitalkameras aufgenommen. Verfeinerungen der Chip Technologien haben ermöglicht, dass Digitalkameras in andere Geräte so wie Mobiltelefone integriert werden. Dies wiederum hat zu einer Explosion in der Anzahl der täglich aufgenommenen Digitalfotos geführt. Leider enthalten alle Digitalfotos eine unerwünschte Komponente, nämlich das Rauschen. Bildentrauschung ist das Problem, ein sauberes Bild zu finden, wenn ein rauschiges gegeben ist. Eine Bildentrauschungsmethode zu verwenden ist dann nötig, wenn es nicht möglich ist, das Bildaufnahmeverfahren so zu verändern, dass weniger Rauschen entsteht. Diese Dissertation präsentiert drei neue Beiträge zu dem Feld der Bildentrauschung.

Verbesserung existierender Methoden durch ein multiskalen Metaverfahren: Die meisten Entrauschungsverfahren setzen den Schwerpunkt auf das Wiederherstellen hoher Frequenzen. Allerdings ist es bei starkem Rauschen auch wichtig, niedrigere Frequenzen zu beachten. Wir präsentieren ein multiskalen Metaverfahren, welches existierende Entrauschungsverfahren auf mehreren Skalen anwendet und die jeweiligen Ergebnisse wieder in ein entrauschtes Bild kombiniert. Wir zeigen, dass unser Verfahren die Ergebnisse vieler Entrauschungsverfahren verbessern kann.

Entrauschen astronomischer Bilder durch ein pixel-spezifisches Modell des Rauschens: In Digitalbildern von astronomischen Objekten, in welchen die Belichtungszeiten lang sind, ist das Dunkelstromrauschen eine wichtige Quelle von Rauschen. Normalerweise nehmen Entrauschungsverfahren additives, weißes Rauschen, mit gleicher Varianz für jeden Pixel an. Allerdings hat Dunkelstromrauschen andere Eigenschaften für jeden Pixel. Wir benutzen ein pixel-spezifisches Modell des Rauschens sowie eine a priori Wahrscheinlichkeit für Bilder, welche an astronomische Bilder angepasst ist. Wir zeigen, dass unsere Methode in einem Laboraufbau gut funktioniert und mit echten Bildern astronomischer Objekte visuell ansprechende Ergebnisse liefert.

Entrauschen durch mehrlagige Perzeptronen: Viele der am besten funkionierenden Entrauschungsverfahren verlassen sich auf ausgeklügelt konstruierte Algorithmen. Im Gegensatz dazu benutzen wir einen auf Lernen basierten Ansatz und trainieren mehrlagige Perzeptronen darauf, kleine Bildstücke zu entrauschen. Mit diesem Ansatz ubertreffen wir die Ergebnisse des neuesten Stand der Technik. Unser Ansatz erreicht Ergebnisse, die einer Klasse theoretischer Grenzen uberlegen sind und macht große Schritte, um eine zweite Klasse Grenzen zu erreichen. Außerdem erzielen wir ausgezeichnete Ergebenisse auf anderen Arten von Rauschen, einschließlich JPEG Artefakte und Poisson Rauschen. Wir zeigen auch, dass mehrlagige Perzeptronen in der Lage sind, die Ergebenisse anderer Entrauschungsverfahren zu kombinieren. Dieser Ansatz liefert oft Ergebnisse, die besser als das beste Ergebnis in der Kombination sind. Wir diskutieren im Detail, welche Kompromisse in der Trainingsprozedur eingegangen werden müssen. Wir sind auch in der Lage, Beobachtungen bezüglich der Funkionsweise von mehrlagigen Perzeptronen für Bildentrauschung zu machen.