Programmable Optics for Computational Photography

Abstract

Die programmierbare Optik stößt auf großes Interesse in Bezug auf die computergestützte Fotografie. Jüngste Entwicklungen bezüglich räumlicher Lichtmodulatoren (SLMs) haben dazu geführt, dass eine optische Kodierung in der Fotografie möglich ist, die das Versprechen birgt, Abbildungsaufgaben kostengünstiger zu lösen. Diese Arbeit untersucht die gemeinsame Gestaltung von Optik und digitaler Verarbeitung sowohl hinsichtlich optischer Wellenfront- und Strahlencodierung als auch Inverser-Solver und neuronaler Netze.

Wir beginnen mit einer Einführung in die Grundlagen der Bildentstehung, das Gestaltungsparadigma, die Details des erleichterten SLM und die Grundlagen der Bildrekonstruktion. Anschließend identifizieren wir die Punktspreizfunktionen (PSF) als Bindeglied zwischen optischen und digitalen Modulen der Abbildungskette und bauen eine computerbasierte Kamera auf, die benutzerdefinierte PSF durch die phasenkodierte Blende ermöglicht. Sobald die Kamera verifiziert ist, realisieren wir eine Schnappschuss-Multispektral-Bildgebung, indem wir die chromatische Dispersion der PSFs untersuchen. Ein modellbasierter Rahmen wird konstruiert, um Spektren pro Pixel in einem einzigen Bild zu kodieren und anschließend mehrere Spektralbilder in voller Auflösung mit einem inversen Solver zu dekodieren. Während handabgestimmte PSFs effektiv sind, nutzt ein ganzheitlicher Ansatz die großen Mengen an Bilddaten, um das optische Phasenmuster zu lernen. Als nächstes wird eine datengetriebene Joint-Design-Methode entwickelt und validiert, die die physikalischen Parameter und die digitale Rekonstruktion in einer End-to-End-Methode für ein klassisches Bildgebungsproblem optimiert: die erweiterte Tiefenschärfe.

Darüber hinaus wirft die Joint-Design-Methode Licht auf die Lösung eines Abbildungsproblems: Wie kann man ein optisch echtes Hybrid-Zoom mit einem einzigen Objektiv an einer einzigen Kamera erreichen? Wir nähern uns der Lösung, indem wir eine computerbasierte Kamera einrichten, die die Hauptstrahlverteilung modifiziert, sodaß ein programmierbares Sichtfeld ermöglicht wird.

Programmable optics is generating considerable interest in terms of computational photography. Recent developments regarding spatial light modulators (SLMs) have made optical coding in photography possible, which bears the promise of solving imaging tasks more cost-effectively. This thesis examines the joint design of optics and digital processing regarding both optical wavefront and ray encoding and inverse solvers and neural networks.

We start with an introduction to the fundamentals of image formation, the design paradigm, the details of the facilitated SLM, and the basics of image reconstruction. We then identify the point spread functions (PSFs) as a link between the optics and digital modules of the imaging chain and set up a computational camera, allowing user-defined PSFs through the phase-coded aperture. Once the camera is verified, we realize snapshot multispectral imaging by inspecting the chromatic dispersion of PSFs. A model-based framework is constructed to encode per-pixel spectra on a single image and then to decode multiple full-resolution spectral images with a regularizer-assisted inverse solver. While hand-tuned PSFs are effective, a holistic approach takes advantage of the large amounts of image data to learn the optical phase pattern. Next, we constitute and validate a data-driven joint-design method that optimizes physical parameters and digital reconstruction in an end-to-end fashion on a classical imaging problem: extended depth of field.

In addition, the joint-design scheme sheds light to solve an imaging conundrum: how to achieve an optically true hybrid zooming with a single lens on a single camera? We approach the solution by establishing a computational camera that modifies the chief ray distribution; ergo, it enables a programmable field of view.