Stereo Vision for Autonomous Micro Aerial Vehicles

Abstract

Small unmanned and lightweight aircrafts, known as Micro Aerial Vehicles (MAVs), have gained much attention in recent years. In this thesis we approach the problem of enabling such MAVs to fly autonomously without the need for human intervention. The sensor technology that is chosen for this task is stereo vision. As research platform for this work serves a small quadrotor MAV that has been equipped with four cameras in two stereo configurations. We study a broad range of problems that need to be solved for the construction of a stereo vision based autonomous MAV.

The first problem that we examine is stereo matching. We introduce a new sparse stereo matching algorithm that achieves very high processing rates while also delivering accurate results. A key component of this algorithm is a combined consistency and uniqueness check that evaluates a dense disparity range. This new stereo algorithm is used for processing the imagery of both stereo camera pairs that are available on the used MAV platform. For the first camera pair that is facing forward, we process the stereo matching results with a simplified Simultaneous Localization and Mapping (SLAM) algorithm, which tracks the cameras' pose (i.e. position and orientation).

A different method is applied to the second stereo camera pair that is facing downwards. Here, the stereo matching results are used for detecting the dominant ground plane. From this plane and a method based on frame-to-frame tracking, we are able to derive another estimate of the MAV's pose. Both pose estimates are then fused and used for controlling the MAV's flight. The ability of this MAV to fly autonomously is demonstrated in several flight experiments and evaluations. We successfully demonstrate autonomous take-off, landing, hovering, 360° yaw rotation, shape flight and error recovery.

Finally, we examine the problem of sensing free and occupied space, which would be needed to facilitate autonomous path planning for our MAV. For this purpose, we extend an existing volumetric occupancy mapping method, such that it provides more robust results when used in conjunction with stereo vision. The performance improvement is mainly achieved by introducing a more complex update mechanism for voxels in this map, which considers the probability that a voxel is currently visible. Further, the expected depth error is modeled and considered during map updates, and the overall run-time performance of the method is improved. The resulting method is fast enough to perform occupancy mapping in real-time, including the necessary dense stereo matching.

Kleine, unbemannte und leichte Flugzeuge, bekannt als Micro Aerial Vehicles (MAVs), haben in jüngerer Vergangenheit viel Aufmerksamkeit erfahren. In dieser Dissertation befassen wir uns mit dem autonomen Flug von MAVs, bei welchem diese agieren, ohne dass ein menschliches Eingreifen notwendig ist. Die hierfür in dieser Dissertation gewählte Sensor-Technologie sind Stereo-Kameras. Als Forschungsplattform dient ein Quadrocopter-MAV, welches mit vier Kameras ausgestattet wurde, die zu zwei Stereo-Paaren angeordnet sind. Wir befassen uns mit einer breiten Sammlung von Problemen, die es zur Konstruktion eines stereobasierten autonomen MAVs zu lösen gilt.

Das erste dieser Probleme, das wir untersuchen, ist Stereo-Matching. Wir stellen einen neuartigen Sparse-Stereo-Algorithmus vor, welcher sehr hohe Verabeitungsgeschwindigkeiten erreicht und dennoch akkurate Ergebnisse liefert. Die Schlüsselkomponente dieses Algorithmus ist ein kombinierter Konsistenz- und Einzigartigkeitstest, welcher den gültigen Disparitätsbereich lückenlos prüft. Dieser neuartige Stereo-Algorithmus wird für die Verarbeitung der Bilddaten beider Stereo-Kamerapaare eingesetzt. Die Ergebnisse für das nach vorne schauende Kamerapaar werden dann mit einem vereinfachten SLAM-Algorithmus (Simultaneous Localization and Mapping) verarbeitet, welcher Änderungen der Kamerapose (d.h. Position und Ausrichtung) verfolgt.

Eine andere Methode wird für die Auswertung des zweiten, nach unten gerichteten, Kamerapaares verwendet. In diesem Fall werden die Ergebnisse des Stereo-Matchings für die Detektion der Bodenebene genützt. Mittels dieser Ebene und einem zweiten, auf Bildverfolgung basierten Verfahrens, lässt sich eine weitere Schätzung für die Pose des MAVs ermitteln. Beide Schätzungen werden anschließend fusioniert und zur Steuerung des MAVs verwendet. Die autonomen Flugfähigkeiten werden mittels verschiedener Flugtests und Untersuchungen demonstriert. Gezeigt werden autonomer Start, Landung, Schwebeflug, 360° Drehung, Figurenflug, sowie die selbstständige Fehlerkompensation.

Zum Abschluss untersuchen wir das Problem der Wahrnehmung von Freiräumen und Hindernissen, das zur autonomen Pfadplanung notwendig ist. Hierfür erweitern wir ein existierendes volumetrisches Verfahren für Occupancy Mapping. Das Verfahren wird modifiziert, sodass es robustere Ergebnisse bei der Verarbeitung von Stereodaten liefert. Den Hauptbeitrag leistet hierbei eine neue Methode zu Aktualisierung der Belegtwahrscheinlichkeit eines in der Karte gespeicherten Voxels. Diese Methode berücksichtigt die Wahrscheinlichkeit, dass ein Voxel gerade sichtbar ist. Des Weiteren modellieren wir den zu erwartenden Tiefenfehler und berücksichtigen diesen bei der Kartenaktualisierung. Außerdem verbessern wir die Verarbeitungsgeschwindigkeit dieses Verfahrens, wodurch eine Echtzeitverarbeitung inklusive Stereo-Matching möglich wird.