Stereo vision and mapping with aerial robots

Abstract

In den letzten Jahren haben Roboter für Mikro-Luftfahrzeuge (MAVs) Forscher und Industrie angezogen. Die meisten handelsüblichen MAVs sind jedoch auf externe Positionierungssysteme angewiesen und haben daher eine begrenzte Nutzung. Durch die Bereitstellung von mehr Autonomie für diese Roboter wird das Anwendungsspektrum um eine Reihe anspruchsvoller realer Problemstellungen erweitert. In dieser Arbeit verwenden wir eine Stereokamera, die auf einem Quadcopter-MAV montiert ist, um vollständige autonome Flüge in Innen- und Außenbereichen durchführen zu können. Wir untersuchen Probleme im Zusammenhang mit binokularem dichtem Stereo-Matching, Stereo-visuellem SLAM und 3D-Hindernisvermeidung mit Stereo-Vision. Zunächst schlagen wir ein Hybrid-Stereo-SLAM vor, das merkmalsbasiertes SLAM mit direkter Bildausrichtung kombiniert. Wir sprechen die folgende wichtige Frage an: Ist es besser, die Position aus einem Satz vorberechneter Merkmalskorrespondenzen zu schätzen oder die Position und die Merkmalskorrespondenz gleichzeitig zu schätzen? Wir schlagen vor, beide Methoden zu kombinieren. Wir beginnen mit der Berechnung einer Positionsschätzung unter Verwendung von Merkmalskorrespondenzen. % Dies kann effizient durchgeführt werden und ermöglicht es, mit großen Bewegungen effektiv umzugehen. Diese Abstraktion des Bildinhalts mit einer Reihe spärlicher Features kann zu Genauigkeitsverlusten führen, da nützliche Details wegfallen. In einem zweiten Schritt verfeinern wir die Position durch direkte Bildausrichtung. In diesem Schritt des Algorithmus berücksichtigen wir die Details, die im ersten Schritt ignoriert wurden, um gleichzeitig die Pose und die Pixelkorrespondenzen zu schätzen. Zweitens untersuchen wir effiziente dichte binokulare Stereo-Matching-Algorithmen, die in Echtzeit an Bord unseres experimentellen MAV ausgeführt werden können. Wir verwenden das dichte Stereo-Matching, um die Disparitätskarten der Stereokamera zu schätzen. Die Disparitätskarten sind der Hauptbestandteil unseres MAV. Diese Karten verwenden wir im Verfeinerungsschritt unseres Hybrid-Stereo-SLAMs sowie zur Erstellung einer 3D-Belegungsrasterkarte für den Pfadplaner. Wir zeigen, dass wir durch die Verwendung von Kantenmerkmalen und einer speziellen Variante der Delaunay-Triangulation sowohl die Robustheit als auch die Effizienz des bekannten lokalen ELAS-Stereomatching-Algorithmus verbessern können. Wir haben unsere Ergebnisse dem Middleburry-Stereo-Benchmark übermittelt, und unser Algorithmus ist in der permanenten Rangliste dieses Benchmarks aufgeführt. Schließlich zeigen wir eine Anwendung der oben genannten Algorithmen in einem System zur autonomen stereobasierten 3D-Hindernisvermeidung in Außenbereichen. Wir haben ein modulares System entwickelt. Wir haben zusätzliche Module hinzugefügt, um 3D-Belegungsrasterkarten der Roboterumgebung zu erstellen und zur Planung kollisionsfreier Wege im 3D-Raum. In unseren Experimenten zeigen wir, dass wir große Umgebungen mit mehreren hundert Keyframes abbilden können.

Micro air vehicles (MAVs) have attracted researchers and industrials in recent years. However, most of existing commercial MAVs rely on external positioning systems and thus they have limited usage. Providing more autonomy to these robots will extend their range of applications to include a set of challenging real-life problems. In this thesis, we use a stereo camera mounted on a quadcopter MAV to achieve full autonomous flights in indoor as well as outdoor environments. We study problems related to binocular dense stereo matching, stereo visual SLAM and 3D obstacle avoidance using stereo vision. Frst, we propose a hybrid stereo SLAM which combines feature-based SLAM with direct image alignment. We address the following important question: is it better to estimate the pose from a set of pre-computed feature correspondences or to estimate the pose and the feature correspondences simultaneously? We propose to combine both methods. We start by computing a pose estimate using feature correspondences. This can efficiently and effectively handle large movements. The abstraction of the image content to a set of sparse features might introduce a loss of accuracy because useful details might be dropped. In a second step, we refine the pose using direct image alignment. In this step of the algorithm, we take into consideration the details that have been ignored on the first step to simultaneously estimate the pose and the pixel correspondences. Secondly, we investigate efficient dense binocular stereo matching algorithms that can run in real-time on-board our experimental MAV. We use the dense stereo matching to estimate disparity maps from the stereo camera. The disparity maps are the key component of our MAV. We use these disparity maps in the refinement step of our hybrid stereo SLAM as well as to create a consistent 3D occupancy grid map for the path planner. We show that by using edge features and a special variant of Delaunay triangulation, we could improve both the robustness and efficiency of the popular ELAS local stereo matching algorithm. We have submitted our results to the Middleburry stereo benchmark and our algorithm is listed on the permanent ranking table of this benchmark. Finally, we show an application of the afore-mentioned algorithms in a system for autonomous stereo-based 3D obstacle avoidance in outdoor environment. We designed a modular system. We added additional modules for building 3D occupancy grid mapping and for planning collision-free paths in 3D space. In our experiments, we show that we can map large environments with several hundreds of keyframes.