Visual Terrain Classification for Outdoor Mobile Robots

Abstract

In this thesis we present a comparison of multiple approaches to visual terrain classification for outdoor mobile robots based on local features. For this purpose, we put a camera on a mobile robot and use it to capture images which are then analyzed to recognize the terrains present in these images. There are two sets of approaches that we use to classify terrains. The first is based on greyscale images and the second one is based on color images. For greyscale images, we use two different robot platforms for two different scenarios. The first robot platform is a wheeled outdoor robot. The second platform is a flying robot. For terrain classification, we modify and test three approaches called SURF, Daisy and Contrast Context Histogram, which are traditionally not used for texture classification. We compare these with more traditional texture classification approaches, such as Local Binary Patterns (LBP), Local Ternary Patterns (LTP) and a newer extension Local Adaptive Ternary Patterns (LATP). The image is divided into a grid and local features are calculated on the cells of this grid. These features are then used to train a classifier that can differentiate between different terrain classes. Images of different terrain types are captured using a single camera mounted on a mobile outdoor robot. We drove our robot under different weather and ground conditions and captured data of different terrain types for our experiments. We did not filter out blurred images which occur due to robot motion and other artifacts caused by rain, etc. We used a Random Forest classifier for classification and cross-validation for the verification of our results. It is shown that SURF features perform better than other descriptors for smaller cell sizes and LTP works best for larger grid cell sizes. The results show that these approaches work well for terrain classification in a fast moving mobile robot, despite image blur and other artifacts induced due to variant weather conditions. Furthermore we investigate the effectiveness of local image features for visual terrain classification for outdoor flying robots. A quadrocopter fitted with a single camera is flown over different terrains to take images of the ground below. Six different terrain types are considered in this approach. The images captured have artifacts like blur and scale variations. It is shown that SURF features also perform better here than other descriptors for smaller grid cell sizes and LTP performs better for larger cell sizes. We also test color image based terrain classification. For this purpose, we use two different types of camera mounted on our wheeled outdoor robot and capture five different terrain types traversed by the robot. We use two different image descriptors that can work on color images. The first descriptor is the co-occurrence matrix and the second descriptor is the SURF descriptor. Each of these descriptors is applied to the color channels of the image to extract a feature vector. These features are then used to train and test classifiers like Random Decision Trees and Support Vector Machines. We test these classification techniques on different color spaces for the images containing terrains. We also apply Principle Component Analysis (PCA) to reduce the dimensionality of the feature vectors. The co-occurrence matrix produced the best result in this case.

In dieser Arbeit werden mehrere Ansätze zur visuellen Terrainklassifizierung für mobile Roboter vorgestellt und verglichen. Dafür wurden monochrome und farbige Bilder, die von mobilen Outdoor-Robotern aufgenommen wurden, mit Hilfe von lokalen Merkmalen analysiert, um verschiedene Terraintypen zu erkennen. Für die Analyse der monochromen Bilder wurden zwei verschiedene Roboter-Plattformen mit zwei verschiedenen Szenarien verwendet. Bei der ersten Plattform handelte es sich um einen fahrenden Outdoor-Roboter und bei der zweiten Plattform um einen fliegenden Roboter. Bei der Terrainklassifizierung wurden zum einen die klassischen Ansätze Local-Binary-Patterns, Local-Ternary-Patterns und die neue Erweiterung Local-Adaptive-Ternary-Patterns verwendet. Zum anderen wurden neuere Verfahren wie SURF, Daisy und Kontrast-Kontext-Histogramme untersucht und miteinander verglichen. Das Bild wurde dafür in ein Gitter aufgeteilt, an dessen Schnittpunkten die Deskriptoren berechnet wurden. Anhand dieser Merkmale wurden anschließend Klassifikatoren trainiert, um die verschiedenen Terraintypen zu unterscheiden. Die Bilder für die Klassifizierung wurden für verschiedene Bodentypen bei unter- schiedlichen Witterungen aufgenommen. Dabei wurden Bilder mit Bewegungsunschärfe oder anderen Artefakten, wie Regen, nicht herausgefiltert. Als Klassifikator kamen Random-Forests zum Einsatz, deren Ergebnisse über eine Kreuzvalidierung verifiziert wurden. Dabei zeigten SURF-Features bei kleinen Gittergrößen die besten Ergebnisse, wogegen bei großen Gittern die Local-Ternary-Patterns am besten abschnitten. Bei diesen Versuchen hat sich gezeigt, dass die Terrainklassifizierung durch einen sich schnell bewegenden mobilen Roboter, auch bei Bewegungsunschärfe und bei Wettereinflüssen, sehr gute Ergebnisse erreicht. Außerdem wird in dieser Arbeit die visuelle Terrainklassifizierung auf Basis von lokalen Bildmerkmalen bei fliegenden Robotern untersucht. Ein Quadrocopter mit einer einzelnen Kamera wurde dafür über verschiedene Terraintypen geflogen und nahm dabei Bilder des Bodens auf. Die so entstandenen Bilder haben Artefakte wie Bewegungsunschärfe und durch die Flughöhe eine unterschiedliche Skalierung. Auch bei diesen Versuchen schnitten die SURF-Deskriptoren bei kleinen Gittern und die Local-Ternary-Patterns bei größeren Gittern am besten ab. Zuletzt wurde die Terrain-Klassifizierung mit Hilfe von Farbbildern untersucht. Dafür wurden eine Farb- und eine Monochromkamera auf einen fahrenden Outdoor-Roboter montiert und fünf verschiedene Terraintypen aufgenommen. Es kamen zwei verschiedene Deskriptoren für Farbbilder zum Einsatz. Der erste Deskriptor ist die Co-Occurrence-Matrix und der zweite der SURF-Deskriptor. Jeder der Deskriptoren wurde auf die Farbkanäle der Bilder angewendet, um einen Merkmalsvektor zu generieren. Diese Merkmale wurden dann mit Klassifikatoren wie Random-Decission-Trees und Support-Vector-Machines für unterschiedliche Farbräume trainiert und getestet. Mit Hilfe der Principle-Component-Analysis wurde außerdem die Dimension der Merkmalsvektoren verkleinert. Bei diesen Versuchen zeigte die Co-Occurrence-Matrix die besten Ergebnisse.