Nature-Inspired Inductive Biases in Learning Robots

Abstract

Die in dieser Dissertation vorgestellten Arbeiten studieren verschiedene von der Natur inspirierte induktive Verzerrungen im Kontext von modellfreiem und modellbasiertem selbstverstärkenden Lernen, mit dem Ziel, KI Agenten zu entwerfen, die effizient und autonom in der realen Welt handeln. Dabei sind von Robotern zu bewältigende Objektmanipulationsaufgaben von besonderem Interesse, da die zeitliche Entwicklung dieser dynamischen Systeme nicht trivial ist und Manipulationsaufgaben schwierige Planungsprobleme darstellen. Die betrachteten induktiven Verzerrungen sind hauptsächlich von in der Natur zu findenden intelligenten Agenten, wie Tiere und Menschen, inspiriert. Die primären Inspirationsquellen sind wie folgt. (1) Hierarchisch organisierte und spezialisierte kortikale Strukturen, die die effektive Erlernung von Fähigkeiten unterstützen. (2) Das selbstorganisierte Spielen von Kindern zum Zwecke der Formung intuitiver Modelle und Theorien über die Welt. (3) Strukturierte Explorationsstrategien basierend auf unterschiedliche Formen von intrinsischer Motivation und lang anhaltender zeitlicher Korrelationen in motorischen Befehlen. (4) Imitationslernen. (5) Die Planung von Aktionssequenzen unter der Berücksichtigung von Unsicherheiten in mentalen Modellen der nichtdeterministischen Welt.

Diese Arbeit ist die Fortsetzung einer langen Historie von Ideen und Forschungsbemühungen, die Inspiration aus der Natur ziehen, um kompetentere KI Agenten zu entwickeln. Die Bemühungen in diesen Forschungsfeldern mündeten in der Ausbildung verschiedener Forschungsfelder wie hierarchisches selbstverstärkendes Lernen, Entwicklungsrobotik, intrinsisch motiviertes selbstverstärkendes Lernen und Repräsentationslernen. Diese Arbeit baut auf den in diesen Feldern entwickelten Ideen und Konzepten auf und kombiniert diese mit Methoden von modellfreiem und modellbasiertem selbstverstärkenden Lernen, um es Robotern zu ermöglichen, herausfordernde Objektmanipulationsaufgaben von Grund auf zu lösen. Die Hypothese, dass von der Natur inspirierte induktive Verzerrungen einen essenziellen Beitrag zur Erschaffung kompetenterer KI Agenten liefern könnten, wird dabei durch zahlreiche empirische Studien unterstützt.

The work presented in this thesis studies various nature-inspired inductive biases in the domain of model-free and model-based reinforcement learning with the goal of designing AI agents that act more efficiently and autonomously in natural environments. The domain of robotic manipulation tasks is particularly interesting as it involves non-trivial system dynamics and requires abundant planning and reasoning. The inductive biases under investigation are primarily inspired by intelligent agents found in nature, such as humans and other animals. The primary sources of inspiration are as follows. (1) Hierarchically organized and specialized cortical structures facilitating efficient skills learning. (2) The self-organized playing of children to form intuitive theories and models about the world. (3) Structured exploration strategies based on various forms of intrinsic motivation and long-lasting temporal correlations in motor commands. (4) Imitation Learning. (5) Uncertainty-aware planning of motor commands in imagined models of a non-deterministic world.

Consequently, this work continues a long history of ideas and research efforts that take inspiration from nature to build more competent AI agents. These efforts culminated in research fields such as hierarchical reinforcement learning, developmental robotics, intrinsically motivated reinforcement learning, and representation learning. This work builds on the ideas that were advanced in these fields. It combines them with model-free and model-based reinforcement learning methods to solve challenging robotic manipulation tasks from scratch. Empirical studies are carried out to support the hypothesis that nature-inspired inductive biases might be an essential building block in designing more competent AI agents.