Modeling Robotic Systems with Activity Flow Graphs

Abstract

Autonomous robotic systems are becoming increasingly common in our society, with research efforts towards automated goods transportation, service robots and autonomous cars. These complex systems have to solve many different problems in order to function robustly. Two especially important areas of interest are perception and high level control. Intelligent systems have to perceive their surroundings in order to facilitate autonomy. With an understanding of the environment, they then can make their own decisions based on high level control policies defined by the developers.

Robotic systems differ drastically in their sensory capabilities, their computational power, and their designated tasks. When developing algorithms, however, we need to have a common modeling framework that enables us to generalize and re-use existing solutions. A modular approach, which is coherent across different platforms, also allows faster prototyping of new systems. In this dissertation we develop a modeling framework based on data flow that achieves this goal.

We first extend the existing Synchronous Data Flow (SDF) model and combine it with reactive programming ideas and finite-state machines. Together, these existing frameworks enable us to model many aspects of complex robotic systems. We apply this model to a robot in a warehouse scenario to demonstrate the viability of the approach.

Using three disjoint formalisms to model a robotic system has many downsides. In a first unification step we merge SDF and reactive programming into Hybrid Flow Graphs (HFGs), where we explicitly model synchronous and asynchronous data flow. We then apply the HFG model to the perception system of an autonomous transportation robot.

In a last step, we eliminate the need for separate finite-state machines by introducing the concept of activity into the data flow. We therefore unify the different aspects into a single and coherent framework which we call Activity Flow Graphs (AFGs). The flow of activity enables us to model high level state directly in the data flow graph. The result is a single computation graph that can express both perception and high level control aspects of any robotic system. We then demonstrate this with multiple high level robotic system models.

Finally, we make use of the uniform AFG model to provide a single graphical user interface that allows a developer to rapidly prototype complete robotic systems. Since all aspects of a robot can be implemented using the same theoretical framework, there is no need to switch between different paradigms. The user interface is designed to give immediate feedback, which speeds up prototyping, testing and evaluation, as well as debugging when working with real robots.

Autonome Roboter werden zunehmend zu einem wichtigen Bestandteil unserer Gesellschaft, in Bereichen wie dem automatisierten Gütertransport, in der Servicerobotik und bei autonomen Automobilen. Diese komplexen Systeme müssen viele Problem lösen, um robust zu funktionieren. Zwei sehr wichtige Anwendungsfelder sind die Umgebungswahrnehmung und die Ablaufplanung. Intelligente Systeme müssen ihre Umgebung wahrnehmen, um autonom agieren zu können. Mit einem Verständnis der Umwelt können sie Entscheidungen treffen, welche auf abstrakten Richtlinien der Entwickler basieren.

Verschiedene Roboter weichen stark in ihren sensorischen Fähigkeiten, in ihrer Rechenleistung und in ihren zu lösenden Aufgaben voneinander ab. Bei der Entwicklung von Algorithmen wird jedoch ein einheitliches Modellierungssystem benötigt, welches die Wiederverwendung von existierenden Lösungen erlaubt. Ein modulares System, welches über mehrere Plattformen hinweg genutzt werden kann, ermöglicht eine schnellere Entwicklung von neuen Systemen. In dieser Dissertation wird ein auf Datenfluss basierendes Modell entwickelt, welches diese Anforderungen erfüllt.

Zuerst wird das existierende Synchronous Data Flow (SDF) Modell erweitert und mit Elementen von reaktiver Programmierung und endlichen Zustandsautomaten kombiniert. Zusammen können so viele Aspekte von Robotern modelliert werden. Das Modell wird auf einen Roboter in einem Warenhausszenario angewandt, um den Ansatz zu validieren.

Drei verschiedene Formalismen zur Modellierung von Robotern zu verwenden hat viele Nachteile. In einem ersten Vereinigungsschritt werden SDF und reaktive Programmierung zu hybriden Flussgraphen (HFG) kombiniert, bei denen synchroner und asynchroner Datenfluss explizit modelliert werden. Dann wird das HFG-Modell auf die Wahrnehmungsmodule eines autonomen Transportsystems angewandt.

Anschließend wird der Bedarf eines Zustandsautomaten beseitigt, indem das Konzept der Aktivität in den Datenfluss eingeführt wird. Dadurch werden alle Aspekte in einem einzigen, schlüssigen System vereinigt, welches Aktivitätsflussgraph (AFG) genannt wird. Der Aktivitätsfluss ermöglicht es, den höheren Systemzustand direkt im Datenflussgraphen zu modellieren. Als Ergebnis erhalten wir einen einzigen Berechnungsgraphen, der sowohl zur Beschreibung der Umgebungswahrnehmung als auch zur Kontrolle der höheren Abläufe benutzt werden kann. Dies wird anhand mehrerer Robotersysteme demonstriert.

Eine graphische Benutzerschnittstelle wird bereitgestellt, welche von dem einheitlichen Modell Gebrauch macht, um ein schnelles Prototyping von Robotern zu ermöglichen. Da alle Aspekte mit demselben System modelliert werden, muss nicht zwischen verschiedenen Paradigmen gewechselt werden. Die Nutzerschnittstelle erleichtert Entwicklung, Test und Validierung von Algorithmen sowie das Auffinden von Fehlern bei echten Robotern.