Real-Time Character Animation based on movement primitives from MoCap data

Abstract

The synthesis of realistic and complex body movements in real-time is a challenging task in computer graphics and in robotics. High realism requires accurate modeling of the details of the trajectories for a large number of degrees of freedom. At the same time, real-time animation necessitates flexible systems that can react in an online fashion and, therefore, adapting to external constraints. Such online systems are suitable for the self-organization of complex behaviors due to the dynamic interaction among multiple autonomous characters in the scene. A novel approach for the online synthesis of realistic human body movements is hereby presented. The proposed model is inspired by concepts from motor control as it approximates full-body movements by the superposition of lowerdimensional movement primitives -synergies- that are learned from motion capture data. For this purpose, a blind source separation algorithm is applied and provides significantly more compact representations than standard approaches for dimension reduction, such as PCA or ICA. When applying supervised learning methods, these source signals are further associated or ‘replaced’ with the stable solutions of low-dimensional nonlinear dynamical systems (dynamic primitives) in order to obtain a real-time architecture. In this way, the learned generative model can synthesize periodic and non-periodic movements, achieving high degrees of realism with a very small number of synergies. The application of a new type of stability analysis (contraction theory) permits the design of complex networks of such dynamic primitives, resulting in a stable overall system architecture. The design of stability properties of dynamical systems has been a core topic in control theory and robotics, but has rarely been addressed in the context of computer animation. One potential reason is the enormous complexity of the dynamical systems that are required for the accurate modeling of human body movements, and even more for the interaction between multiple interacting agents. In this context, the approach to the online simulation of realistic coordinated human movements is extended by introducing contraction theory as a novel framework that permits a systematic treatment of stability problems for systems in character animation. It yields tractable global stability conditions, even for systems that consist of many nonlinear interacting modules or characters.

Die Erzeugung realistischer und komplexer Körperbewegungen in Echtzeit ist für Computergraphiker und Robotiker eine schwierige und anspruchsvolle Aufgabe. Eine Animation realistischer Bewegungsabläufe setzt voraus, dass die zugrunde liegenden Trajektorien vor dem Hintergrund einer Vielzahl gegebener Freiheitsgrade möglichst detailliert und genau modelliert werden. Gleichzeitig müssen echtzeitfähige Animationen flexible Systeme und Mechanismen enthalten, um reaktiv und dynamisch mit der Umwelt zu kommunizieren bzw. sich ihr anzupassen. Solche Online-Systeme eignen sich für die Selbstorganisierung dynamischer, komplexer Szenen, bei denen mehrere virtuelle Charaktere autonom miteinander interagieren. Diese Arbeit stellt einen neuartigen Ansatz zur Online-Synthese realistischer menschlicher Körperbewegungen vor, der durch Konzepte aus dem Forschungsfeld der Motor-Control inspiriert wurde. Anhand von unüberwachten Lernmethoden können ganzkörperliche Bewegungen durch die Überlagerung von Bewegungsprimitiven –sogenannten Synergien– approximiert werden, welche auf Daten des Motion Capture Verfahrens beruhen, wobei ein neuartiger blind source separation Algorithmus zur Anwendung kommt. Im Vergleich zu den Standardverfahren der PCA und ICA stellt dieser Ansatz hinsichtlich der Dimensionsreduktion von Daten eine signifikant kompaktere Repräsentation dar. Werden überwachte Lernmethoden benutzt, um ein echtzeitfähiges Modell zu erhalten, so können die Quellensignale als stabile Lösungen niedrigdimensionaler, nichtlinearer dynamischer Systeme dargestellt werden. Auf diese Weise können periodische und nichtperiodische Bewegungsabläufe generisch erzeugt werden, wobei ein hoher Realismusgrad mit einer nur sehr geringen Anzahl von Synergien gewährleistet wird. Die Anwendung eines neuen Verfahrens der Stabilitätsanalyse, aus der Contraction Theory ermöglicht das Erstellen komplexer Netzwerke von dynamischen Primitiven mit einer stabilen Systemarchitektur. Während die Erzeugung von Stabilitätseigenschaften dynamischer Systeme im Bereich der Control Theory und Robotik zu den Kernthemen gehören, wird Stabilität im Kontext der Computeranimation kaum berücksichtigt. Grund dafür ist u.a. die Architektur dynamischer Systeme, die für realistische Modellierung von menschlichen Körperbewegungen äusserst komplex ist, v.a., wenn interaktives Verhalten zwischen multiplen virtuellen Charakteren dargestellt werden soll. Vor diesem Hintergrund wird der vorgestellte Ansatz durch die Einbeziehung von Methoden aus der Contraction Theory erweitert, um koordinierte menschliche Bewegungen online zu simulieren. Auf diese Weise können Stabilitätsproblemen bei der Charakteranimation systematisch betrachtet und gelöst werden. Daraus resultierend können globale Stabilitätseigenschaften gewonnen werden, auch bei Systemen, die viele Charaktere oder nichtlineare Interaktionsmodule enthalten.