Gesture-Based Nonverbal Interaction for Exercise Robots

Abstract

Die Dissertation ist gesperrt bis zum 09. Oktober 2025 !

Das Aufkommen eigenständiger Trainingsrobotersysteme ist eine aufregende Entwicklung, um Menschen zuverlässige Möglichkeiten beim Erlernen neuer motorischer Fähigkeiten und bei der Erhaltung ihrer Fitness zu bieten. Sozial unterstützende Roboter haben bereits ihr Potenzial als Fitnesstrainer unter Beweis gestellt, doch der Einsatz in der realen Welt bleibt eine Herausforderung. Im Mittelpunkt steht dabei das Thema der gestenbasierten Interaktion. Wenn Menschen unterrichten oder trainieren, ergänzen sie ihre Worte mit sorgfältig getimten Handgesten, Kopf- und Körperbewegungen und Gesichtsausdrücken, um ihren Schülern Feedback zu geben. Roboter hingegen nutzen diese ergänzenden Hinweise nur selten. Ein minimal überwachter unterstützender Roboter, der mit diesen Fähigkeiten ausgestattet ist, könnte Menschen beim Sport, bei der Physiotherapie und beim Erlernen neuer Aktivitäten unterstützen. Diese Arbeit untersucht, wie die intuitive Wirkung menschlicher Gesten genutzt werden kann, um die Mensch-Roboter Interaktion zu verbessern. Dafür thematisiert diese Dissertation gestenbasierte Interaktionen, um die Fähigkeiten eines sozial unterstützenden robotischen Bewegungstrainers zu erweitern. In diesem Zusammenhang werden die Perspektiven sowohl von unerfahrenen Nutzern als auch von Experten für Bewegungstherapie eingebracht.

Diese Dissertation setzt den ersten Schwerpunkt auf die Interaktion des Benutzers mit dem Roboter und analysiert die Machbarkeit von minimal überwachten gestenbasierten Interaktionen. Diese Untersuchung zielt darauf ab, einen Rahmen zu schaffen, in dem Roboter auf eine intuitivere und reaktionsfreudigere Weise mit dem Benutzer interagieren können. Die Untersuchung verlagert dann ihren Schwerpunkt auf die Fachleute, die für den Erfolg dieser innovativen Technologien unerlässlich sind: die Experten für die Bewegungstherapie. Robotiker stehen vor der Herausforderung, das Wissen dieser Experten in Roboterinteraktionen zu übersetzen. Wir gehen dieser Herausforderung nach, indem wir einen Algorithmus entwickeln, der es der Bewegungstherapie ermöglicht, maßgeschneiderte gestenbasierte Interaktionen für einen Roboter zu erstellen und so die Wissenslücke zu schließen. Diese Arbeit ist daher wie folgt in vier Teile gegliedert.

Der erste Teil dieser Arbeit konzentriert sich auf die Entwicklung des „Robot Interaction Studio“, einer hochmodernen, minimal überwachten Umgebung, die sozial-physische Interaktionen mit einem Trainingsroboter ermöglicht. Durch den Einsatz von markerloser Motion-Capture-Technologie ist das System in der Lage, umfangreiche quantitative Informationen von einem Benutzer zu erhalten, während dieser mit dem Roboter interagiert. Zur Evaluierung dieses Systems wurde eine Nutzerstudie mit sieben Teilnehmern und drei unterschiedlichen gestenbasierten Interaktionen durchgeführt, die auf allgemein beobachteten sozialen Verhaltensweisen beruhen. Herkömmliche Trainings-Coaching-Systeme erfordern oft eine intensive Betreuung durch technische Experten, sind umständlich und zeitaufwändig in der Einrichtung und können keine ausreichenden Informationen über die Bewegungen der Benutzer liefern. Dieses innovative System überwindet diese Einschränkungen, indem es reichhaltige, quantitative Daten generiert, die eine persönlichere Interaktion ermöglichen könnten.

Der zweite Teil dieser Arbeit verlagert den Schwerpunkt auf die Fähigkeit des Roboters, dem Benutzer sinnvolles Feedback zu geben. In dieser Phase wird auch demonstriert, wie das „Robot Interaction Studio“ dynamische gestenbasierte Interaktionen mit einem Roboter fördern kann. Wir haben uns von bewährten Techniken aus der pädagogischen Literatur inspirieren lassen und zwei verschiedene Feedback-Paradigmen für den Roboter entwickelt: formatives Feedback und summatives Feedback, die beide im „Robot Interaction Studio“ anhand der im ersten Teil dieser Arbeit entwickelten gestenbasierten Hinweise ausgewertet werden. Anhand einer Studie mit kombinierten Methoden und 28 Teilnehmern zeigen wir, dass Roboter gestenbasiertes Feedback effektiv nutzen können, um die Leistung und das Verständnis des Benutzers zu verbessern. Dies bietet einen neuartigen Ansatz zur Steigerung des Engagements des Benutzers bei körperlichen Aktivitäten mit Robotern.

Der dritte Teil konzentriert sich auf die Fachleute, die für die Ausarbeitung von Übungstechniken für Patienten verantwortlich sind. Eine große Herausforderung ist die Anpassbarkeit von Trainingsrobotern, um diese für Experten der Bewegungstherapie zugänglich zu machen. Vorhandene Roboter sind oft eingeschränkt programmiert und können von Nicht-Robotikern nicht leicht verändert werden. Wir schlagen vor, dass dieses Problem durch Motion-Capture-unterstützte Teleoperation gelöst werden kann. Daher nutzen wir halbstrukturierte Interviews und qualitative Umfragen, um die Sichtweise von acht Experten auf Trainingsroboter und deren Teleoperation zu verstehen. Wir zeigen auf, wie die Anpassbarkeit durch Teleoperation die Wahrnehmung von Robotern durch Experten deutlich verbessern kann, indem die Technologie besser auf ihre Bedürfnisse abgestimmt wird.

Zuletzt widmet sich diese Dissertation der Entwicklung eines intuitiven Systems, das Therapieexperten zur Erstellung von Roboterarmbewegungen verwenden könnten. Ausgehend von der Tatsache, dass Experten der Teleoperation gegenüber aufgeschlossen sind, basiert das System auf dem Motion-Capture-basierten kinematischen Retargeting. Dieser Ansatz dient dazu, Bewegungen von einem Modell auf ein anderes zu übertragen, welches sich für menschliche Bediener als äußerst intuitiv erwiesen hat. Es wurde ein optimierungsbasierter Algorithmus mit dem Namen OCRA entwickelt und gründlich evaluiert. Der Benutzer kann sein Verhalten anpassen, indem er eine Gewichtung festlegt, dass die relative Relevanz des Handorientierungsfehlers im Vergleich zur Form des Arms im Raum bestimmt, welches wir als Arm-Skelett-Fehler bezeichnen. Er ist vielseitig einsetzbar bei Robotern mit unterschiedlichen Gliedmaßenlängen und Freiheitsgraden, vorausgesetzt, sie verfügen über Drehgelenke. Eine detaillierte Studie, bei der 70 Teilnehmer Videos von einem Roboter sahen, der vier Bewegungen jeweils mit vier Gewichtungen ausführte, zeigt die Fähigkeit des Algorithmus, menschenähnliche Bewegungen nachzubilden. Rigoroses Benchmarking und Validierung unterstreichen die Robustheit von OCRA und machen ihn zu einem vielversprechenden Werkzeug für die Erstellung von Robotergesten.

Somit legt diese Arbeit den Grundstein für dynamische gestenbasierte Interaktionen in minimal überwachten Umgebungen, was nicht nur für Trainingsroboter, sondern auch für breitere Anwendungen in der Mensch-Roboter-Interaktion von Bedeutung ist.

The emergence of standalone exercise-coach robotic systems is an exciting prospect in the pursuit of reliable ways to help people learn new physical skills and maintain fitness. While socially assistive robots have demonstrated potential as exercise coaches, real-world deployment remains a challenge. Central to this issue is the topic of gesture-based interactions. When teaching or coaching, humans augment their words with carefully timed hand gestures, head and body movements, and facial expressions to provide feedback to their students. Robots, however, rarely utilize these complementary cues. A minimally supervised social robot equipped with these abilities could support people in exercising, physical therapy, and learning new activities. This thesis poses the question of how the intuitive power of human gestures can be harnessed to enhance human-robot interaction. In an effort to answer this query, the presented research explores gesture-based interactions to expand the capabilities of a socially assistive robotic exercise coach, investigating the perspectives of both novice users and exercise-therapy experts.

This thesis begins by concentrating on the user's engagement with the robot, analyzing the feasibility of minimally supervised gesture-based interactions. This exploration seeks to establish a framework in which robots can interact with users in a more intuitive and responsive manner. The investigation then shifts its focus toward the professionals who are integral to the success of these innovative technologies: the exercise-therapy experts. Roboticists face the challenge of translating the knowledge of these experts into robotic interactions. We address this challenge by developing an algorithm that can enable exercise therapists to create customized gesture-based interactions for a robot, thereby bridging the knowledge gap. This thesis is thus divided into four parts, as follows.

The initial part of this thesis focuses on the development of the Robot Interaction Studio, a cutting-edge, minimally supervised environment designed to facilitate social-physical interactions with an exercise robot. By leveraging markerless motion-capture technology, the system is capable of obtaining extensive quantitative information from a user as they interact with the robot. A within-subjects study with seven users was conducted to evaluate this setup, employing three distinct gesture-based interactions rooted in commonly observed social behaviors. Traditional exercise coaching systems often require heavy supervision by technical experts and can be cumbersome and time-consuming to set up, lacking the ability to provide sufficient information about user movement. This innovative system overcomes these limitations by generating rich, quantitative data that could enable more personalized interactions.

The second part of this thesis shifts the focus to the robot's ability to provide meaningful feedback to the user. This phase also demonstrates how the Robot Interaction Studio can foster dynamic gesture-based interactions with a robot. Drawing inspiration from time-tested techniques found in the educational literature, we designed two distinct feedback paradigms for the robot, formative feedback and summative feedback, which are evaluated in the Robot Interaction Studio using the gesture-based cues developed in the first part of this thesis. Through a mixed-methods-design study with 28 participants, we demonstrate that robots can effectively utilize gesture-based feedback to enhance user performance and understanding, offering a novel approach to increase user engagement during physical activities with robots.

The third section focuses on the professionals who are responsible for crafting exercise techniques for patients. A significant challenge is enabling the customizability of exercise-coach robots for use by exercise-therapy experts. Existing robots, often hard-programmed, cannot be easily modified by non-roboticists. We propose that motion-capture-based teleoperation could be used to resolve this issue by allowing an exercise expert to move their own body to create motions for a robot's arms and head. Thus, we utilize semi-structured interviews and qualitative surveys to understand the perspectives of eight experts on exercise robots and their teleoperation. We illustrate how infusing customizability through teleoperation can notably enhance experts' perception of robots, aligning the technology more closely with their needs.

Lastly, the thesis turns to the development of an intuitive system that therapy experts could readily employ to create robot arm motions. Guided by the fact that experts are open to using teleoperation, the system is founded on motion-capture-based kinematic retargeting, an approach shown to be highly intuitive for human operators. An optimization-based algorithm named OCRA was created and thoroughly evaluated; the user can customize its behavior by setting one weight that dictates the relative importance of hand orientation error versus the shape of the arm in space, which we term arm skeleton error. It exhibits versatility across robots with varying limb lengths and degrees of freedom, provided they have revolute joints. A detailed study in which 70 users watched videos of a robot executing four operator motions each at four weight values demonstrates the algorithm's ability to replicate human-like motions. Rigorous benchmarking and validation further emphasize OCRA's robustness, making it a promising tool for creating robotic gestures.

Thus, this thesis lays the groundwork for dynamic gesture-based interactions in minimally supervised environments, with implications for not only exercise-coach robots but also broader applications in human-robot interaction.