Motion feedback in the teleoperation of Unmanned Aerial Vehicles

Abstract

Teleoperation of unmanned vehicles is a valuable tool in scenarios where the operator can not or should not operate the vehicle from on-board. Applications range from hazardous environments where exposure needs to be avoided, control of Unmanned Aerial Vehicles (UAV) to retrieve overviews of inaccessible disaster areas, to deep sea exploration where on-board operation is simply not possible. However, limitations in sensor performance, noise and laten- cies introduced in the transmission, and ineffective display of the information to the operator can lead to a reduced amount of infor- mation, reduced performance, a loss of situation awareness, and in the worst case a loss of the remote vehicle. The spatial decoupling between the operator and the vehicle is one of the main challenges in teleoperation. Most setups include one or more control sticks to steer the ve- hicle, a monitor displaying the live video feed of the main vehicle camera, and a seat for the operator. This can be extended by display- ing additional state information using monitors or visual overlay, rendered on top of the main video stream [Tvaryanas, 2004; van Erp, 2000]. However, processing of multiple screens can increase mental workload. This can cause the operator to miss important information, leading to a loss of situation awareness and reduced performance or a crash of the vehicle. Instead of presenting information purely visually, other feedback modalities can be used to convey vehicle state or information about the task. The goal of this PhD thesis is to investigate the possibility of providing additional information using motion feedback. Here, motion feedback is defined as physically moving the operator using a motion simulator. In the work presented in this thesis a distinction between two motion feedback types is made. Vehicle-state motion feedback describes vehicle motion, while task-related motion feedback is the result of the combination of desired and actual vehicle motion. To investigate the effects of motion feedback in teleoperation several studies have been conducted. In the experiments presented participants either controlled a virtual quadrotor flying in a simu- lated environment or a real octorotor. Participants controlled the UAV from within the CyberMotion Simulator (CMS), an 8-DOF motion simulator located at the Max Planck Institute for Biological Cybernetics. The results show that providing motion feedback has a positive effect on performance in teleoperation of remote UAVs. If the remote vehicle is subject to external disturbances, e.g., wind gusts, vehicle- state feedback showed to improve disturbance rejection capabilities leading to increased performance. Furthermore, motion feedback can be shaped to include additional information about the task with positive effects on performance. This shows that the additional information included in the motion feedback can be used by the operator to improve performance and control behavior.

Die Teleoperation eines unbemannten Gefährts ist ein wertvolles Werkzeug in Situationen, in denen der Pilot das Gefährt nicht von Bord aus steuern kann oder sollte. Beispiele hierfür reichen von, für den Piloten, toxischen Umgebungen, über Luftaufnahmen von Katastrophengebieten mithilfe von unbemannten Flugzeugen (engl. Unmanned Aerial Vehicle(UAV)), bis zur Erforschung der Tiefsee, bei der die Steuerung von Bord schlichtweg unmöglich wird. Allerdings führen Einschränkungen in der Sensorerfassung, Rau- schen und Latenzen in der Übertragung, sowie eine ineffiziente Darstellung der Informationen für den Piloten dann zu einem redu- zierten Informationsfluss, reduzierter Leistung, einem Verlust des Situationsbewusstseins und im schlimmsten Fall zu einem Verlust des Gefährts. Die räumliche Entkopplung zwischen dem Piloten und des Flugobjekts ist eine der wichtigsten Herausforderungen in der Teleoperation von UAVs. Die meisten Kontrollstationen beinhalten ein oder mehrere Steu- erknüppel um das Gefährt zu steuern, einen Monitor der eine di- rekte Videoübertragung der Hauptkamera anzeigt und ein Sitzplatz für den Piloten. Dies kann erweitert werden, in dem zusätzliche Statusinformationen mit weiteren Monitoren oder visuellen Über- lagerungen, die über die Hauptübertragung gezeichnet werden, angezeigt werden [Tvaryanas, 2004; van Erp, 2000]. Jedoch kann die Verarbeitung mehrerer Bildschirme die mentale Belastung erhö- hen. Dies kann dazu führen, dass der Pilot wichtige Informationen nicht aufnimmt, was zu einem Verlust des Situationsbewusstseins und einhergehender reduzierten Leistung oder einem Unfall des Gefährts führt. Anstatt Information rein visuell zu präsentieren, können ande- re Modalitäten genutzt werden Rückmeldungen über den Status des Gefährts oder Informationen über die Aufgabe zu präsentieren. Das Ziel dieser Doktorarbeit ist die Untersuchung der Modalität der Bewegung. Es soll untersucht werden, ob Bewegungen genutzt werden können, um dem Piloten zusätzliche Rückmeldungen über den Zustand des Gefährts bereit zu stellen. Bewegungsfeedback beschreibt hier die physikalische Bewegung des Piloten mit Hilfe eines Bewegungssimulators. In dieser Arbeit wird zwischen zwei Typen von Bewegungsfeedback unterschieden. Fahrzeugzustandsbe- wegungsfeedback beschreibt die Bewegung des Fahrzeugs, während Aufgabenabhängiges Bewegungsfeedback die Kombination aus tatsächli- chem und gewünschtem Fahrzeugzustand ist. Die Effekte von Bewegungsfeedback in der Teleoperation wurden in mehreren Studien untersucht. In den vorgestellten Experimenten kontrollierten Teilnehmer entweder einen virtuellen Quadrotor, der in einer simulierten Umgebung flog, oder einen echten Octorotor. Die Teilnehmer steuerten das UAV von der Kanzel des CyberMotion Simulators (CMS) aus, ein 8-DOF Bewegungssimulator, der sich am Max-Planck-Institut für biologische Kybernetik befindet. Die Ergebnisse zeigen, dass die Bereitstellung von Bewegungs- feedback positive Effekte auf die Leistung und das Verhalten des Piloten in der Steuerung des UAVs hat. Ist das UAV externen Stö- rungen ausgesetzt, wie z.B. Windstößen, zeigte sich, dass Fahr- zeugzustandsbewegungsfeedback die Fähigkeit der Störungsunter- drückung des Piloten verbessert, was zu Leistungsteigerungen führt. Außerdem zeigte sich, dass Bewegungsfeedback dahingehend ge- formt werden kann, zusätzliche Informationen über die Aufgabe bereitzustellen. Dies zeigt, dass die zusätzlichen Informationen vom Piloten genutzt werden können um Leistung und Kontrollverhalten zu verbessern.