Event-Based Computer Vision for Fast Robot Control

Abstract

Table tennis is a fast-paced sport requiring precise perception and agility to win a game. This makes table tennis an ideal test bed for robotic research. Thus, it is no surprise that in the past years, more research groups have started developing perception and control algorithms for table tennis playing robots. So far, all the table tennis robots in the literature use frame-based cameras for their perception pipeline. Given decades of research, mature algorithms for frame-based cameras are available. However, frame-based cameras face a limit in very dynamic scenes. The motion blur present in frames can lead to decreased accuracy or failure of frame-based pipelines. One way to counteract this is to reduce the exposure time and use frame-based cameras with a high frame rate. While this is fine from the sensor's perspective, it shifts the bottleneck to the algorithm, which now has to process more data at the same time. Another approach is using event-based cameras. These novel sensors report changes in illumination intensity with so-called events for every pixel independently and asynchronously. This leads to an event stream with low latency, a temporal resolution of $\mu$s, a high dynamic range, and data sparsity. Event-based cameras are thus an interesting sensor for table tennis robots with the potential to overcome the shortfalls of frame-based cameras.

However, event-based cameras output a stream of events, each containing the pixel's position, a time stamp, and the polarity of the intensity change. Therefore, the output of an event-based camera can not be processed by existing computer vision pipelines that use frames as input. In this PhD thesis, Event-Based Computer Vision for Fast Robot Control, we analyzed, developed, and evaluated event-based computer vision algorithms for the perception pipeline of a table tennis robot. Our contributions show that event-based computer vision can overcome the limitations of frame-based cameras. We show that an event-based ball detector can achieve an update rate more than an order of magnitude higher than a frame-based pipeline. This can help reduce the uncertainties of the predicted trajectory and the ball's spin, which is beneficial for robot control. The event-based spin estimation algorithm developed here delivers improved accuracy for fast-spinning balls, making it particularly valuable for challenging table tennis rallies where precise spin estimates are crucial.

In addition to these more table tennis-related contributions to perception, we also developed algorithms that are prerequisites for deploying event-based cameras in multi-view scenarios and in combination with frame-based cameras. These contributions are a calibration framework for wide-baseline camera systems with frame-based and event-based cameras and a benchmark for tuning the settings of an event-based camera.

Tischtennis ist ein dynamischer Sport, der präzise Wahrnehmung und hohe Agilität erfordert, um ein Spiel zu gewinnen. Diese Eigenschaften machen Tischtennis zu einer idealen Testumgebung für die Robotikforschung. Es ist daher wenig überraschend, dass in den vergangenen Jahren vermehrt Forschungsgruppen Wahrnehmungs- und Steuerungsalgorithmen für tischtennisspielende Roboter entwickelt haben. Bisher setzen alle in der Literatur beschriebenen Tischtennisroboter auf bildbasierte Kameras innerhalb ihrer Wahrnehmungspipeline. Aufgrund jahrzehntelanger Forschung stehen hierfür ausgereifte Algorithmen zur Verfügung. Allerdings stoßen bildbasierte Kameras in hochdynamischen Szenen an ihre Grenzen: Bewegungsunschärfe kann die Genauigkeit der Bildauswertung erheblich verringern oder sogar zum Versagen der gesamten Pipeline führen. Eine Möglichkeit zur Minderung dieser Problematik besteht darin, die Belichtungszeit zu verkürzen und Kameras mit hoher Bildfrequenz einzusetzen. Während dies aus Sensortechnischer Sicht vorteilhaft ist, verschiebt sich die Hauptbelastung auf die Algorithmen, die eine deutlich größere Datenmenge in kürzerer Zeit verarbeiten müssen. Eine alternative Lösung stellt der Einsatz von Event-basierten Kameras dar. Diese neuartigen Sensoren detektieren Änderungen der Beleuchtungsintensität unabhängig und asynchron für jedes Pixel einzeln. Daraus resultiert ein Event-Stream mit geringer Latenz, einer zeitlichen Auflösung im Mikrosekundenbereich, einem hohen Dynamikbereich sowie einer ausgeprägten Datensparsamkeit. Event-basierte Kameras sind daher ein vielversprechender Sensortyp für Tischtennisroboter und bieten das Potenzial, die Limitierungen bildbasierter Kameras zu überwinden.

Allerdings liefern Event-basierte Kameras keine konventionellen Bilder, sondern einen kontinuierlichen Stream einzelner Events, bestehend aus Pixelposition, Zeitstempel und Polarität der Helligkeitsänderung. Daher können bestehende Verfahren der Bildverarbeitung, die auf der Verarbeitung von Einzelbildern basieren, nicht direkt angewendet werden. In dieser Dissertation, \textit{Event-Based Computer Vision for Fast Robot Control}, wurden Event-basierte Algorithmen für die Wahrnehmungspipeline eines Tischtennisroboters analysiert, entwickelt und evaluiert. Die Beiträge dieser Arbeit zeigen, dass ereignisbasierte Bildverarbeitung die Grenzen bildbasierter Ansätze überwinden kann. Es wird demonstriert, dass ein Event-basierter Balldetektor eine Aktualisierungsrate erreicht, die mehr als eine Größenordnung über der bildbasierter Pipelines liegt. Dadurch können Unsicherheiten in der Vorhersage der Balltrajektorie sowie des Ballspins reduziert werden, was die Leistungsfähigkeit der Robotersteuerung erheblich verbessert. Der im Rahmen dieser Arbeit entwickelte Algorithmus zur Spin-Schätzung auf Basis Event-basierten Daten ermöglicht zudem eine erhöhte Genauigkeit insbesondere bei schnell rotierenden Bällen und ist somit von besonderem Wert für anspruchsvolle Spielsituationen im Tischtennis, in denen präzise Spin-Schätzungen entscheidend sind.

Neben diesen spezifischen Beiträgen im Bereich der Wahrnehmung für Tischtennisroboter wurden in dieser Arbeit auch grundlegende Algorithmen entwickelt, die den Einsatz Event-basierten Kameras in Multikamera-Szenarien sowie in Kombination mit bildbasierten Kameras ermöglichen. Dazu zählen ein Kalibrierungsframework für Kamerasysteme mit großer Basislinie, bestehend aus bildbasierten und ereignisbasierten Kameras, sowie ein Benchmark zur Optimierung der Sensoreinstellungen ereignisbasierter Kameras.