Towards Ubiquitous Wearable Eye Tracking

Abstract

It is often said that the eyes are the window to the soul. While science might never be able to prove or disprove the mere existence of a soul, it has nonetheless found strong evidence that gaze is the window to the mind. Not only has eye tracking played a key part in these findings, it also holds immeasurable potential to further advance our understanding of the human mind and revolutionize the way we interact with our devices. However, to fully realize this potential, it is imperative to bring eye tracking out of the laboratory and into the wild. Towards enabling ubiquitous wearable eye tracking, this thesis deals with the challenges involved in this transference, focusing on head-mounted video-based devices. At the feature extraction level, this work introduces novel methods to reliably and robustly detect and track the pupil in real-time, proposing advanced metrics for their evaluation, as well as exploring the influence of such methods on the resulting estimated gaze signal. At the gaze estimation level, the thesis deals with two of the main factors hindering a wider eye tracking adoption: Calibration and Slippage. To improve calibration usability, a innovative approach is proposed, which enables the collection of plentiful calibration points quickly and unsupervisedly virtually anywhere. Slippage is tackled by a novel hybrid method combining a geometrical slippage-robust feature and traditional regression-based gaze-mapping functions. At the eye movement detection level, a probabilistic approach is proposed to identify fixations, saccades, and smooth pursuits at lower sampling rates. The methods herein introduced form the basis of a complete state-of-the-art eye-tracking platform competitive with expensive commercial eye-tracking systems. Unlike these commercial systems, the platform is open-source, able to track participants outdoors and with glasses, and requires no additional hardware such as stereo eye cameras or multi-glint pat- terns. The effectiveness of the resulting system is shown through a large-scale, pervasive, and unconstrained eye-tracking study.

Es wird oft gesagt, dass die Augen das Fenster zur Seele sind. Während die Wissenschaft vielleicht nie in der Lage sein wird, die Existenz der Seele zu beweisen oder zu widerlegen, hat die Forschung dennoch etliche Beweise dafür geliefert, dass unsere Augen das Fenster zum Gehirn sind. Die Aufzeichnung der Augenbewegungen, sog. Eye-Tracking, spielt nicht nur eine Schlüsselrolle bei der Erforschung vieler kognitiver Prozesse, sondern birgt darüber hinaus enormes Potenzial zur Entwicklung intelligenter Interaktionsschnittstellen. Um dieses Potenzial jedoch ausschöpfen zu können, ist es unabdingbar, die Eye-Tracking-Technologie aus dem Labor in alltäglichen Anwendungen zu bringen. Diese Dissertation stellt sich den Herausforderungen auf dem Weg zum allgegenwärtigen, tragbaren Eye- Tracking und erforscht Methoden für eine robuste Blickerfassungstechnologie mit Fokus auf kopfgetragenen videobasierten Geräten. Auf der Ebene der Merkmalsextraktion stellt diese Arbeit neue Verfahren zur zuverlässigen und robusten Erkennung und Verfolgung der Pupille in Augenbildern vor und führt zudem fortgeschrittene Metriken für ihre Bewertung und zur Untersuchung des Einflusses solcher Methoden auf das resultierende, geschätzte Blicksignal ein. In Bezug auf die Blickschätzung beschäftigt sich diese Dissertation mit zwei der wichtigsten Faktoren, die aktuell eine breitere Akzeptanz der Eye-Tracking-Technologie erschweren: Kalibrierung und Verschiebung des kopfgetragenen Geräts. Um die Handhabung der Kalibrierung zu verbessern, wurde ein innovativer Ansatz erforscht, der es ermöglicht, zahlreiche Kalibrierpunkte schnell und unbeaufsichtigt praktisch überall zu sammeln. Zur Vermeidung von Blickschätzungsungenauigkeiten, die durch das Verrutschen des Eye-Tracking-Geräts entstehen können, wurde eine neue Hybridmethode erforscht, die einen geometrischen Ansatz mit traditionellen regressionsbasierten Blickabbildungsfunktionen kombiniert. Auf der Ebene der Augenbewegungserkennung wird ein probabilistischer Ansatz vorgeschlagen, um Fixationen, Sakkaden und Folgebewegungen bei geringen Abtastraten robust zu erkennen. Die hierin erforschten Methoden bilden die Grundlage für eine komplette, state-of-the-art Eye-Tracking-Plattform, die mit teuren kommerziellen Eye-Tracking-Systemen konkurrenzfähig ist. Im Gegensatz zu kommerziellen Systemen steht die Plattform jedoch als Open-Source-Lösung zur Verfügung, sie ermöglicht eine robuste Blickerfassung in freien Settings und Außenstudien, und erfordert keine zusätzliche Hardware wie Stereo-Augenkameras oder Multi-Glint-Muster. Die Effektivität des resultierenden Systems wird durch eine groß angelegte, umfassende und uneingeschränkte Eye-Tracking-Studie demonstriert.