Image-based extraction of eye features for robust eye tracking

Abstract

Die Eye-Tracking-Technologie gewinnt in der aktuellen Forschung und in industriellen Anwendungen zunehmend an Bedeutung als ein innovatives Instrument zur Erforschung des menschlichen Verhaltens. Einige prominente Anwendungsbeispiele liegen im Bereich der Human-Computer-Interaktion, in der Verhaltensforschung, in der Bildung, in der Medizin, in den Kognitionswissenschaften, in der Virtual/ Augmented Reality und in der Bildverarbeitung. In all diesen Bereichen wird Eye-Tracking zur Entwicklung nutzerzentrierter, technologischer Lösungen eingesetzt. Derzeit verfügbare Eye-Tracking-Systeme basieren auf einer bildbasierten Blickschätzung, die im Wesentlichen aus Pupillenerkennung, Bestimmung des Pupillenzentrums und Kalibrierung zur Blickschätzung besteht. Zusätzliche wichtige Merkmale sind dabei die Augenlider und der Grad der Augenöffnung, welche weiterführende Informationen über den kognitiven Zustand einer Person liefern können. Damit Eye-Tracking basierte Forschung zuverlässige Ergebnisse liefert und Anwendungen hochgradig nutzbar sind, muss die Extraktion solcher Merkmale robust gegen eine Vielzahl von Herausforderungen sein. Dazu gehören beispielsweise die unterschiedlichen Augenformen, physiologische Unterschiede der Pupille, Make-up, Reflexionen an Brillengläsern, wechselnde Lichtverhältnisse, Verdeckungen durch Wimpern, Muttermale in der Augenpartie, Bewegungsunschärfe und vieles mehr. Eine weitere sehr wichtige Herausforderung, insbesondere im Anwendungsbereich, ist die Geschwindigkeit der Augenbewegungen, für deren Erfassung hohe Bildraten benötigt werden. Dies führt jedoch dazu, dass die bildbasierte Abschätzung der Blickinformation innerhalb von wenigen Millisekunden erfolgen muss. Diese Dissertation widmet sich den oben genannten Herausforderungen und stellt neue, echtzeitfähige Algorithmen für die Pupillenerkennung sowie die Lidextraktion, sowohl regelbasiert als auch auf der Grundlage moderner Deep-Learning-Netzwerke, vor. Darüber hinaus beschäftigt sich diese Arbeit mit der automatischen Generierung neuer Detektoren und der vollautomatischen Annotation von Datensätzen auf Basis von maschinellen Lernansätzen. Schließlich werden neue Methoden der Datenvisualisierung betrachtet und beschrieben, die insbesondere für die Eye-Tracking-Datenanalyse hilfreich sein können. Alle in dieser Arbeit entwickelten Algorithmen, sowie große, begleitende, annotierte Ground-Truth-Datensätze, sind der Forschungsgemeinschaft auf Open-Source-Basis zur Verfügung gestellt worden und haben inzwischen ihre Anwendbarkeit in einer Vielzahl von Anwendungsbereichen bewiesen.