Algorithms for the comparison of visual scan patterns

Abstract

Our actions and intentions characterize the movement patterns of our eyes. Our visual exploration is driven by a mixture of cognitive processes and a conflict between the inspection of detail and the maintenance of an up-to-date overview. As a consequence, the determination of the influence of separate behavioral factors is challenging. The work at hand examines how eye movement sequences can be compared to each other. This process is at the core of almost every eye-tracking study as it answers questions such as: "Does gaze behavior of a patient group differ from his/her control group?," "How does experts’ visual exploration differ from novices’?," "How does the composition of a painting influence the observer’s gaze?" Therefore, several eye movement processing steps are revised: The issue of data quality is discussed with focus on methods and benchmarks to assure good quality during pupil detection, gaze mapping and eye movement identification in dynamic scenarios. Furthermore, eye-tracking data is integrated with physiological parameters such as ECG, galvanic skin conductivity and pupil dilation. The fusion of these complementary physiological sensors helps to disambiguate gaze and attention allocation. This thesis proposes a novel method for the comparison of visual scan patterns, which is based on the frequency of short snippets of the whole eye movement sequence. Combined with current techniques in machine learning, the method is adaptable to a multitude of applications. Visualization and aggregation procedures for frequently traversed gaze trails are demonstrated on the basis of the finding that these short patterns are highly characteristic to many applications. The proposed comparison technique is evaluated against state-of-the-art approaches on a new collection of data from a broad spectrum of eye-tracking experiments, ranging from static viewing tasks to highly dynamic outdoor scenarios. It effectively predicts the observer’s task in a conjunction search task and in the more complex Yarbus experiment significantly above chance level. Furthermore, it is possible to assess driving fitness and the driver’s secondary task, as well as to classify the expertise of neurosurgeons. This new approach is able to identify the influence of a single experimental factor upon eye movement sequences. In contrast to all competing methods, it generalizes well over a broad spectrum of experimental designs.

Unsere Handlungen und Absichten spiegeln sich in den Bewegungen unserer Augen wieder. Die visuelle Exploration wird von einem Mix an kognitiven Prozessen und dem Konflikt sowohl Details erkennen zu können, als auch einen aktuellen Überblick zu bewahren, angetrieben. Deshalb ist es schwierig den Effekt einzelner Verhaltensfaktoren zu isolieren. Diese Arbeit untersucht, wie Augenbewegungssequenzen miteinander verglichen werden können. Dieser Vergleich ist Herzstück fast jeder Eye-Tracking Studie und beantwortet Fragen wie: "Unterscheidet sich das Blickverhalten einer Patientengruppe von der Kontrollgruppe?", "Wie unterscheidet sich das Explorationsverhalten von Experten und Anfängern?", "Wie wirkt sich die Komposition eines Bildes auf den Blick des Betrachters aus?" Dafür sind mehrere Verarbeitungsprozesse der Augenbewegungen notwendig: Die Frage der Datenqualität wird mit Schwerpunkt auf Benchmarks zur Sicherstellung guter Pupillenerkennung, Blickrichtungsbestimmung und Augenbewegungsklassifikation in dynamischen Szenarien behandelt. Außerdem werden Blickdaten mit anderen physiologischen Signalen, wie EKG, Hautleitwert und Pupillendurchmesser kombiniert. Die Fusion dieser sich ergänzenden Sensoren ermöglicht es Blick- und Aufmerksamkeitszuwendung voneinander zu trennen. In dieser Arbeit wird ein neuer Algorithmus für den Vergleich von visuellen Blicksequenzen vorgestellt, der auf Häufigkeitsverteilung kurzer Teilsequenzen in der Gesamtsequenz basiert. Kombiniert mit einem maschinellen Lernverfahren kann sich diese Methode selbstständig an eine Vielzahl von Applikationen anpassen. Visualisierungsformen und Aggregationsmethoden für häufig genutzte Blickpfade, die ebenfalls auf der Annahme basieren, dass diese kurzen Teilsequenzen charakteristisch für viele Anwendungen sind, werden demonstriert. Die vorgestellte Methode wird auf einem neuen Datensatz, der ein breites Spektrum an typischen Eye-Tracking Experimenten enthält, gegen den Stand der Technik evaluiert. Diese Daten enthalten sowohl statische, als auch hochdynamische Realszenarien. So kann die Aufgabenstellung des Betrachters während einer seriellen Suchaufgabe aber auch während der komplexeren Aufgabenstellung des Yarbus Experiments signifikant über der Ratewahrscheinlichkeit klassifiziert werden. Außerdem ist es möglich Fahrtüchtigkeit und durchgeführte Nebenaufgabe eines Fahrzeugführers, sowie den Erfahrungslevel von Chirurgen zu bestimmen. Dieser neuartige Ansatz ist in der Lage den Einfluss einzelner Faktoren auf eine Blicksequenz zu identifizieren. Im Gegensatz zu anderen Methoden generalisiert der Ansatz auf ein breites Spektrum an experimentellen Designs.