Towards the automated recognition of assistance need for drivers with impaired visual field

Abstract

Mobility enabled through driving is a crucial aspect of today’s social lives. It concerns young and elderly people and is critical for those among us suffering from visual field defects. Since driving primarily involves visual input, such people are often considered as unsafe drivers and banned from driving, although several recent studies, including our own, provide evidence that even severe visual field defects can be compensated through effective visual search strategies. In this context, this work pursues the challenging vision of adaptive driving assistance systems that take the visual deficits of the driver into account to enable a safer driving experience. The main challenges towards this vision are: (1) individual analysis and detection of visual field defects, (2) online analysis of visual search behavior, and (3) integrated analysis of visual deficits, search behavior, and traffic objects to identify and draw the driver’s attention towards potential hazards. Each of the above challenges is approached by customized methods. For (1), a mobile method for the assessment of the visual field and an algorithm for the recognition of the type of the visual field defect are proposed. For (2), an online probabilistic method is combined with algebraic analysis of the driver’s gaze. For (3), a detailed analysis of the driving scene is combined with the above methods to reliably detect hazardous traffic objects that might be overlooked by the driver. The methods were evaluated on real-world data from driving experiments with patients suffering from visual field defects. In combination, they improve over state-of-the-art techniques by being flexible, adaptive, and reliable. The feasibility of detecting objects that might be overlooked by the driver, and thus an adaptive assistance need, is demonstrated in different user studies.

The methods developed in this work have a broad applicability that reaches beyond the driving context. Their application to a variety of tasks involving visual perception might help better understand its underlying mechanisms. Some of these tasks are already being investigated and will also be presented in this thesis.

Die Erhaltung der Mobilität bis ins hohe Alter ist ein wichtiger Aspekt für die Teilnahme am sozialen Leben. Vor allem das Fahren spielt in diesem Zusammenhang eine entscheidende Rolle. Da das Fahren hauptsächlich auf visuellem Input beruht, können visuelle Defizite die Fahrtauglichkeit beeinträchtigen, z.B. wenn verkehrsrelevante Objekte zu spät oder gar nicht wahrgenommen werden. Von fortgeschrittenen Gesichtsfelddefekten betroffene Personen werden daher oft vom Fahren ausgeschlossen. Viele Studien, einschließlich unsere eigenen, zeigen jedoch, dass Gesichtsfelddefekte durch explorative Augen- und Kopfbewegungen kompensiert werden können. Patienten, die ein solches Explorationsvermögen aufweisen, können durchaus eine gute Fahrleistung erbringen. Zudem könnten Assistenzsysteme, die die individuelle Gesichtsfeldeinschränkung des Fahrers berücksichtigen, um ihn adaptiv zu unterstützen, einen wesentlichen Beitrag zur Erhaltung der Mobilität leisten. Diese Arbeit verfolgt die herausfordernde Vision der adaptiven, individuellen Fahrassistenz für Personen mit Gesichtsfelddefekten. Im Rahmen dieser Dissertation wurden Grundlagen zur Erkennung des individuellen Unterstützungsbedarfs erforscht. Hierfür müssen drei Aufgaben gelöst werden: (1) Analyse des individuellen Sehdefizits, (2) Echtzeitanalyse des Fahrerblicks zur Identifikation wahrgenommener Objekte und (3) integrierte Analyse des Fahrerblicks, des visuellen Defizits und der Information aus der Fahrszene, um die Aufmerksamkeit des Fahrers in Richtung der Objekte zu lenken, die übersehenen werden könnten.

Zur Erfassung des individuellen, visuellen Defizits wurde (1) eine Methodik zur schnellen und mobilen Messung des Gesichtsfelds und zur automatischen Klassifikation der Gesichtsfelddefektmuster entwickelt. Zur Echtzeitanalyse des Fahrerblicks wurde (2) ein effizientes Verfahren entwickelt, das ein probabilistisches Modell mit Methoden der linearen Algebra kombiniert. Diese Verfahren wurden mit Informationen aus der Fahrszene integriert, um (3) potentiell übersehene Gefahrenobjekte zu identifizieren. Alle Methoden wurden in Fahrexperimenten im realen Straßenverkehr und im Fahrsimulator der Daimler AG evaluiert. Die Machbarkeit einer Echtzeiterkennung des individuellen Unterstützungsbedarfs wurde ebenfalls in diesen Studien getestet.

Die Integration dieser Methoden verbessert den Stand-der-Technik hinsichtlich der Flexibilität, Adaptivität und Zuverlässigkeit. Obwohl die Aktivität des Fahrens als primäre Anwendungsmöglichkeit gesehen werden kann, können die im Rahmen dieser Arbeit entwickelten Methoden breitere Anwendung finden und dadurch zum besseren Verständnis der Mechanismen der visuellen Aufmerksamkeit beitragen.