Touching up on faces -A multisensory perspective on acquiring expertise with faces-

Abstract

Faces are often considered to be different from other object categories both because of the sociobiological necessity for humans to differentiate members of their own group, and because of the differences in cognitive demands for face perception relative to general object recognition. A tremendous amount of research has shown that human observers are experts at visual face recognition due to specialized visual mechanisms for face processing that evolve with perceptual expertise. In this Ph.D. thesis, we introduce haptic face processing as a tool for studying the mechanisms underlying face processing expertise from new angles. In the first study, we tested face recognition within and across the haptic and visual modalities. We showed that both the haptic and visual systems have the capacity to process faces, and that face-relevant information can be shared across sensory modalities. Interestingly, we found this information transfer across modalities to be asymmetric and limited by haptic face processing. In the second study, we investigated whether and how the way in which haptic information is gathered affects the encoding, processing and storage of that information and consequently how it affects face recognition performance. This was achieved by using a gaze-restricted display to constrain the visual system to sequential, self-directed exploration, promoting serial encoding in vision in much the same way that the haptic system encodes objects. We found that face recognition was equally disrupted using gaze-restricted vision and haptics as compared to unrestricted vision with a clear switch from configural to featural processing. In the third study, we focused on the role of perceptual expertise on information processing of serially encoded faces using a gaze-restricted display, i.e. whether participants can learn to efficiently recognize faces that are serially encoded. We showed that practice with a previously novel way of perceiving faces, i.e. through serial encoding, can lead to some of the recognition effects typically associated with unrestricted visual face recognition, indicating that – at least for vision - serial encoding of information might allow for expert face processing. In the fourth study, we used a different approach to the question how perceptual expertise shapes efficient face processing strategies by studying haptic face recognition in the sighted, congenitally blind, and acquired blind. Our results demonstrated the crucial role of visual input for the development of efficient face processing capabilities inasmuch as a lack of relevant visual experience cannot be compensated for or improved by purely perceptual haptic expertise. Overall the thesis highlights how modality-specific differences in information acquisition affect processing strategies in high-level tasks, such as face recognition, and under which conditions those differences can be compensated for by perceptual expertise. Studying haptic face processing (and its contribution in a cross-modal context) is, therefore, a valuable new tool for studying face processing itself, the mental representation and the role of perceptual expertise, but also the differences and commonalities of information processing in the visual and haptic modalities.

Gesichter werden oftmals als verschieden von anderen Objektkategorien betrachtet, sowohl aufgrund der soziobiologischen Notwendigkeit für Menschen Mitglieder ihrer eigenen Spezies zu unterscheiden als auch aufgrund der unterschiedlichen kognitiven Anforderungen für Gesichtswahrnehmung im Vergleich zur generellen Objekterkennung. Umfangreiche Studien haben gezeigt, dass menschliche Betrachter Experten für visuelle Gesichtserkennung sind, basierend auf spezialisierten visuellen Mechanismen für die Verarbeitung von Gesichtern, die sich mit perzeptueller Expertise entwickeln. In dieser Dissertation stellen wir haptische Gesichtserkennung als eine neue Methodologie zur Untersuchung der Mechanismen vor, die der Expertise für Gesichtsverarbeitung zu Grunde liegen. In der ersten Studie testeten wir Gesichtserkennung innerhalb und über die visuelle und haptische Modalität hinweg. Wir konnten zeigen, dass sowohl das haptische als auch das visuelle System zur Verarbeitung von Gesichtern fähig sind und dass gesichtsbezogene Informationen zwischen den sensorischen Modalitäten geteilt werden kann. Interessanterweise war der Transfer von Informationen asymmetrisch und beschränkt durch haptische Informationsverarbeitung. In einer zweiten Studie untersuchten wir ob und wie die Art und Weise in der haptische Information gesammelt wird Enkodierung, Verarbeitung und Speicherung dieser Information und, folglich, die Gesichtserkennungsleistung, beeinflusst. Dies wurde möglich durch die Verwendung eines Displays, welches das Gesichtsfeld einschränkte, um das visuelle System auf serielle, selbstgesteuerte Exploration zu begrenzen. Hierdurch wurde die serielle Enkodierung im Visuellen gefördert, ähnlich der Art und Weise in der das haptische System Objekte enkodiert. Wir fanden dass haptische und visuell beschränkte Gesichtserkennung im Vergleich zu normaler visueller Gesichtserkennung gleichermaßen beeinträchtigt waren, einhergehend mit einem deutlichen Wechsel von globalen (sog. konfiguralen) hin zu lokalen (sog. merkmalsbasierten) Strategien der Informationsverarbeitung. In einer dritten Studie untersuchten wir die Rolle der perzeptuellen Expertise im Hinblick auf Informationsverarbeitung von seriell enkodierten Gesichtern unter Verwendung des visuell beschränkten Displays, also, ob Versuchsteilnehmer erlernen können seriell enkodierte Gesichter effizient zu erkennen. Wir zeigten, dass Übung mit einer im Vorfeld neuartigen Art und Weise Gesichter wahrzunehmen (d.h. durch serielle Enkodierung), zu einigen, für unbeschränkte visuelle Gesichtserkennung typischen Erkennungseffekten führen kann. Dies deutet daraufhin, dass - zumindest für das Visuelle - serielle Enkodierung von Informationen Gesichtsverarbeitung auf Expertenniveau ermöglicht. In der vierten Studie verfolgten wir einen anderen Ansatz, um die Frage zu beantworten wie perzeptuelle Expertise effiziente Gesichtsverarbeitungsstrategien formt, indem wir Gesichtserkennung in Sehenden, Geburtsblinden und Erblindeten untersuchten. Unsere Ergebnisse unterstrichen die Wichtigkeit des visuellen Inputs für die Entwicklung von effizienten Gesichtsverarbeitungsfähigkeiten insofern als ein Fehlen von relevanter visueller Erfahrung nicht durch rein haptische perzeptuelle Expertise kompensiert oder verbessert werden kann. Zusammenfassend zeigt die Dissertation wie modalitäten-spezifische Unterschiede in der Informationserfassung Verarbeitungsstrategien bei der Gesichtserkennung beeinflussen und unter welchen Voraussetzungen solche Unterschiede durch perzeptuelle Expertise kompensiert werden können. Die Untersuchung von haptischer Gesichtserkennung (und ihr Beitrag in einem kross-modalen Zusammenhang) ist daher eine wertvolle neue Methodologie um Gesichtsverarbeitung selbst, deren mentale Repräsentation und die Rolle von perzeptueller Expertise, aber auch die Unterschiede und Gemeinsamkeiten der Informationsverarbeitung in der visuellen und haptischen Modalität, zu untersuchen.