Multisensory Interactions of Visual and Tactile Modalities

Abstract

Theorien und Modelle der multisensorischen Wahrnehmung haben in den letzten Jahren Aufmerksamkeit erregt. Das Verständnis der multisensorischen Wahrnehmung ist für Kognitionswissenschaftler von großem Interesse und für Ingenieure von entscheidender Bedeutung, um künstliche sensorische Geräte zu entwickeln. Das Berührungspotential für künstliche sensorische Geräte sowie die starke Verbindung zwischen Berührung und Sehen haben uns motiviert, die Wechselwirkungen zwischen Sehen und Berührung zu erforschen, wobei der Schwerpunkt auf Berührungsstimulationen mit einem speziell entwickelten künstlichen sensorischen Gerät liegt. Insbesondere untersuchten wir drei verschiedene Arten von Interaktionen in drei Studien: Die multisensorische Wahrnehmung und Kalibrierung für visuell-taktile Informationen in einer realistischen Umgebung (Studie 1), den multimodalen aufgabenunrelevanten Effekt (Studie 2) und schließlich das modalübergreifende Lernen und Integrieren von Sehen und Berühren unter neuartigen taktilen Erfahrungen (Studie 3). In Studie 1 wurde untersucht, wie sich die Teilnehmer unter verschiedenen Zuverlässigkeitsbedingungen an den Cue-Konflikt zwischen sensorischen Informationen anpassen würden. Unsere Ergebnisse zeigten, dass die Teilnehmer je nach Zuverlässigkeitsbedingung der sensorischen Informationen von einer Integrationsstrategie zu einer Auswahl oder zu einer Kalibrierungsstrategie wechselten. Unsere umfassende Simulation und Modellierung hat gezeigt, dass die optimale kausale Inferenz in einer Umgebung mit variierender Zuverlässigkeit nicht nur vom Ausmaß der multimodalen Diskrepanz abhängt, sondern auch von der relativen Zuverlässigkeit der Stimuli. Analysen der Vertrauensberichte zeigten, dass wir in Studie 2 untersucht haben, wie sich aufgabenunrelevante Informationen auf die Verarbeitung aufgabenrelevanter Informationen in einem multimodalen Setup auswirken. Insbesondere haben wir die bekannte Simon-Aufgabe auf die multimodale Ausgabe erweitert, in der aufgabenunrelevante Informationen aus zwei sensorischen Modalitäten hervorgehen können. Wir haben eine visuell-taktile und eine visuell-auditive Erweiterung der Simon-Aufgabe durchgeführt. Beide Experimente zeigten erwartete visuelle Kongruenzeffekte für aufgabenunrelevante Informationen, wie z. B. langsamere Reaktionen und geringere Genauigkeit bei inkongruenten als bei kongruenten Bedingungen. Wir beobachteten auch Kongruenzeffekte von taktilen aufgabenunrelevanten Informationen, obwohl die Effekte geringer waren als die visuellen aufgabenunrelevanten Informationen. Die Kongruenzeffekte auditorisch aufgabenunrelevanter Informationen waren jedoch unzureichend und vernachlässigbar. Es zeigte sich, dass bei gleichzeitiger Anwesenheit von visuellen und auditorischen räumlich aufgabenunrelevanten Informationen visuelle Informationen den auditorischen Kongruenzeffekt dominieren. Eine vorgeschlagene multimodale Erweiterung des Diffusionsmodells für Konfliktaufgaben (MDMC) wurde an die Ergebnisse beider Experimente angepasst. MDMC lieferte angemessene Anpassungen für die experimentellen Daten, während die echten Annahmen von DMC beibehalten wurden. In Studie 3 haben wir schließlich untersucht, ob und wie künstliche taktile Informationen von einem neuartigen nicht-invasiven Gerät gelernt und in visuelle Informationen integriert werden. Die Leistung der unimodalen taktilen Wahrnehmung wurde über sieben Trainingsblöcke verbessert und zeigte, dass die Teilnehmer die Assoziationen zwischen visuellen und taktilen Informationen lernten. Weitere Analysen zeigten, dass die Teilnehmer die unerfahrenen taktilen Informationen von Beginn des Trainings an mit erfahrenen visuellen Informationen kombinierten, obwohl die Genauigkeit der taktilen Modalität anfangs unter bestimmten Bedingungen geringer war als die visuelle Modalität. Vorgeschlagene Rechenmodelle zeigten, dass die Teilnehmer zunächst eine metakognitiv orientierte Entscheidungsintegrationspolitik anwendeten. Später wechselten sie jedoch zu einer optimalen Bayes'schen Integration sensorischer Eingaben. Wir glauben, dass unsere Ergebnisse das Gebiet der multisensorischen Wahrnehmung mit der Entwicklung künstlicher sensorischer Geräte verbinden

Theories and models of multisensory perception have been drawing attention in the past decade. Understanding the multisensory perception is great of interest for cognitive scientists and is crucial for engineers to develop artificial sensory devices such as wearable and sensory substitution systems. The potential of touch for artificial sensory devices as well as the strong link between touch and vision motivated us to study the interactions of vision and touch with the focus on touch stimulations from a custom designed artificial sensory device. Specifically, we investigated three different type of interactions through three studies: The multisensory perception and calibration for visual-tactile information in a realistic environment (study 1), multimodal task-irrelevant effect (study 2), and finally cross-modal learning and integration of vision and touch under novel tactile experiences (study 3). Study 1 investigated how participants would adjust their perception to the discrepancy among sensory information under varying reliability conditions. Our findings showed participants switched from an integration strategy to a selection or to a calibration strategy according to reliability condition of the sensory information. Our comprehensive simulation and modelling revealed that the optimal causal inference not only depends on the amount of the cue conflict, but also on the relative reliability of stimuli across different modalities. We investigated, through study 2, how task irrelevant information affects the perception of task relevant information in a multimodal setup. Particularly, we extended the well-known Simon experiment to the multimodal edition, in which two source of information, from two modalities, deliver the task irrelevant information. We conducted a visual-tactile and a visual-auditory extension of Simon task. Both experiments showed expected visual congruency effects for task-irrelevant information, such as the slower responses and less accurcy in incongruent than congruent conditions. We additionally observed congruency effects of tactile task-irrelevant information, although the effects were smaller than the visual task-irrelevant information. However, the congruency effects of auditory task-irrelevant information were insufficient and negligible. It revealed that in the co-presence of visual and auditory spatial task-irrelevant information, visual information dominates the auditory congruency effect. A proposed multimodal extension of the Diffusion Model for Conflict Tasks (MDMC) was fitted to the results of both experiments. MDMC provided reasonable fits for the experimental data while keeps the genuine assumptions of DMC. We finally investigated, through study 3, whether and how tactile information from a non invasive sensory feedback device can be learned or even integrated with visual perception. The performance of unimodal tactile perception was improved over seven blocks of training, showed that participants learned the associations between the visual and tactile information. Further analyses showed that participants integrated the unexperienced tactile information with experienced visual information from the very beginning of the training, despite of the fact that the accuracy of tactile modality was initially lower than the visual modality in some conditions. Proposed computational models revealed that participants initially employed a metacognitive oriented decision integration policy. However, they later switched to an optimal Bayesian integration of sensory inputs. We believe our findings connects the topic of multisensory perception to the artificial sensory feedback devices.