In the eye of an expert: Conveying perceptual skills in biological and medical domains via eye movement modeling examples

Abstract

Research on cognitive skill acquisition has mostly neglected the fact that many tasks require to process and interpret complex, visual input. Therefore, many of these tasks require not only cognitive, but also perceptual skills. Examples of such tasks, which were investigated in this thesis, are the classification of the locomotion patterns in reef fish and the diagnosis of epileptic seizures in infants. Thus, the aim of this thesis was twofold: firstly, to examine the role of perceptual skills within such tasks, and secondly to develop effective instruction to foster the development of those perceptual skills. To develop a better understanding of how these tasks are performed and where potential difficulties in performing them may occur both were analyzed according to Schaafstal and Schraagen (1992). This task analysis method consists of describing the stepwise procedure of the task, identifying the knowledge and skills required to perform the task, predicting difficulties that are likely to occur when performing the task, and drawing conclusions concerning instruction for this task. A two-step analysis of the task followed. A normative task analysis revealed how the task of classifying fish locomotion patterns should be performed. This analysis was done with the help of domain experts and based on textbooks. In the second step an empirical task analysis was conducted to reveal how this task actually is performed. This was done by comparing experts and novices while executing this task on a performance and process level. These processes were both of cognitive and perceptual nature. The main findings show that experts perform the task faster and more accurately compared to novices by attending earlier to relevant areas of the stimulus and using shortcuts, while novices get distracted by irrelevant, but salient features. In sum, these results confirm and supplement the findings of the normative task analysis. Afterwards, the insights from the normative and the empirical task analyses were used to develop a novel instructional method to convey perceptual skills. This method is derived from research on learning from classical worked examples (Sweller, Van Merriënboer & Paas, 1998) and cognitive modeling (Collins, Brown & Newman, 1989). This method is composed of two components namely first, a domain expert’s verbal explanations (i.e., modeling of cognitive processes) he makes while performing the task. Second, it consists in a video of a dynamic stimulus with the expert’s eye movements superimposed onto this video (i.e., modeling of perceptual processes). Together these recordings are called eye movement modeling examples (EMME; Van Gog, Jarodzka, Scheiter, Gerjets, & Paas, 2009). In Study 2 of this thesis this instructional method was implemented. This study investigated two different versions of displaying the expert’s eye movements in EMME in terms of how effective they guide students’ attention and support different aspects of students’ learning in comparison to a control group, where no eye movements are shown to learners. The main findings of the study suggest that students using EMME acquire perceptual skills that enable them to efficiently visually search relevant body parts of fish and to interpret their movement patterns. Interestingly, both variants of EMME foster different aspects of learner performance: Displaying the expert’s eye movements as a spotlight fosters visual search, while displaying the expert’s eye movements as solid dots enhances the interpretation of motion patterns. Since, none of these two versions appears to be able to support both forms of learning, one conclusion from Study 2 is that EMME need to be further optimized. To test the generalizability of EMME to other domains it was applied to the second example task: diagnosing epileptic seizures in infants. To do so, a task analysis was performed that justified the applicability of the instructional method to this task. Based on this task analysis an adapted version of EMME was implemented in two improved versions to teach perceptual skills in medical diagnosis. The results of Study 3 largely confirm the findings from Study 2, in that EMME enable students to efficiently visually search the relevant body parts of the infants and interpret their motion patterns correctly. In particular, the spotlight version of EMME that is optimized compared to the version used in Study 2 enhanced perceptual skills as evident at both, the process and the performance level compared to the alternative EMME version and a control group. In sum, this dissertation showed the importance of perceptual skills for tasks that are based on complex, visual stimuli. Moreover, it was shown that perceptual skills can be improved by EMME, in terms of a more efficient visual search of relevant information and their improved interpretation. When implementing this instructional method, however, the type of display of EMME must be considered.

Forschung zum Erwerb kognitiver Fertigkeiten hat bisher vernachlässigt, dass viele Aufgaben die Verarbeitung und Interpretation komplexer, visueller Reize voraussetzen. Daher erfordern diese Aufgaben nicht nur kognitive, sondern auch perzeptuelle Fertigkeiten. Beispiele für solche Aufgaben, die im Rahmen der vorliegenden Dissertation untersucht wurden, sind die Klassifikation von Schwimmbewegungen bei Fischen sowie die Diagnose epileptischer Anfälle bei Kleinkindern. Somit waren die Ziele dieser Dissertation die Rolle perzeptueller Fertigkeiten innerhalb solcher Aufgaben zu untersuchen und eine effektive Instruktionsmaßnahme zur Förderung jener perzpetuellen Fertigkeiten zu entwickeln. Um ein besseres Verständnis für diese Aufgaben zu gewinnen wurden beide Aufgaben gemäß Schaafstal und Schraagen (1992) analysiert. Dabei wurde die schrittweisen Prozedur der Aufgabenbearbeitung beschrieben, das Wissens und die Fertigkeiten, die für diese Aufgabe von Bedeutung sind identifiziert, die Schwierigkeiten, die bei der Bearbeitung dieser Aufgabe auftreten können vorausgesagt, sowie geschlussfolgert wie ein Training dieser Aufgabe gestaltet werden sollte. Es folgte eine zweistufige Aufgabenanalyse. Im ersten Teil ergab eine normative Analyse, wie die Aufgabe der Klassifikation der Schwimmbewegungen von Fischen bewältigt werden sollte. Dieser Teil wurde mit Hilfe von Domänenexperten und Lehrbüchern durchgeführt. In einem zweiten Schritt wurde eine empirische Aufgabenanalyse durchgeführt um zu ergründen, wie diese Aufgabe tatsächlich durchgeführt wird. Dabei wurden Experten und Novizen auf Prozess- und Performanzebene während der Aufgabenbearbeitung verglichen. Diese Prozesse waren sowohl kognitiver als auch perzpetueller Natur. Die Befunde ergaben, dass Experten diese Aufgabe schneller und akkurater bewältigten, indem sie schneller die relevanten Körperteile des Fisches beachteten und erfahrungsbasierte „Abkürzungen” nutzten, während Novizen durch irrelevante, aber auffällige Merkmale abgelenkt wurden. Insgesamt bestätigten und ergänzten diese Ergebnisse die Schlussfolgerungen aus der normativen Aufgabenanalyse. Anschließend wurden die aus der Aufgabenanalyse gewonnen Einsichten genutzt, um eine neue Instruktionsmaßnahme für die Vermittlung perzeptueller Fertigkeiten zu entwickeln. Diese Methode ist abgeleitet aus der Forschung zum Lernen aus ausgearbeiteten Lösungsbeispielen (Sweller, Van Merriënboer & Paas, 1998) und kognitiver Modellierung (Collins, Brown & Newman, 1989). Diese Methode, Blickbewegungs-Modellierung-Beispiele genannt wurde (BMB; Van Gog, Jarodzka, Scheiter, Gerjets, & Paas, 2009), beinhaltet verbale Erklärungen eines Domänenexperten, die er während der Aufgabenbearbeitung äußert, sowie eine Videoaufzeichnung von einem dynamischen Reiz mit einer Überlagerung der Blickbewegungen dieses Experten auf diesem Video. In der zweiten Studie wurden BMB angewendet. Dabei wurden zwei verschiedene Arten der Darstellung der Blickbewegungen des Experten mit einer Kontrollgruppe, die keine Blickbewegungen des Experten sah, verglichen. Die Befunde zeigen, dass BMB die Vermittlung perzeptueller Fertigkeiten fördert, welche wiederum den Lerner zu einer effizienten visuellen Suche relevanter Körperteile und Interpretation ihrer Bewegungsmuster befähigen. Interessanterweise förderten beide BMB Arten unterschiedliche Aspekte des Lernens: Während eine schweinwerferartige Darstellung die visuelle Suche förderte, verbesserte eine Punkt-Darstellung die Interpretation der Schwimmbewegungen. Da keine der beiden Darstellungsarten beide Aspekte erfolgreich vermitteln konnte, war eine der Schlussfolgerungen aus Studie 2, dass BMB weiter verbessert werden musste. Um die Generalisierbarbeit von BMB auf andere Domänen zu überprüfen, wurde diese Instruktionsmaßnahme auf die Diagnose epileptischer Anfälle bei Kleinkindern angewendet. Wiederum wurde eine Aufgabenanalyse durchgeführt, die die Anwendbarkeit von BMB auf diese Aufgabe rechtfertigte. Basierend auf dieser Aufgabenanalyse wurde eine adaptierte Version von BMB in zwei verbesserten Darstellungsarten implementiert. Die Ergebnisse von Studie 3 bestätigen die Befunde aus Studie 2, indem BMB die Lerner dazu befähigt die relevanten Körperteile des Kleinkindes visuell zu suchen und deren Bewegungen korrekt zu interpretieren. Insbesondere fördert eine im Vergleich zu Studie 2 optimierte Scheinwerferdarstellung perzpetuelle Fertigkeiten im Vergleich zu einer anderen BMB Darstellungsart und einer Kontrollgruppe. Insgesamt hat diese Dissertation die Wichtigkeit perzeptueller Fertigkeiten für Aufgaben die auf komplexen, visuellen Reizen basieren, gezeigt. Darüberhinaus konnte gezeigt werden, dass perzeptuelle Fertigkeiten durch BMB verbessert werden können, wobei eine effizientere visuelle Suche relevanter Informationen und deren korrektere Interpretation erfolgt. Bei der Implementation dieser Instruktionsmaßnahme muß jedoch die Art der Darstellung von BMB beachtet werden.