Interferieren (geschriebene) räumliche Textinhalte mit der Bildverarbeitung im visuell-räumlichen Arbeitsgedächtnis? Testung einer erweiterten kognitiven Theorie multimedialen Lernens

Abstract

Die vorliegende Forschungsarbeit ist im Bereich des Lernens mit Texten und Bildern, das in der Literatur auch als Lernen mit Multimedia bezeichnet wird, verortet. Hinsichtlich des Lernens mit Multimedia wurde in den letzten Jahren eine Reihe an Prinzipien postuliert, wie Texte und Bilder dargeboten werden sollten, um den Lernerfolg zu fördern. Die führende Theorie zum Lernen mit Multimedia, die Cognitive Theory of Multimedia Learning (CTML; Mayer, 2009), leitet diese Empfehlungen unter anderem aus älteren Konzeptionen der Struktur des Arbeitsgedächtnisses nach Baddeley (z .B. 1992) ab. Dass das Arbeitsgedächtnis eine entscheidende Rolle beim Lernen mit Multimedia spielt, ist nicht nur aus theoretischer Sicht plausibel, sondern konnte auch empirisch nachgewiesen werden (z. B. Gyselinck, Cornoldi, Dubois, De Beni & Ehrlich, 2002). Problematisch ist allerdings die Interpretation des Arbeitsgedächtnismodells im Rahmen der CTML hinsichtlich der Verarbeitung geschriebenen Texts: So geht die CTML davon aus, dass zunächst ein Abbild des geschriebenen Texts im visuell-räumlichen Notizblock (VSSP) repräsentiert wird. Daraus resultiert nach der CTML ein Engpass im VSSP bei der Darbietung geschriebenen Texts mit Bildern, welcher bei der Darbietung gesprochenen Texts nicht vorherrscht. Mit Hilfe dieser theoretischen Annahme erklärt Mayer (2009) den sogenannten Modalitätseffekt, d. h. den empirischen Befund, dass gesprochener Text mit Bild zu besseren Lernergebnissen führt als geschriebener Text mit Bild. Problematisch ist dabei allerdings, dass nach Baddeley geschriebener Text direkt in die phonologische Schleife eingelesen wird, es also keinen Engpass im VSSP bei der Darbietung geschriebener Texte und Bilder geben sollte (vgl. z.B. Rummer, Schweppe, Scheiter & Gerjets, 2008). Ein alternativer Erklärungsansatz für den Modalitätseffekt wurde erstmals in der vorliegenden Forschungsarbeit vor dem Hintergrund der Struktur des VSSP generiert. Demnach unterteilt sich der VSSP in eine räumliche und eine visuelle Komponente. In diesen Komponenten werden räumliche und visuelle Bildinformationen sowie visuelle und räumliche Textinhalte verarbeitet. Zudem erfolgt die Kontrolle von Blickbewegungen im räumlichen VSSP. Diese strukturellen Annahmen zum VSSP wurden in der vorliegenden Arbeit in die CTML integriert, so dass ein erweitertes Modell, die ECTML, resultierte. Mit Hilfe der ECTML wird ein Modalitätseffekt in Abhängigkeit des Textinhalts vorhersagt: Demnach sollte der Modalitätseffekt nur auftreten, wenn räumliche Textinhalte dargeboten werden, da die Verarbeitung räumlicher Textinhalte, räumlicher Bildinhalte und die Kontrolle der Blickbewegungen miteinander im räumlichen VSSP interferieren und es zu einer Overload-Situation kommt. Für diese Annahme einer Moderation des Modalitätseffekts durch die Textinhalte gibt es auch erste Hinweise aus monomedialen und multimedialen Untersuchungen (z. B., Eddy & Glass; 1981; Kürschner & Schnotz, 2007). Aus der ECTML leitet sich neben der Vorhersage eines Modalitätseffekts in Abhängigkeit des Textinhalts auch ein genereller Einfluss des Textinhalts beim Lernen mit Multimedia ab. Demnach sollten räumliche Textinhalte mit der Bildverarbeitung im räumlichen VSSP interferieren, während nicht-räumliche Textinhalte nicht zu Interferenzen führen sollten. In der vorliegenden Arbeit wurden die Vorhersagen der ECTML in drei Experimenten empirisch geprüft. Die Annahme der ECTML eines Modalitätseffekts in Abhängigkeit des Textinhalts konnte nicht bestätigt werden. Allerdings wurde auch kein genereller Einfluss der Textmodalität, wie ihn die CTML vorhersagen würde, beobachtet. Die Annahme schlechterer Leistung bei der Darbietung von Bildern zusammen mit räumlichen Textinhalten wurde hingegen in allen drei Experimenten bestätigt: Obwohl die Texte hinsichtlich ihrer Schwierigkeit als äquivalent einzustufen waren, schnitten Lerner mit räumlichen Textinhalten im Vergleich zu Lernern mit visuellen Textinhalten hinsichtlich der Bilderinnerung und Texterinnerung schlechter ab. Im Hinblick auf die Rolle des Arbeitsgedächtnisses beim Lernen mit Multimedia zeigten sich nur geringe Zusammenhänge zwischen der Kapazitätsmessung der phonologischen Schleife, des räumlichen VSSP sowie des visuellen VSSP und der Leistung. Eine Zweitaufgabe bestätigte hingegen die Annahme, dass das Arbeitsgedächtnis eine wichtige Rolle beim Lernen mit Multimedia spielt. Abschließend lässt sich festhalten, dass die Erforschung der kognitiven Grundlagen des multimedialen Lernens die Voraussetzung für eine adäquate theoretische Beschreibung des Lernens mit Texten und Bildern bildet. Daher ist es notwendig, die empirische Überprüfung der kognitiven Grundlagen multimedialen Lernens viel stärker als bisher in den Fokus zu rücken. Die vorliegende Arbeit stellt einen ersten Schritt in diese Richtung dar, aber zukünftige Forschungsarbeiten sind notwendig, um die empirische Vorgehensweise zu optimieren.

The present research is concerned with learning from text and pictures, that is, multimedia learning. With regard to multimedia learning there have been several recommendations on how to present text and pictures to learners to enhance learning outcomes. The most prominent theory concerning multimedia learning is the Cognitive Theory of Multimedia Learning (CTML; Mayer, 2009). This theory is based on an older version of Baddeley’s working memory model (e.g., 1992). The assumption that working memory plays a crucial role in learning from multimedia is plausible not only from a theoretical point of view but has also been confirmed empirically (e.g., Gyselinck, Cornoldi, Dubois, De Beni, & Ehrlich, 2002). However, one problem appears within the framework of CTML with regard to the interpretation of processing written text: According to the CTML, written text is presented initially as image in the visuo-spatial sketchpad (VSSP), resulting in an overload situation when written text is presented together with pictures. With spoken text, however, no overload in the VSSP occurs because spoken text is not processed in the VSSP at all. Based on these theoretical assumptions, Mayer (2009) explains the modality effect, that is, the empirical finding that pictures presented together with spoken text lead to better performance than pictures presented together with written text. However, according to the working memory model written text is processed in the phonological loop from the beginning on, that is, no overload should appear when presenting pictures together with written text (cf. Rummer, Schweppe, Scheiter, & Gerjets, 2008). In the present study, for the first time an alternative explanation for the modality effect was generated based on specifications of the structure of the VSSP. According to these specifications, the VSSP can be divided into a spatial and a visual component, where spatial and visual picture as well as text information is processed, respectively. Furthermore, the control of eye movements is located in the spatial VSSP. In the present research, these structural assumptions were incorporated into the CTML, resulting in an extended CTML, the ECTML. Based on the ECTML a modality effect is expected only when text containing spatial information is presented, because the processing of the spatial text contents, of the spatial picture information as well as the control of eye movements, associated with reading, interfere with each other in the spatial VSSP, resulting in an overload situation. There is some empirical evidence which supports the assumption of a modality effect only with text containing spatial information (e.g., Eddy & Glass; 1981; Kürschner & Schnotz, 2007). Next to the prediction of a modality effect only with spatial text contents, the ECTML also predicts that text contents in general can influence the effectiveness of text-picture presentations. Accordingly, spatial text contents should interfere with picture information in the spatial VSSP, whereas no interference is expected when non-spatial text contents are presented. In the present study, three experiments were conducted to test these assumptions. The results did not support the hypothesized moderation of the modality effect by text contents. However, there was also no general influence of text modality on learning, as predicted by the CTML. The prediction of worse performance when text containing spatial information is presented together with pictures was confirmed: Although the texts were equal in difficulty, learners with spatial text contents recalled the pictures and the text contents worse than learners with visual text contents. With regard to the involvement of working memory in multimedia learning, there were only low correlations between the capacity of the phonological loop, the spatial VSSP and the visual VSSP and recall performance. However, a dual task confirmed our assumption that working memory is important when learning with text and pictures. To conclude, research on the cognitive foundations of multimedia learning builds the prerequisite to theoretically describe the processes associated with learning from text and pictures. Thus, it seems necessary to focus on the empirical validations of the assumed cognitive processes. The present study presents a first step in that direction, however, future work is needed to optimize the empirical approach.