Why Pictures are Beneficial to Learning: Contrasting Explanations of the Multimedia Effect

Abstract

In the field of multimedia learning, the multimedia effect, which states that adding pictures to text is beneficial to learning, is a well-established effect. Although many empirical studies have shown that pictures are beneficial to learning, it is still unclear why they are beneficial to learning. In this dissertation, two theoretical accounts that explain the multimedia effect have been contrasted to see which account explains the multimedia effect best: the Cognitive Theory of Multimedia Learning (CTML) and the account of computational offloading. CTML explains the multimedia effect by arguing that learning from text and pictures yields a richer mental representation than learning from text only. In contrast, the account of computational offloading explains the multimedia effect by arguing that information processing in working memory is facilitated when learning with text and pictures compared to learning with text only. In this dissertation, three experiments are reported that tested 1) whether the beneficial effect of pictures depends on the amount of visuo-spatial information processing that is required by a certain type of task (i.e., conceptual, causal, procedural), 2) whether information processing in working memory differs between types of tasks, and 3) whether information processing in working memory differs between processing text only or processing text and pictures. The results did not unanimously support any of the theoretical accounts. Therefore, it was argued that a theoretical account that combines both explanations of the multimedia effect, stating that pictures yield a richer mental representation and that pictures are under certain circumstances computational offloading, seems to be most likely. However, it is noted that further research is needed that continues to address the question why pictures are beneficial to learning, taking the reported limitations and strengths into account.

Im Forschungsbereich des multimedialen Lernens wurde der Multimediaeffekt, d.h. der Befund, dass die Darbietung von Texten zusammen mit Bildern lernförderlich ist, empirisch vielfach bestätigt. Trotz dieser eindeutigen Befundlage ist jedoch unklar, worauf der Multimediaeffekt zurückzuführen ist. In der vorliegenden Dissertation wurden daher zwei theoretische Erklärungen für den Multimediaeffekt kontrastiert, nämlich die Cognitive Theory of Multimedia Learning (CTML) sowie die Annahme des Computational Offloading. Nach der CTML geht der Multimediaeffekt darauf zurück, dass Text-Bilddarbietungen zu reichhaltigeren mentalen Repräsentationen führen als die alleinige Textdarbietung. Im Gegensatz dazu erklärt die Annahme des Computational Offloading den Multimediaeffekt durch eine erleichterte Informationsverarbeitung im Arbeitsgedächtnis, wenn Texte zusammen mit Bildern dargeboten werden. Im Rahmen der vorliegenden Dissertation wurden drei Experimente durchgeführt, die testeten (1) ob der Multimediaeffekt vom Ausmaß an visuell-räumlicher Information, welches verschiedenen Aufgabentypen (d.h., konzeptuellen, kausalen und prozeduralen Aufgaben) inhärent ist, abhängt (2) ob sich die Informationsverarbeitung im Arbeitsgedächtnis je nach Aufgabentyp verändert und (3) ob sich die Informationsverarbeitung von Texten und Bildern im Vergleich zur reinen Textverarbeitung im Arbeitsgedächtnis unterscheidet. Die Ergebnisse der Experimente konnten keine der beiden theoretischen Annahmen eindeutig bestätigen. Daher wird angenommen, dass eine Kombination aus beiden Erklärungen den Multimediaeffekt am besten erklärt, nämlich dass Text-Bilddarbietungen zu reichhaltigeren mentalen Repräsentationen führen und dass unter bestimmten Bedingungen Bilder auch die Informationsverarbeitung erleichtern können. Weitere Forschung zur Frage, warum Bilder das Lernen unterstützen, ist jedoch notwendig. Zukünftige Arbeiten sollten dabei die Stärken und Schwächen der vorliegenden Dissertation berücksichtigen.