Beyond the Screen: How Feedback-Related, Learner-Related, and Context-Related Factors Determine the Effectiveness of Computer-Based Feedback on Learning

Abstract

Die Dissertation ist gesperrt bis zum 30. September 2025 !

Formative feedback is considered an important and beneficial instructional strategy for fostering students’ learning (Hattie & Timperley, 2007; Shute, 2008; Wisniewski et al., 2020). Since providing individualized, immediate feedback is time-consuming and difficult to realize, especially in heterogeneous classes or individual learning settings (Lipnevich & Panadero, 2021; Shute, 2008), educational technologies have been discussed as a useful supplement to provide computer-based feedback (Narciss, 2013). However, there are contradictory findings regarding the effectiveness of computer-based feedback (e.g., Mertens et al., 2022). Previous research suggests that the moderating impacts of various factors on the effect of computer-based feedback can explain these inconsistent findings (e.g., Kluger & DeNisi, 1996; Kuklick & Lindner, 2023; Mertens et al., 2022; Narciss, 2008; Panadero & Lipnevich, 2022; Patchan et al., 2016; Strobl et al., 2019). Initial evidence suggests that various feedback-related (e.g., Lachner et al., 2017a; Mertens et al., 2022), learner-related (e.g., Kuklick & Lindner, 2023; Narciss, 2008, 2013), and context-related (e.g., Fyfe & Rittle-Johnson, 2016; Shirah & Sidney, 2023) factors might affect the effectiveness of computer-based feedback. These influencing factors, however, have not be systematically investigated. Since previous research focused only on investigating individual feedback-related, learner-related, or context-related potential influencing factors, it was still unclear which factors significantly determine the effectiveness of computer-based feedback on learning. Answering this question requires, on the one hand, theoretical conceptualization and, on the other hand, empirical investigation of the factors of the feedback message itself, of learners, and of the orchestrating context. These factors, which are embedded in the learning process, were investigated, both separately and in relation to each other (Narciss & Huth, 2004; Shute, 2008; Strobl et al., 2019). In order to fulfill these requirements, this dissertation adopted a multidimensional perspective. First, important feedback-related (i.e., specificity of feedback, representation of feedback, level of elaboration, level of complexity), learner-related (i.e., prior knowledge, cognitive, metacognitive, and affective-motivational processes), and context-related (i.e., orchestration with prior instruction, sequence) potential influencing factors were identified based on the previous literature and the research findings. Second, a theoretical model was developed that encompasses the learning process using computer-based feedback and that was bordered by these potential influencing factors. Third, these factors were empirically investigated in different subject domains (i.e., writing and physics) and using different methodological approaches (theoretical conception, literature overview, meta-analysis, experimental studies). In total, this dissertation comprises three articles for publication in international journals. The first is a theoretical paper in which the potential of computer-based feedback tools to enhance learners’ expository writing quality was explored and potential feedback-related influencing factors have been identified. The second article is an empirical paper encompassing a pre-registered meta-analysis to examine the overall effectiveness of computer-based feedback tools in supporting students in improving their expository writing. Furthermore, the impact of the potential feedback-related factors identified in Paper 1 was examined as well as the potential impact of prior knowledge as a learner-related influencing factor. The third article focused on empirically investigating the impact of further potential learner-related and feedback-related influencing factors as well as on context-related factors related to students’ learning in the domain of physics. Therefore, three pre-registered experiments were conducted that included manipulation of the orchestration of computer-based feedback with strategy instruction. Experiment 1 examined corrective feedback; Experiments 2 and 3 focused on elaborated feedback. In addition, Experiment 3 investigated the potential effect of the sequence in which computer-based feedback and strategy instruction were provided. In summary, through this multidimensional perspective investigating the effectiveness of computer-based feedback and how it is affected by feedback , learner-, and context-related factors, it was possible to adapt the new theoretical model adequately and provide theoretical implications and suggestions for future research accordingly. In addition, based on new evidence, this dissertation was able to provide recommendations for practice regarding what to consider when implementing and orchestrating computer-based feedback to foster learning effectively.

Formatives Feedback wird als eine wichtige und förderliche instruktionale Strategie angesehen, um Lernen zu fördern (Hattie & Timperley, 2007; Shute, 2008; Wisniewski et al., 2020). Da individualisiertes, unmittelbares Feedback bereitzustellen zeitaufwändig und vor allem in heterogenen Klassen oder individuellen Lernsituationen schwierig umzusetzen ist (Lipnevich & Panadero, 2021; Shute, 2008), werden Bildungstechnologien als hilfreiche Ergänzung diskutiert, um computerbasiertes Feedback bereitzustellen (Narciss, 2013). Allerdings gibt es widersprüchliche Befunde hinsichtlich der Effektivität computerbasierten Feedbacks (siehe z. B. Mertens et al., 2022). Bisherige Forschung legt nahe, dass der moderierende Einfluss verschiedener Faktoren auf den Effekt von computerbasiertem Feedback diese inkonsistenten Befunde erklären könnte (z. B. Kluger & DeNisi, 1996; Kuklick & Lindner, 2023; Mertens et al., 2022; Narciss, 2008; Panadero & Lipnevich, 2022; Patchan et al., 2016; Strobl et al., 2019). Es gibt erste evidente Hinweise, die andeuten, dass sowohl verschiedene feedbackbezogene (z. B. Lachner et al., 2017a; Mertens et al., 2022), lernerbezogene (z. B. Kuklick & Lindner, 2023; Narciss, 2008, 2013) als auch kontextbezogene (z. B. Fyfe & Rittle-Johnson, 2016; Shirah & Sidney, 2023) Faktoren die Effektivität von computerbasiertem Feedback bedingen könnten. Diese Einflussfaktoren wurden jedoch bisher nicht systematisch erforscht. Bisherige Forschung fokussierte sich meist auf einzelne potentielle feedback-, lerner- oder kontextbezogene Einflussfaktoren. Deshalb ist nach wie vor unklar, welche genau die Faktoren sind, die die Effektivität von computerbasiertem Feedback zur Förderung des Lernens entscheidend determinieren. Die Beantwortung dieser Frage erforderte zum einen eine theoretische Konzeptualisierung und zum anderen eine empirische Untersuchung von Faktoren der Feedbacknachricht selbst, von Lernenden und des orchestrierenden Kontexts. Dabei wurden die Faktoren, eingebettet in den Lernprozess, sowohl separat als auch deren Beziehung zueinander betrachtet (Narciss & Huth, 2004; Shute, 2008; Strobl et al., 2019). Um diese Anforderungen zu erfüllen, wurde in dieser Dissertation eine multidimensionale Perspektive eingenommen. Zunächst wurden basierend auf bisheriger Literatur und bisherigen Forschungserkenntnissen wichtige potentielle feedbackbezogene (Spezifität, Darstellung, Elaborationslevel und Komplexitätslevel), lernerbezogene (Vorwissen, kognitive, meta-kognitive und affektiv-motivationale Prozesse) und kontextbezogene (Orchestrierung und Reihenfolge) Einflussfaktoren identifiziert. Des Weiteren wurde ein theoretisches Modell entwickelt, das den Lernprozess mittels computergestützten Feedbacks umfasst und von den herausgearbeiteten potentiellen Einflussfaktoren begrenzt wird. In einem dritten Schritt wurden diese Faktoren in den Fachdomänen Schreiben und Physik anhand unterschiedlicher methodischer Ansätze (theoretische Konzeption, Literaturüberblick, Metaanalyse, experimentelle Studien) untersucht. Insgesamt beinhaltet diese Dissertation drei Artikel zur Veröffentlichung in internationalen Fachzeitschriften. Der erste Artikel ist ein theoretischer Artikel, in dem das Potenzial computerbasierter Feedbacktools zur Förderung des erklärenden Schreibens und mögliche feedbackbezogene Einflussfaktoren herausgearbeitet wurden. Der zweite Artikel ist eine präregistrierte Metaanalyse anhand derer die grundsätzliche Effektivität von computerbasiertem Feedback zur Verbesserung von Schreibkompetenzen statistisch untersucht wurde. Zusätzlich wurde im Rahmen dieser Metaanalyse der Einfluss der in Artikel 1 identifizierten möglichen feedbackbezogenen Einflussfaktoren und der potentielle Einfluss des Vorwissens als lernerbezogener Faktor auf die Effektivität von computerbasiertem Feedback zur Schreibförderung empirisch erforscht. Der dritte Artikel fokussierte die empirische Untersuchung des Einflusses weiterer möglicher lerner- und kontextbezogener Faktoren sowie eines weiteren feedbackbezogenen Faktors in der Fachdomäne Physik. Hierfür wurden drei präregistrierte Experimente durchgeführt, in denen die Orchestrierung von computerbasiertem Feedback mit Strategieinstruktion manipuliert wurde. In Experiment 1 wurde dabei korrektives und in den Experimenten 2 und 3 elaboriertes Feedback implementiert. In Experiment 3 wurde zusätzlich noch ein potenzieller Reihenfolgeeffekt getestet (bezogen auf die Reihenfolge, in der computerbasiertes Feedback und Strategieinstruktion den Lernenden im Lernprozess bereitgestellt werden). Zusammenfassend ermöglichte die multiperspektivische Erforschung der Effektivität computerbasierten Feedbacks und wie sich diese durch feedback-, lerner-, und kontextbezogene Faktoren verändert, das neue theoretische Modell entsprechend adäquat anzupassen und sowohl theoretische Implikationen als auch Anregungen für zukünftige Forschung abzuleiten. Des Weiteren konnten basierend auf neuer Evidenz Empfehlungen für die Praxis gegeben werden, was beim Einsatz und der Orchestrierung von computerbasiertem Feedback zu beachten ist, um Lernen effektiv zu fördern.