Building a Computational Model of Goal Setting, Performance, and Emotions: Toward a Mechanistic Understanding of Dynamic Self-Regulated Learning

Abstract

Die Dissertation ist gesperrt bis zum 24. Februar 2027 !

Self-regulated learning (SRL) refers to students’ ability to manage and control the cognitive, behavioral, emotional, motivational, metacognitive, and environmental aspects of their learning (Panadero, 2017; Zimmerman, 1989). Students must develop and effectively apply self-regulation strategies to succeed in their learning tasks. Doing so has not only been observed to correlate with better academic outcomes (Dignath, et al., 2008; Dignath & Büttner, 2008), but honing SRL skills is also necessary for overcoming future challenges in the workplace (Zimmerman, 2002). To understand how and when certain aspects of SRL occur, researchers have organized its processes into dynamic models, most notably in three reoccurring phases. Borrowing the terms from a recent review paper (Panadero, 2017), students typically transgress through the following phases during SRL. First, students go through a planning phase in which goals are set and strategies to achieve these goals are chosen. Self-beliefs may also take shape here and influence these processes, including self-efficacy beliefs (Tolli & Schmidt, 2008) and control appraisals (Converse et al., 2010). Next, students enter the performance phase and where they complete the learning or studying task. Here, students typically monitor their progress and employ the strategies chosen in the initial planning phase may be used here to keep up their motivation to reach their goals. Finally, students finish their learning session in the appraisal phase in which they evaluate their performance in relation to their goals. Self-evaluations arise, leading to emotional reactions. While much work has been done to understand how these phases interact with each other, much of the research has only investigated linear pairwise comparisons of associated variables. Little has been done to succinctly investigate all three phases together in a formal model that captures the whole dynamic nature of SRL.

To this end, this dissertation seeks to understand dynamic SRL in a holistic manner. Three key variables, one for each of the three phases of SRL, are identified: goal setting as a reflection of the planning phase, task performance for the performance phase, and emotions as consequences of the appraisal phase. These variables were chosen for the following reasons. First, the relationship between goals and performance has been heavily researched, where discrepancies between them have been found to play a major role, as noted in several theories (e.g., Bandura, 1986; Carver &Scheier, 1998) and empirical studies (e.g., Ilies et al., 2010; Ilies & Judge, 2005; Theobald et al., 2021; Tolli & Schmidt, 2008) in the self-regulation literature. Furthermore, these discrepancies can be implicated in the feeling of achievement emotions (Pekrun et al., 2002), which then have subsequent effects on further goal setting (e.g., Ahrens, 1987; Cervone et al., 1994; Ilies & Judge, 2005; Ilies et al., 2010; Scott & Cervone, 2002) and performance (e.g., Carver, 2003; Fulford et al., 2010; Seo & Patall, 2021; Thürmer et al., 2019). To incorporate theory and the empirical findings together, a computational model of goal setting, performance, and emotions (Ballard et al., 2021; Farrell & Lewandowsky, 2010) is developed, tested, and applied in three separate datasets to show how this holistic understanding of dynamic SRL can be achieved.

There are several motivations for conducting the research presented in this dissertation. First, as detailed in the Chapter 2 (The Need for Computational Modeling in Educational Psychology), the dissertation provides arguments as to why such modeling is necessary in educational psychology. While much of the literature in educational psychology relies on investigating linear pairwise relationships between variables, computational modeling can and has been flexibly used to model the behavior of dynamic systems as a whole that account for multiple interactions (e.g., Ballard et al., 2016; Gee et al., 2018; Hardy et al., 2019). Benefits of computational modeling are discussed in the review paper, including its flexibility in its specification, the ability to simulate data to understand theoretical assumptions, and its benefit to understanding and further developing theory. The review paper hopes to alleviate some psychologists’ concerns for the current state of the field (e.g., Greene, 2022; Murayama and von Keyserlingk, 2024; Pekrun et al., 2024) and to provide arguments as to why computational modeling, which has been used in other associated fields such as organizational psychology, should be employed more in educational psychology research. Second, investigations into the role of emotions on goal setting and performance have yielded inconsistent findings in the literature. In Chapter 3 (Study 1: The Role of Emotions on Goal Setting and Performance in Dynamic Self-Regulated Learning: A Computational Modeling Approach), a computational model of goal setting, performance, and emotions is presented that provides a tool for the assessment of the effects of emotions. This study uses two datasets. The first dataset (N = 357) was collected in an online math task in which participants completed an online math task where goals and emotions were assessed as students completed 20 blocks of math equations. This dataset was used to validate the computational model and showed that the model was able to capture effects of the goal-performance discrepancy (GPD) and emotions, indicating that emotions could provide extra information as to how individuals set goals and performed on tasks that went above and beyond the effects of discrepancies. The second dataset (N = 305) was collected from a study investigating goal setting behavior in medical students preparing for the second state exam in Germany, which had high stakes as it determined whether students would be able to continue with their career training. Using an online app, students reviewed previous exam questions while setting daily goals and reporting their emotions before and after each study session. In this more ecologically valid setting, the results revealed a positive effect of pre-learning emotions on performance while no effects were observed in goal setting (with a possible masking of effects due to the high-stakes nature of the exam), suggesting that positive emotions encouraged more effort to be exerted while studying. This study contributes to the literature by presenting a use case of computational modeling by showing how such a model can be developed and tested in an attempt to understand the role of emotions in dynamic SRL.

Third, high goal setting has also been observed (Campion & Lord, 1982; Donovan, 2009; Lin et al., 2024) and investigated (Chevance et al., 2021; Ritzema, 2016). To understand their effects in the educational setting using a dynamic SRL framework, Chapter 4 (Study 2 – Pushing the Boundaries: The Effects of High Goal Setting in Dynamic Self-Regulated Learning) describes a study in which students were asked to set normal goals (control group, N = 77) or high, ambitious goals (experimental group, N = 69) while studying for the reading comprehension section of the Test of English as a Foreign Language. The best-fitting computational model ascertained from the work presented in Chapter 3 was also applied to this dataset using a hierarchical Bayesian framework that estimated parameters for the two groups. The findings in this study provided evidence that computational modeling could elucidate differences between groups in underlying mechanisms governing goal setting behavior after goal failure. Furthermore, a positive effect of pre-learning emotions on goal setting were observed, suggesting that emotions may enhance how students feel about their competencies. This study further promotes the usefulness of computational modeling in educational psychology by providing more evidence that it can be used to highlight underlying psychological processes.

By using a novel analysis technique in educational psychology, this dissertation provides a successful account of computational modeling and how it could be used to identify underlying processes governing goal setting behavior, task performance, and the role of emotions. In doing so, it advances our theoretical understanding of certain processes, including how goal failure may affect goal setting behaviors as well as how timing of emotions may be crucial to how students set goals for themselves and how goal-directed behavior is impacted. Through the review paper arguing for the implementation of computational modeling as well as the two empirical studies that shows its value in investigating dynamic SRL, this dissertation aims to introduce a novel technique for use in educational psychology. untranslated

Selbstreguliertes Lernen (SRL) bezieht sich auf die Fähigkeit von Lernenden, kognitive, behaviorale, emotionale, motivationale, metakognitive und umgebungsbezogene Aspekte ihres Lernens zu steuern und zu kontrollieren (Panadero, 2017; Zimmerman, 1989). Lernende müssen Selbstregulationsstrategien entwickeln und effektiv anwenden, um bei ihren Lernaufgaben erfolgreich zu sein. Es wurde beobachtet, dass Selbstregulationsstrategien nicht nur mit besseren akademischen Leistungen korrelieren (Dignath & Büttner, 2008; Dignath et al., 2008), sondern dass die Verbesserung von SRL-Fähigkeiten auch notwendig ist, um zukünftige Herausforderungen bei der Arbeit zu bewältigen (Zimmerman, 2002). Um zu verstehen, wie und wann bestimmte Aspekte des SRL auftreten, haben Forscher diese Prozesse in dynamische Modelle organisiert, die häufig in drei wiederkehrende Phasen unterteilt werden. In Anlehnung an die Begriffe einer aktuellen Übersichtsarbeit (Panadero, 2017) durchlaufen Lernende während des SRL typischerweise die folgenden Phasen. Zuerst durchlaufen sie eine Planungsphase, in der Ziele gesetzt und Strategien zur Erreichung dieser Ziele ausgewählt werden. Auch Selbstüberzeugungen, einschließlich Selbstwirksamkeitsüberzeugungen (Tolli & Schmidt, 2008) und Kontrollbewertungen (Converse et al., 2010), können sich hier entwickeln und diese Prozesse beeinflussen. Anschließend betreten Lernende die Leitungsphase, in der sie die Lern- oder Studienaufgabe ausführen. In dieser Phase überwachen sie ihren Fortschritt, und die in der Planungsphase gewählten Strategien können eingesetzt werden, um die Motivation zur Erreichung ihrer Ziele aufrechtzuerhalten. Schließlich beenden Lernende ihre Lernsitzung in der Bewertungsphase, in der sie ihre Leistung im Verhältnis zu ihren Zielen evaluieren. Selbstbewertungen entstehen, die zu emotionalen Reaktionen führen. Obwohl bereits viele Studien durchgeführt wurden, um zu verstehen, wie diese Phasen miteinander interagieren, beschränkt sich ein Großteil der Forschung auf lineare paarweise Vergleiche der zugehörigen Variablen. Es wurde jedoch wenig unternommen, um alle drei Phasen gemeinsam in einem formalen Modell zu untersuchen, das die gesamte dynamische Natur des SRL erfasst. Diese Dissertation zielt darauf ab, dynamisches SRL auf eine ganzheitliche Weise zu verstehen. Drei Schlüsselvariablen, eine für jede der drei Phasen des SRL, wurden identifiziert: Zielsetzung als Reflexion der Planungsphase, Aufgabenleistung für die Leistungsphase und Emotionen als Konsequenzen der Bewertungsphase. Diese Variablen wurden aus folgenden Gründen gewählt. Erstens wurde die Beziehung zwischen Zielen und Leistung intensiv untersucht, wobei Diskrepanzen zwischen ihnen als zentral in mehreren Theorien (e.g., Bandura, 1986; Carver & Scheier, 1998) und empirischen Studien (e.g., Ilies & Judge, 2005; Ilies et al., 2010; Theobald et al., 2021; Tolli & Schmidt, 2008) in der Literatur zur Selbstregulation hervorgehoben wurden. Diese Diskrepanzen können auch die Entstehung von Leistungsemotionen beeinflussen (Pekrun et al., 2002), die wiederum nachfolgende Zielsetzungen (e.g., Ahrens, 1987; Cervone et al., 1994; Ilies & Judge, 2005; Ilies et al., 2010; Scott & Cervone, 2002) und die Leistung (e.g., Carver, 2003; Fulford et al., 2010; Seo & Patall, 2021; Thürmer et al., 2019) beeinflussen. Um Theorie und empirische Befunde miteinander zu verbinden, wird ein computationales Modell zur Zielsetzung, Leistung und Emotionen (Ballard et al., 2021; Farrell & Lewandowsky, 2010) entwickelt, getestet und in drei verschiedenen Datensätzen angewendet, um zu zeigen, wie dieses ganzheitliche Verständnis von dynamischem SRL erreicht werden kann. Es gibt mehrere Motivationen für die Durchführung der in dieser Dissertation vorgestellten Forschung. Erstens wird in Kapitel 2 (The Need for Computational Modeling in Educational Psychology) argumentiert, warum eine solche Modellierung in der Bildungspsychologie erforderlich ist. Während ein Großteil der Literatur in der Bildungspsychologie auf die Untersuchung linearer paarweiser Beziehungen zwischen Variablen setzt, wird computationale Modellierung flexibel eingesetzt, um das Verhalten dynamischer Systeme als Ganzes zu modellieren, die mehrere Interaktionen berücksichtigen (e.g., Ballard et al., 2016; Gee et al., 2018; Hardy et al., 2019). Die Vorteile der computationalen Modellierung werden in der Übersichtsarbeit erörtert, einschließlich ihrer Flexibilität in der Spezifikation, der Möglichkeit, Daten zu simulieren, um theoretische Annahmen zu verstehen, und des Beitrags zum Verständnis und zur Weiterentwicklung von Theorien. Die Übersichtsarbeit zielt darauf ab, die Bedenken einiger Psychologen hinsichtlich des aktuellen Stands des Fachgebiets (e.g., Greene, 2022; Murayama & von Keyserlingk, 2024; Pekrun et al., 2024) zu zerstreuen und Argumente dafür zu liefern, warum computationale Modellierung, die in verwandten Disziplinen wie der Organisationspsychologie eingesetzt wurde, auch in der Bildungspsychologie verstärkt angewendet werden sollte. Zweitens haben Untersuchungen zur Rolle von Emotionen bei der Zielsetzung und Leistung in der Literatur uneinheitliche Ergebnisse geliefert. In Kapitel 3 (Study 1: The Role of Emotions on Goal Setting and Performance in Dynamic Self-Regulated Learning: A Computational Modeling Approach) wird ein computationales Modell zur Zielsetzung, Leistung und Emotionen vorgestellt, welches ein Werkzeug zur Bewertung der Auswirkungen von Emotionen bietet. Diese Studie verwendet zwei Datensätze. Der erste Datensatz (N = 357) wurde in einer Online-Mathematikaufgabe erhoben, bei der die Teilnehmenden eine Serie von 20 Blöcken mathematischer Gleichungen bearbeiteten, während Ziele und Emotionen erfasst wurden. Dieser Datensatz wurde genutzt, um das computationale Modell zu validieren. Die Ergebnisse zeigten, dass das Modell in der Lage war, die Effekte der Diskrepanz zwischen Ziel und Leistung (Ziel-Leistung-Diskrepanz, GPD) und Emotionen abzubilden. Dies deutet darauf hin, dass Emotionen zusätzliche Informationen darüber liefern können, wie Individuen Ziele setzen und Aufgaben bearbeiten, die über die bloßen Effekte von Diskrepanzen hinausgehen. Der zweite Datensatz (N = 305) wurde in einer Studie zur Zielsetzungsverhalten von Medizinstudierenden erhoben, die sich auf das zweite Staatsexamen in Deutschland vorbereiteten, welches als entscheidend für die Fortsetzung ihrer Berufsausbildung gilt. Mithilfe einer Online-App bearbeiteten die Studierenden frühere Prüfungsfragen, setzten tägliche Lernziele und berichteten über ihre Emotionen vor und nach jeder Lernsitzung. In diesem ökologisch validen Kontext zeigten die Ergebnisse, dass positive Emotionen vor der Lerneinheit einen positiven Einfluss auf die Leistung hatten, während keine direkten Effekte auf die Zielsetzung beobachtet wurden (welche möglicherweise durch die Wichtigkeit der Prüfung maskiert sind). Dies deutet darauf hin, dass positive Emotionen den Einsatz von Anstrengungen während des Lernens fördern könnten. Diese Studie trägt zur Literatur bei, indem sie eine Anwendungsfallstudie der computationalen Modellierung präsentiert und zeigt, wie ein solches Modell entwickelt und getestet werden kann, um die Rolle von Emotionen im dynamischen SRL zu verstehen. Drittens wurde das Setzen ambitionierter Ziele bereits in mehreren Studien beobachtet (Campion & Lord, 1982; Donovan, 2009; Lin et al., 2024) und untersucht (Chevance et al., 2021; Ritzema, 2016). Um die Auswirkungen dieser Strategie im Bildungskontext mithilfe eines dynamischen SRL-Rahmens zu verstehen, beschreibt Kapitel 4 (Study 2 – Pushing the Boundaries: The Effects of High Goal Setting in Dynamic Self-Regulated Learning) eine Studie, in der Studierende entweder reguläre Ziele (Kontrollgruppe, N = 77) oder hohe, ambitionierte Ziele (Experimentalgruppe, N = 69) setzen sollten, während sie für den Leseverständnisteil des Test of English as a Foreign Language (TOEFL) lernten. Das am besten passende computationale Modell aus Kapitel 3 wurde auf diesen Datensatz angewendet, wobei ein hierarchischer Bayes-Ansatz genutzt wurde, um die Parameter der beiden Gruppen zu schätzen. Die Ergebnisse dieser Studie zeigten, dass computationale Modellierung Unterschiede zwischen den Gruppen in den zugrunde liegenden Mechanismen der Zielsetzungsverhalten nach Zielversagen aufzeigen konnte. Darüber hinaus wurde ein positiver Effekt von Emotionen vor dem Lernen auf die Zielsetzung beobachtet, was darauf hindeutet, dass Emotionen die Wahrnehmung der eigenen Kompetenz fördern können. Diese Studie unterstützt weiter die Nützlichkeit der computationalen Modellierung in der empirischen Bildungsforschung, indem sie zusätzliche Belege liefert, dass diese Technik verwendet werden kann, um zugrunde liegende psychologische Prozesse zu beleuchten. Durch die Anwendung einer neuartigen Analysemethodik in der empirischen Bildungsforschung liefert diese Dissertation eine erfolgreiche Darstellung der computationalen Modellierung und zeigt, wie sie verwendet werden kann, um zugrunde liegende Prozesse im Bereich der Zielsetzung, Aufgabenleistung und Emotionen zu identifizieren. Dabei leistet sie einen theoretischen Beitrag zum Verständnis bestimmter Prozesse, einschließlich der Auswirkungen von Zielversagen auf Zielsetzungsverhalten sowie der zeitlichen Bedeutung von Emotionen für die Zielsetzung und die zielgerichtete Handlung. Durch die Übersichtsarbeit, die für die Einführung der computationalen Modellierung plädiert, sowie die beiden empirischen Studien, die Ihren Wert bei der Untersuchung des dynamischen SRL demonstrieren, zielt diese Dissertation darauf ab, eine neuartige Methodik für den Einsatz in der empirischen Bildungsforschung voranzutreiben.