Investigating the Prerequisites for a robust Neurotutor: The Detection of mixed User States containing Working Memory Load, Affective Valence and Affective Dominance

Abstract

Intelligent tutoring systems are software environments that aim to simulate a human tutor. While current systems show effectiveness comparable to human tutors, they still suffer from the ‘assistance dilemma’. This drawback refers to the inability to infer the ongoing user state which can lead to situations where the system provides no or inadequate support. To alleviate this situation, user state detection has been implemented in some systems. However, at the current time, only behavioral indicators are used to infer the ongoing user state. Such overt behaviors are not specific enough to provide a detailed representation of the user state. This is the reason why I suggest to investigate the potential use of the electroencephalogram to infer the ongoing user state. This combination of an intelligent tutoring system and an EEG-based user state detection is called a neurotutor. EEG-based user state detection usually focusses on narrow user states which can be detected in controlled lab environments. I assume that real-life environments like a classroom evoke complex user states which consist of multiple different components. I therefore propose a three component framework that enables the tracking of different processes that are active during a complex user state. The first two studies focus on the separation of working memory load and affective valence in a highly controlled setting with the use of established measures from classical neuroscience. I found that measures used to infer working memory load can be used to track changes in working memory load under different affective valence. Furthermore, I found that said measures were also sensitive to changes in affective valence. Surprisingly, I found that measures used to infer affective valence were not sensitive to changes in affective valence under working memory load. Additional analyses revealed that working memory load and affective valence can be automatically detected with accuracies sufficient for the use in a neurotutor. The third study successfully replicated the findings from the first two studies in a more realistic, although less controlled setting. A simplified learning game was used to induce the complex user state of perceived loss of control that simultaneously evoked cognitive as well as affective processes. With the help of the framework I was able to integrate the findings from three different studies that all analyzed the same dataset. This would not have been possible without an adequate theoretical framework.

Intelligente Tutorensysteme sind EDV-Programme, welche versuchen einen menschlichen Tutor zu simulieren. Obwohl derzeit erhältliche Systeme ähnlich effektiv sind wie menschliche Tutoren, leiden sie immer noch unter dem ‚Assistenzdilemma‘. Dies referenziert auf die Unfähigkeit den aktuellen Nutzerzustand zu erkennen, was dazu führen kann, dass das System keine oder inadäquate Unterstützung anbietet. Um diesen Umstand zu beseitigen wurde in manchen Systemen bereits eine Nutzerzustandserkennung implementiert. Derzeit werden jedoch nur beobachtbare Verhaltensweisen verwendet, um den aktuellen Nutzerzustand abzuleiten. Solch offenkundige Verhaltensweisen sind jedoch nicht spezifisch genug, um ein detailliertes Bild des Nutzers zu erfassen. Deshalb schlage ich vor, dass man das Elektroenzephalogramm verwenden soll, um den aktuellen Nutzerzustand zu erkennen. Diese Kombination eines intelligenten Tutorensystems mit einer EEG-basierten Zustandserkennung nennt man einen Neurotutor. Normalerweise fokussiert sich EEG-basierte Zustandserkennung jedoch nur auf begrenzte Zustände, welche innerhalb kontrollierter Laborumgebungen erkannt werden. Ich nehme an, dass realistische Settings wie ein Klassenzimmer komplexe Zustände hervorrufen, welche aus mehreren verschiedenen Komponenten bestehen. Daher stelle ich ein Bezugssystem mit drei Komponenten auf, welcher die Zuordnung der verschiedenen Prozesse, die während eines komplexen Nutzerzustandes aktiv sind, ermöglicht. Die ersten beiden Studien befassen sich mit der Separation von Arbeitsgedächtnisbelastungen und affektiver Valenz durch die Verwendung von etablierten EEG Maßen in einem hoch kontrollierten Setting. Dabei habe ich herausgefunden, dass Maße, welche zum Erkennen von Arbeitsgedächtnisbelastungen verwendet werden, auch geeignet sind, um Veränderungen in der Belastung des Arbeitsgedächtnisses unter gleichzeitiger emotioneller Stimulation zu erkennen. Außerdem habe ich entdeckt, dass die erwähnten Maße auch sensitiv gegenüber Veränderungen in der affektiven Valenz sind. Überraschender Weise hat sich herausgestellt, dass Maße, welche zum Erkennen von affektiver Valenz verwendet werden, nicht sensitiv gegenüber Veränderungen in der affektiven Valenz sind, wenn gleichzeitig das Arbeitsgedächtnis belastet wird. Zusätzliche Analysen haben aufgedeckt, dass Arbeitsgedächtnisbelastungen und affektive Valenz mit einer Genauigkeit erkannt werden kann, welche für den Gebrauch in einem Neurotutor ausreichend sind. In der dritten Studie konnten die Ergebnisse der ersten beiden Studien erfolgreich in einem relevanteren, aber weniger kontrollierten Kontext repliziert werden. Dabei wurde ein vereinfachtes Lernspiel verwendet, um einen wahrgenommenen Kontrollverlust zu induzieren. Durch Verwendung des Bezugsrahmens war es mir möglich die Ergebnisse von drei verschiedenen Studien zu integrieren, welche alle denselben Datensatz analysierten. Dies wäre nicht ohne adäquaten theoretischen Rahmen möglich gewesen.