EEG Frequency Band Power and Pupil Dilation as Measures for Executive Working Memory Load in Task Settings of Basic and Applied Research

Abstract

Performing a task, for example the selection of links during hypertext reading, raises cognitive demands, that is, induces cognitive load. Cognitive load may be attributed to working memory (WM) functioning. Core executive functions (EFs), like updating, shifting, and inhibition, may define the executive (i.e., working) part of WM and thus may be essential for WM functioning. Consequently, cognitive load may result out of the demands on core EFs during task performance. Brain oscillatory activity as captured in the electroencephalogram (EEG) by frequency band power in time-frequency representations (TFRs) might serve as a measure for demands on core EFs. Especially, EEG alpha frequency band power could serve as a global measure of the cognitive load-situation which grounds in demands on core EFs. Pupil dilation, which can be more efficiently acquired as compared to the EEG, might also be used as a measure of the overall load-situation.

Yet, the role of core EFs for WM functioning has been rarely studied to date, and the interplay of core EFs and their relation to WM is still matter of debate. Most important, the use of the physiological measures EEG alpha frequency band power and pupil dilation for assessing demands on core EFs and the global cognitive load-situation in complex, real-world task settings of hypermedia environments have to be studied further. Especially, possible non-cognitive factors have to be ruled out which might confound the physiological measures. In the current doctoral thesis, we therefore addressed in three studies ranging from basic to applied research 1) the relationship of core EFs and WM, 2) the interplay of core EFs, and 3) the use of EEG alpha frequency band power and pupil dilation as measures for increased demands on core EFs in a task setting of applied research, namely for hypertext reading and link selection.

In Study 1, we addressed the relationship of core EFs and WM by comparing two commonly used WM tasks, an n-back and an operation span task, and a simple digit span task that is generally considered as a short-term memory task. Conceptually, the two WM tasks should comprise demands on all three core EFs, whereas the simple digit span task might mainly demand the EF updating. Overall, the outcomes of Study 1 revealed that EEG correlates were more similar between the n-back and the operation span task as compared to the simple digit span task, thus confirming the conceptual similarities between the two WM tasks.

In Study 2, we addressed the interplay of core EFs like updating and inhibition which might be due to a common underlying factor of controlled attention. We manipulated demands on two core EFs, updating and inhibition, within one single WM task. This was done by using congruent and incongruent flanker items (inhibitory demands) as stimuli in an n-back task paradigm (WM updating demands). The outcomes of Study 2 revealed a decreased flanker interference effect under severe load on updating for most of the load-related measures (P300, alpha frequency band power, pupil dilation), indicating the activity of an underlying common network structure which might serve processes of controlled attention and thus might enhance inhibitory control under severe load on WM updating.

In Study 3 a)-c), we addressed the research question whether alpha frequency band power and pupil dilation could serve as comparable measures for demands on core EFs in a complex, real-world task setting of hypertext reading and link selection. Importantly, we carefully ruled out possible perceptual-motor confounds which often hamper the interpretability of hypertext studies using physiological measures. Overall, our results showed that both physiological measures can be used to assess changes in the load-situation during link-selection processes. Surprisingly however, albeit showing a comparable result pattern, the two measures did not correlate with one another. At this point we can only speculate about this rather unexpected outcome. Clearly, more research is necessary on this.

In sum, we were interested in alpha frequency band power as an overall measure of cognitive load which may be grounded in demands on core EFs. Thus, alpha frequency band power served as dependent measure in all three studies and was supplemented by beta frequency band power, theta frequency band power, P300, and pupil dilation in some studies. Each study might serve as an initial step for conducting further research on core EFs using physiological measures in each specific task setting we used. Overall, the outcomes underline the use of physiological measures like alpha frequency band power and pupil dilation for studying core EFs in task settings of basic and applied research. EEG alpha frequency band power can be used as a measure of cognitive load which grounds in demands on core EFs.

Das Ausführen einer komplexen Aufgabe, wie beispielsweise das Auswählen von Links beim Lesen einer Hypertextseite, stellt kognitiven Anforderungen und führt damit zu erhöhter kognitiver Belastung. Kognitive Belastung kann der Funktion des Arbeitsgedächtnisses zugeschrieben werden. Grundlegenden exekutiven Funktionen (EF) wie 'updating', 'shifting' und 'inhibition' definieren den exekutiven Teil des Arbeitsgedächtnisses. Sie sind damit zentral für die Funktion des Arbeitsgedächtnisses. Folglich sollte sich kognitive Belastung auf Anforderungen an EF während der Durchführung einer komplexen Aufgabe zurückführen lassen. Oszillatorische Hirnaktivität, die sich beispielsweise mittels des Elektroenzephalogramms (EEG) als Frequenzbandpower über die Zeit in Zeit-Frequenz-Darstellungen erfassen lässt, könnte zur Messung der Anforderungen an EF dienen. Insbesondere die EEG alpha-Frequenzbandpower könnte als ein Maß der globalen kognitiven Belastungssituation dienen, die in Anforderungen an EF begründet ist. Die Pupillendilatation, die im Vergleich zu EEG-Daten effizienter zu erheben ist, könnte gleichfalls als ein Maß der globalen Belastungssituation genutzt werden.

Allerdings wurde die Rolle, die EF für das Funktionieren des Arbeitsgedächtnisses spielen, bisher selten experimentell untersucht, und das Zusammenspiel der EF und ihr Zusammenhang mit dem Arbeitsgedächtnis wird nach wie vor kontrovers diskutiert. Vor allem scheinen weitere Untersuchungen nötig, die den Einsatz der physiologischen Maße EEG alpha-Frequenzbandpower und Pupillendilatation als Maße der Belastung von EF in komplexen, möglichst realistischen Aufgaben in hypermedialen Umgebungen zum Gegenstand haben. Insbesondere sind in diesem Kontext Faktoren auszuschließen, die die physiologischen Maße beeinflussen können, jedoch nicht kognitiver Natur sind. In der vorliegenden Dissertation adressierten wir deswegen in drei Studien folgende Forschungsfragen, die von der Grundlagenforschung zur Anwendungsforschung reichen: 1) der Zusammenhang von EF und dem Arbeitsgedächtnis, 2) das Wechselspiel zwischen EF und 3) den Einsatz von EEG alpha-Frequenzbandpower und Pupillendilatation als Maße für erhöhte Anforderungen an EF in einem Aufgabensetting der Anwendungsforschung, nämlich für die Auswahlprozesse von (Hyper-) Links während des (Hypertext-) Lesens.

In Studie 1 adressierten wir die Beziehung von EF und dem Arbeitsgedächtnis, indem wir zwei häufig genutzte Arbeitsgedächtnisaufgaben, eine sogenannte 'n-back'-Aufgabe und eine 'operation span'-Aufgabe, und eine Kurzzeitgedächtnisaufgabe, eine 'digit span'-Aufgabe, miteinander verglichen. Die beiden Arbeitsgedächtnisaufgaben sollten konzeptuell betrachtet Anforderungen an alle drei EF stellen, wohingegen die 'digit span'-Aufgabe nur die EF 'updating' erfordern sollte. Insgesamt zeigten die Ergebnisse von Studie 1, dass die untersuchten EEG-Korrelate ähnlicher waren zwischen der 'n-back'- und der 'operation span'-Aufgabe, was die konzeptuelle Ähnlichkeit dieser Arbeitsgedächtnisaufgaben bestätigte.

In Studie 2 adressierten wir den Zusammenhang zwischen den EF 'updating' und 'inhibition', der auf einen möglicherweise zugrundeliegenden gemeinsamen Faktor von kontrollierter Aufmerksamkeit zurückzuführen ist. Wir manipulierten hierzu die Anforderungen an zwei EF, 'updating' und 'inhibition' innerhalb einer Arbeitsgedächtnis-aufgabe. Dies wurde erreicht durch die Nutzung kongruenter und inkongruenter Flanker-Stimuli (Anforderungen an die inhibitorische Kontrolle) als Stimuli in einem 'n-back'-Aufgabenparadigma (Anforderungen an 'updating'). Die Ergebnisse von Studie 2 zeigten einen verringerten Flanker-Interferenzeffekt unter hoher 'updating'-Belastung. Dies zeigte sich auf den meisten der untersuchten Maße (P300, alpha-Frequenzbandpower, Pupillendilatation). Die Ergebnisse weisen auf die Aktivität eines zugrundeliegenden gemeinsamen neuronalen Netzwerks hin, das möglicherweise der Aufmerksamkeitskontrolle dient und das, wenn einmal aktiviert (z.B. durch die 'updating'-Belastung), die inhibitorische Kontrolle verstärken kann.

In Studie 3 a)-c) adressierten wir die Forschungsfrage ob alpha-Frequenzbandpower und Pupillendilatation vergleichbar als Maße für Anforderungen an EF nutzbar sind und zwar in einem komplexen, realistischen Aufgabensetting bestehend aus Hypertextlesen und der Auswahl von Links. Insbesondere wurden in dieser Studie mögliche konfundierende Faktoren perzeptueller oder motorischer Art, die oft die Interpretierbarkeit physiologischer Maße in Hypertextstudien schwächen, ausgeschlossen. Insgesamt zeigten die Ergebnisse, dass beide physiologische Maße genutzt werden können, um Veränderungen in der Belastungssituation während der Linkauswahl zu detektieren. Überraschender Weise jedoch korrelierten die beiden Maße nicht miteinander, obwohl beide ein ähnliches Ergebnismuster zeigten. An dieser Stelle können über dieses eher unerwartete Ergebnis nur Spekulationen angestellt und auf zukünftige Forschung verwiesen werden.

Zusammengefasst: In der vorliegenden Dissertation untersuchten wir die EEG alpha-Frequenzbandpower als ein globales Maß kognitiver Belastung, die sich möglicherweise auf die Belastung grundlegender EF zurückführen lässt. Alpha-Frequenzbandpower fungierte dementsprechend als abhängige Variable in allen drei Studien und wurde ergänzt um die Untersuchung der beta- und theta-Frequenzbandpower, der P300 und der Pupillendilatation in einigen der Studien. Jede Studie kann als Ausgangspunkt für weitere Forschung dienen, in der die beschriebenen physiologischen Maße und Aufgabensettings genutzt werden, um EF weiter zu untersuchen. Insgesamt unterstreichen die Ergebnisse der Dissertation den Nutzen physiologischer Maße wie die alpha-Frequenzbandpower und die Pupillendilatation um EF in Aufgabensettings der Grundlagen- und Anwendungsforschung zu untersuchen. Die EEG alpha-Frequenzbandpower scheint als ein Maß der kognitiven Belastung genutzt werden zu können, die auf unterschiedliche Anforderungen an grundlegende EF zurückzuführen ist.