Event-related brain potentials in emotion perception research, individual cognitive assessment and brain-computer interfaces

Abstract

All of the experimental and theoretical work presented in this dissertation has been inspired by the general idea of applying event-related brain potential (ERP) measurement and assessment for practical purposes: cognitive diagnostics and Brain-Computer Interfaces (BCI) for paralyzed people.

In Chapter 1, two new ERP paradigms are introduced, which were developed for the diagnostics of a particular cognitive function, the recognition of affective prosody. The affective state of a speaker can be identified from the prosody of her/his speech. Voice quality is the most important prosodic cue for emotion recognition from short verbal utterances and nonverbal exclamations, the latter conveying pure emotion, void of all semantic meaning. Two context violation ERP paradigms, passive oddball and priming, were adopted for the study the ERPs reflecting this recognition process. A new negative wave, the N300, was found in the ERPs to contextually incongruous exclamations. This component was interpreted as analogical to the well known N400 response to semantically inappropriate words. The N300 appears to be a real-time psychophysiological measure of spontaneous emotion recognition from vocal cues, which could prove a useful tool for the examination of affective-prosody comprehension for the purposes of both fundamental psychological research and applied clinical diagnostics.

Chapters 2 and 3 address the important issue of ERP component detection and quantification mostly from the perspective of individual data assessment, which is crucial for any reliable ERP diagnostics. The classical measures, area and peak, used in Chapter 1 are the most popular estimators of ERP components. Although they are in standard use in ERP research, they are very rough estimators, which heavily rely on visual inspection of the waveforms, and are thus prone to experimenter bias. Chapter 2 shows how the Continuous Wavelet Transform (CWT) can be used in ERP data analyses. A novel assessment method, the total-average-CWT, is introduced and demonstrated on the ERP data acquired in the emotional prosody experiments presented in Chapter 1. This method does not rely on visual inspection of the waveforms but allows for more automated detection of peaks. At the same time it provides more precise estimation of ERP components and yields larger statistical difference effects than classical methods do.

The usage of the ERP technique in clinical applications for diagnostic purposes, requires special methods of EEG data assessment, based on single trial analysis. The total-average-CWT method introduced in Chapter 2 is an example for one such method. In Chapter 3, a new, largely improved version of the method, the t-CWT, is introduces. The t-CWT is based on the CWT and Student's t-statistics. The method was systematically tested in two prototypical ERP paradigms, oddball and sematnic priming, which belong to the basic tools of ERP-based cognitive diagnostics. The method was compared to other assessment procedures based on Principal Component Analysis (PCA) and the Discrete Wavelet Transform (DWT). Similarity to clinical settings was achieved by the individual assessment of each participants ERP data. Both whole waveforms and single ERP components were assessed by multivariate procedures including PCA data set reduction, Hotelling's test and a randomization test. The assessment of the whole ERP waveforms is particularly relevant to the paradigms of the context violation class introduced in Chapter 1. The results demonstrated the superiority of the t-CWT to the other assessment methods.

In the study presented in Chapter 4, the detection and quantification method introduced in Chapter 3, the t-CWT, was applied in the classification of single ERP trials for the purposes of BCI. In this application, the t-CWT is used as a general feature extraction method, which provides the optimal variables describing the pattern that best discriminates between the ERPs reflecting different cognitive processes. The method has been validated in the International BCI Competition 2003, where it was a winner (provided best classification) on two ERP data sets acquired in two different BCI paradigms, P300 speller and Slow Cortical Potential (SCP) feedback. In the P300 speller paradigm the method provided results, which were as good as those obtained from simple and redundant features with a very powerful classifier based on machine learning, the Support Vector Machines (SVM). The t-CWT method has the advantage that it is very simple, intuitively plausible, readily visualizable and the extracted features have clear interpretation as ERP components.

To summarize, two major results are presented in this dissertation: first, the newly found ERP component, the N300 to inconsistent affective prosody expressed in emotional exclamations, and second, the newly developed t-CWT feature extraction method for fully automated detection and quantification of ERP components.

Die Forschungsarbeit, die in der Dissertation dargestellt ist, wurde von der allgemeinen Idee inspiriert, die Technik der ereigniskorrelierten Hirnpotentiale (EKP) in klinischen Anwendungen mit gelähmten Patienten weiter zu entwickeln und zu verbessern.

Im Kapitel 1 werden zwei neue EKP Paradigmen dargestellt, die speziell für die Untersuchung einer ganz bestimmten kognitiven Funktion entwickelt wurden: die Erkennung affektiver Prosodie, insbesondere der emotionalen Stimmqualität. Diese kognitive Funktion wurde bislang psychophysiologisch fast gar nicht erforscht, obwohl sie oft durch verschiedene neurologische und psychischen Erkrankungen beeinträchtigt wird. Das Ziel der Studie war, die EKP-Reaktion des Gehirns auf inkonsistente prosodische Reize zu untersuchen. Es wurden emotionale Ausrufe als Testreize benutzt. Die Vpn reagierten mit einer negativen EKP Welle, die N300 auf inkonsistente Ausrufe, die mit dem Kontext der unmittelbar vorher präsentierten Emotionsnamen (Wörter) oder anderen emotionalen Ausrufen nicht vereinbar waren. Die gefundene EKP-Komponente ist der N400-Welle ähnlich, die von unpassenden Schlusswörtern in akustisch präsentierten Sätzen ausgelöst wird. Die Ergebnisse der Prosodiestudie zeigen, dass die emotionale Stimmqualität durch das Gehirn um ungefähr 100 Millisekunden schneller verarbeitet und erkannt wird als die semantische Information, die in gesprochenen Wörtern enthalten ist.

Um die statistische Teststärke der im Kapitel 1 dargestellten Methode zu erhöhen und sie dadurch klinisch anwendbar zu machen, wurde eine neue EKP-Auswertungsmethode entwickelt, die im Kapitel 2 dargestellt wird. Die Methode, die eine bessere, automatische Detektion und Quantifizierung von EKP-Komponenten erlaubt, basiert auf der kontinuierlichen Wavelet-Transformation (CWT). Sie benutzt das Skalogramm der Mittelkurve, die aus allen Einzelsignalen, von allen Vpn und beiden Experimentalbedingungen berechnet wird. Die EKP-Komponenten werden als lokale Extrema in diesem „Totalmittelwertskalogramm“ identifiziert. Die entsprechende Wavelet-Maße der Wellenamplituden wurden mit den klassischen „area“- und „peak“-Maßen verglichen. Der im Kapitel 1 beschriebene N300-Effekt war statistisch viel signifikanter wenn er mit der CWT-Methode quantifiziert wurde, als wenn er mit den klassischen Methoden gemessen wurde.

Das im Kapitel 2 eingeführte Konzept des Totalmittelwertes hat den Nachteil, dass sich positive und negative EKP-Wellen von verschiedenen Experimentalbedingungen in der Totalmittelkurve gelegentlich gegenseitig aufheben können. Um das auszuschließen, wurde eine neue CWT-basierte Methode entwickelt, die t-CWT, die im Kapitel 3 dargestellt wird. Das t-Wert-Skalogramm wird von dem Differenzskalogramm und dem statistischen t-Kennwert von Student berechnet. Es werden die CWTs der EEG-Einzelsignale berechnet und ein t-Wert wird für jeden einzelnen Punkt in der Zeit-Skala-Ebene ermittelt. Die Methode wurde an Daten von zwei prototypischen EKP-Paradigmen, Oddball und semantische Bahnung geprüft. Es wurden sowohl Gruppendaten als auch Individualdaten von einzelnen Vpn aus gewertet. Für den letzteren Fall ist die Nutzung von EEG-Einzelsignalen unumgänglich. Die Stärke der Methode wurde im Vergleich mit anderen Methoden demonstriert – Hauptkomponentenanalyse, diskrete Wavelet-Transforamtion (DWT), die o.g. „area“- und „peak“-Maße. Dabei wurden sowohl einzelne EKP-Komponenten automatisch detektiert und quantifiziert, als auch die ganzen EKP-Kurven multivariat statistisch verglichen. Der letztere Vergleich ist besonders relevant für die EKP-Paradigmen des Kontextverletzungstypus. Die im Kapitel 3 dargestellten Ergebnisse zeigen, dass die t-CWT-Methode größere statistische EKP-Effekte produziert als die anderen Auswertungsmethoden.

Die im Kapitel 3 eingeführte t-CWT-Methode ist im wesentlichen eine Mustererkennungsmethode. Deswegen ist sie besonders gut geeignet für die Klassifikation von EEG-Einzelsignalen in Gehirn-Computer-Schnittstellen (BCI). Diese Anwendung wird im Kapitel 4 dargestellt. In BCIs werden EKPs als Kommunikationsmedium benutzt. Information wird von dem Gehirn zum Computer übertragen, indem der Benutzer willentlich seine EKPs steuert und die dabei entstehende EKP-Differenzen von dem Computer erkannt und als Bits eines Codes interpretiert werden. Die Erkennung der unterscheidenden Merkmale ist ein entscheidender Schritt jedes BCI-Algorithmus. Die t-CWT wurde als Mustererkennungsmethode in zwei unterschiedlichen BCI-Paradigmen eingesetzt – „P300-Speller“ und Selbstregulation von langsamen Hirnpotentialen (SCP). Die Ergebnisse wurden in dem internationalen BCI-Wettbewerb 2003 präsentiert und die t-CWT hat zweimal den ersten Platz gewonnen.

Zusammengefasst werden in der Dissertation zwei Hauptergebnisse dargestellt – neue EKP-Paradigmen zur Untersuchung der Wahrnehmung affektiver Prosodie und neue EKP-Auswertungsmethoden zur automatischen Detektion und Quantifizierung von EKP-Komponenten.