Cerebral processing of emotional prosody — influence of acoustic parameters, arousal and the role of cross-gender interactions

Abstract

Nonverbal signals play an important role in the way humans communicate with each other. Body movements like gestures and facial expressions are only one part of it – another important factor is prosody, in the clinical context firstly defined by Monrad-Kohn (1947) as that special facility of language which creates independently from semantics different meanings via modulation of speech-rhythm, loudness, frequency and stress patterns. Approximately, only seven percent of the information about the emotional state of a speaker are inferred from semantics, meaning the content of his words or “what” he or she says. 55 percent is conveyed by body language and the rest, impressive 38 percent, is transported via prosody, e. g. “how” one says, what he says (Mehrabian, 1972). Therefore, prosody – and its adequate interpretation – represents a vital tool within human every-day-life. So far, a lot of research has been carried out to further disentangle the contribution of different acoustic parameters to the expression of emotional prosody. Numerous scientists tried to clarify the influence and importance of single acoustic features within the creation of different emotional intonations (like for example anger, happiness, disgust, sadness and fear). To make the point one can retain an important role for the following acoustic cues in conveying emotional prosody: a) fundamental frequency, b) intensity (also perceived as loudness) and c) temporal information like rhythm and pauses. The following study creates a link between these mainly neuropsychological studies pointing out the importance of different acoustic features in perception and expression of emotional prosody and brain imaging data detecting the neural correlates of processing emotional prosody. Therefore, a neuroimaging experiment was designed which again targeted the voice-processing areas that were previously described as important for elaboration of emotional prosody (Grandjean et al., 2005, Ethofer et al., 2006a), but allowed at the same time to investigate the impact of basic acoustic parameters in the prosodic signal and other possible influences on these areas. Several pre-studies were conducted in order to ensure that the intended emotion within the prosodic signal was reliably recognized (categorization rating) and to assess the valence and arousal of the different stimuli. To obtain an experimental design that is balanced for the valence of the emotional information expressed by prosody, two negative (i.e. anger and fear) and two positive emotions (i.e. happiness and eroticism) were chosen in addition to neutral prosody, serving as control. This design enabled us to investigate a broad spectrum of emotional categories expressed by prosody and their impact on voice-sensitive areas. In the first part of this thesis, differential contributions of certain acoustic parameters on increased responsiveness in right mid STG to emotional versus neutral prosody are investigated (Wiethoff et al., 2008). In this approach separate simple regression analyses of different acoustic parameters were used to partial out their effect on brain activation in voice processing regions. In addition, a multiple regression analysis with all five investigated acoustic parameters was conducted to evaluate the conjoint effect of these parameters on the hemodynamic responses in our target brain areas.

The main focus of the second part of the thesis was the investigation of effects that cannot be solely explained by differences in acoustic parameters, but depend on the behavioural relevance of the expressed emotional information (Ethofer et al., 2007). For this aim, the inclusion of stimuli spoken in an erotic tone of voice was of particular importance, since in heterosexual individuals seductively spoken speech-signals gain a high behavioural relevance (e.g. reproduction) as well as an extended meaning when different sexes talk and listen to each other. According to our hypothesis, this fact should enable us to detect behavioural as well as neurophysiological reactions that cannot be exclusively explained on the basis of different acoustic cues, as the physically identical stimuli (with the same variability of the acoustic parameters in it) do or do not gain additional information depending on the gender of speaker and listener.

In order to investigate these two aspects the following study was conducted, which is in more detail described in the two publications that form the main part of the manuscript. A general summary that concludes the important findings of both papers will complete this doctoral thesis and can be additionally found in a German version. Since the quotations of the two publications were redundant in some cases, one common list of references is given at the end of the manuscript.

Die vorliegende Kernspintomografie-Studie zu emotionaler Prosodie wurde zum besseren Verständnis des Einflusses fünf verschiedener akustischer Parameter auf bestimmte stimmsensitive Areale innerhalb des menschlichen auditorischen Kortex durchgeführt. Darüber hinaus sollte sie klären, ob akustische Parameter alleine für die stärkere Antwort stimmsensitiver Gehirnareale auf emotionale Prosodie (verglichen mit neutraler Sprachmelodie) verantwortlich sind oder ob es über ihren Einfluss hinaus mögliche Wirkungen verhaltensrelevanter Informationen gibt. Als eine der wenigen Studien zur zerebralen Verarbeitung emotionaler Prosodie, die ohne aktive Aufgabe der Probanden durchgeführt wurde, kann sie frühere Befunde zu den an ihr beteiligten Arealen sinnvoll ergänzen und bestätigen (e.g. Wildgruber et al., 2002, 2004 und 2005; Kotz et al., 2003; Mitchell et al., 2003). Darüber hinaus erweiterte die Studie das Spektrum untersuchter emotionaler Intonationen, für die eine erhöhte Antwort stimmsensitiver Areale bereits nachgewiesen war, um die Kategorien “Erotik” und “Angst” und lässt so auf eine generalisierte Rolle des STG bei der Verarbeitung emotionaler Prosodie schliessen. Innerhalb des rechten mittleren STG konnte das vorliegende Experiment den Einfluss der einzelnen akustischen Parameter auf die erhöhte hämodynamische Antwort während der Perzeption emotionaler Prosodie klären. Separate Regressionsanalysen zeigten, dass kein einzelner Parameter die erhöhten Antworten ausreichend erklären konnte, das Zusammenspiel aller fünf analysierten Parameter jedoch sehr wohl. Die gleiche Beobachtung trifft auf das von den Probanden in einer Vorstudie eingeschätzte emotionale Arousal zu: Auch dieser Regressor konnte den Effekt verstärkter hämodynamischer Antworten unserer Zielregion während emotionaler Reize voraussagen. Diese Resultate bestätigen und erweitern unser Verständnis des rechten mittleren STG als eine stimmsensitive Region, die vor allem für das Zusammenspiel mehrerer akustischer Parameter und weniger für einen speziellen Parameter sensibel ist. Plausibel ist in diesem Zusammenhang auch, dass sowohl alle fünf Parameter zusammen, wie auch das zuvor subjektiv eingeschätzte Arousal – welches letztlich ja auch durch die Modulation des akustischen Signals transportiert wird - höhere Aktivierungen während emotionalen Stimuli im rechten mittleren STG erklären konnten. Im ersten Teil der Doktorarbeit ging es um die oben beschriebene Untersuchung dieser stimulusgetriebenen Effekte. Der zweite Teil sollte klären, ob der mittlere STG darüber hinaus ebenfalls für die Dekodierung von Informationen verantwortlich ist, die ihre Bedeutung für den Zuhörer durch die Geschlechterkonstellation der Interaktionspartner erhält. Zur Untersuchung dieser Fragestellung stellen erotisch eingesprochene Reize ein exzellentes Mittel dar, da sie innerhalb der Kommunikation heterosexueller Individuen direkte fortpflanzungsrelevante Informationen tragen können. Der physikalisch-identische Stimulus mit erotischer Intention kann abhängig vom Geschlecht des Sprechers und Zuhörers einen völlig anderen Bedeutungszuwachs bekommen (z. B. ein Signal eines möglichen Partners oder eine weitaus weniger aufregende Äußerung eines Gleichgeschlechtlichen). Erotisch-eingesprochene Reize können somit ausgezeichnet dazu verwendet werden, über physikalische Parameter hinausgehende Veränderungen und deren Auswirkungen auf Verhalten und Gehirnantwort Aufschluss zu geben. Um diese Auswirkungen genauer zu betrachten, wurden sowohl behaviorale Arousalratings als auch hämodynamische Signale des rechten mittleren STG auf erotisch eingesprochene Stimuli gleichgeschlechtlicher Sprecher mit Situationen verglichen, in denen Sprecher und Zuhörer unterschiedlichen Geschlechts waren. Interessanterweise zeigten die Resultate nicht nur höhere Arousalratings auf Verhaltensebene bei der Perzeption erotischer Prosodie, sondern ebenfalls erhöhte hämodynamische Antworten im mittleren rechten STG, wenn die erotisch gesprochenenen Stimuli von einem gegengeschlechtlichen Sprecher stammten. Dieser Effekt zeigte sich exklusiv für erotische Prosodie und konnte für keine der anderen emotionalen Kategorien nachgewiesen werden. Die beiden in dieser Doktorarbeit verwendeten Ansätze konnten also zu einem besseren Verständnis des rechten mittleren STG in sozialer Kommunikation beitragen: Der rechte mittlere superiore temporale Gyrus scheint nicht nur sensitiv für die Modulation prosodisch relevanter akustischer Parameter, sondern ebenfalls dazu befähigt, darüber hinaus gehende Informationen hoher biologischer Relevanz zu dekodieren.