Understanding Other People Through Perception of Human Social Actions: From Action Recognition to Social Interaction

Abstract

How do we understand the actions of other people? Understanding other human beings is one of the most challenging tasks for the human brain. Although humans have evolved into highly social animals equipped with remarkable capacities to achieve effortless interaction with each other, the underlying brain mechanisms enabling us to observe, act, and predict the behavior of other humans are still largely unknown. The current PhD thesis attempts to advance our knowledge about how we understand other humans by investigating perception and recognition of human social actions in various different contexts. The first study (Chapter 2) tries to investigate how the brain discriminates between different social actions using a visual adaptation paradigm, and compares kinematic and semantic similarities between different action pairs. The second study (Chapter 3) compares the processes underlying action recognition between different cultures – namely Germany and Korea. The third study (Chapter 4) asks the question whether we use shared representations of actions to encode complementary actions occurring in everyday life social interactions. The last study (Chapter 5) examines how we perceive the actions of an interaction partner if we are physically coupled together with a rope, but cannot see or hear the partner. Taken together, the current PhD work aims to study the underlying mechanisms of social cognition by various methods – from action recognition studies using visual adaptation paradigms to more complex studies of social interactions with direct and observed pairwise interactions. The results of the current work reveal that (1) both kinematic and semantic components play an important role for the encoding of action representations, (2) action recognition processes are surprisingly robust and consistent across different cultures, (3) action representations are shared for complementary actions in social interactions, and (4) humans perceive social information from actions even in situations with minimal possibilities for communication. In summary, the current work provides new insights into the brain mechanisms how humans understand other people through the perception and recognition of social actions inside and outside of social interactions.

Wie verstehen wir Handlungen anderer Menschen? Für das menschliche Gehirn ist das Verstehen der Handlungen anderer Menschen eine der anspruchsvollsten Aufgaben. Dennoch sind wir imstande erfolgreich mit anderen Menschen zu interagieren und ihr Verhalten zu interpretieren. Welche Mechanismen im Gehirn dieser Fähigkeit unterliegen ist aber noch größtenteils unbekannt. Die folgende Dissertation beschäftigt sich mit der Frage wie wir soziale Handlungen anderer Menschen in verschiedenen Kontexten wahrnehmen und erkennen können. Dazu haben wir experimentelle Methoden der visuellen Adaptation benutzt, um mittels Psychophysik zu untersuchen, wie verschiedene soziale Handlungen im Gehirn repräsentiert sind. Ebenfalls haben wir untersucht, ob es kulturelle Unterschiede in der Handlungswahrnehmung und ihr unterliegenden Prozessen gibt, und dabei deutsche und koreanische Versuchsteilnehmer verglichen. Weiterhin sind wir der Frage nachgegangen, ob Handlungen in dem Kontext von sozialen Interaktionen gemeinsam im Gehirn repräsentiert werden, wie auch der Frage, wie wir ohne direkte visuelle oder auditorische Information einen Interaktionspartner wahrnehmen. Die Ergebnisse von den Studien in dieser Dissertation zeigen, dass (1) sowohl kinematische wie auch semantische Komponenten eine wichtige Rolle für die Enkodierung von Handlungs-Repräsentationen im Gehirn spielen, (2) die Wahrnehmung und Kategorisierung von sozialen Handlungen über verschiedene Kulturen hinweg erstaunlich robust und konsistent ist, (3) Handlungen in dem Kontext von sozialen Interaktionen gemeinsam enkodiert werden, und (4) wir selbst in Situationen mit sehr begrenzter Kommunikationsmöglichkeit soziale Informationen über unsere Interaktionspartner sammeln und ihre Handlungen beurteilen. Zusammengefasst bringt diese Arbeit neue Erkenntnisse darüber wie wir andere Menschen und ihre Handlungen wahrnehmen, erkennen und in unserem Gehirn repräsentieren.