The influences of occlusion on macaque inferior temporal neurons

Abstract

Occlusion is ubiquitous in nature. It is therefore important for an observer to be able to identify visual input despite partial occlusion. Humans as well as rhesus monkeys seem in general to be very good at this task. Yet, it has been demonstrated for human observers that the recognition of a partially occluded image depends on which image parts are visible. Here, it is shown that the same effects can be observed for monkeys. Two Rhesus monkeys were trained to discriminate between natural scenes. When the scenes were presented behind randomly generated occluders, the occlusion of very specific image regions impaired the performance. The results indicate that for monkey observers, information from different image regions contributes in a very characteristic way to the identification of an image. Each monkey had a unique strategy to rely only on certain image regions during the task.

In the second stage of the experiment, single cell recordings were performed in area TE in the monkey inferior temporal cortex. The responses of neurons to partially occluded stimuli were recorded. Occluders were constructed according to the behavioral results, taking into account how behavioral relevance, or diagnosticity, was distributed across an image. The occluded conditions were constructed such that either diagnostic or non-diagnostic image regions were visible. Consistent influences of occlusion were present in area TE. Next to a general reduction in response rate with occlusion, pronounced differences were obtained between diagnostic and non-diagnostic conditions: Firing rate as well as selectivity was higher in the diagnostic conditions. The results therefore show that different regions of a natural scene evoke responses from TE neurons depending on their behavioral relevance.

Together with the activity patterns of single neurons, the local field potential (LFP) was recorded in area TE. The LFP reflects the synaptic activity in a brain region and thus can be considered to be coupled to the inputs into this region. While effects of occlusion were generally present in the LFP, the effects of diagnosticity depended on the recording location. Moving from posterior to anterior locations in TE, diagnosticity exerted progressively more influence on the LFP. Contrasting with the LFP, the activity of single units was homogeneous across the whole recording region. The data are consistent with a model proposing that diagnosticity is first encoded in posterior TE, but not in earlier visual areas.

In conclusion, we were not only able to demonstrate that the diagnosticity of an image region is encoded in area TE, but also that this encoding is first achieved there. In agreement with previous studies, this strongly suggests that one function of area TE is to store parts-based representation for learned visual structure, which reflects the diagnosticity of the encoded parts.

Es kommt in der Natur häufig vor, dass nur Teile eines Objekts zu sehen sind. Es ist daher für einen Beobachter wichtig, nur teilweise sichtbare Objekte erkennen zu können. Menschen und Rhesusaffen scheinen diese Aufgabe generell sehr gut lösen zu können. Allerdings hängt die Erkennung dieser teilweise verdeckten Objekte für Menschen davon ab, welche Objektbereiche zu sehen sind. Wir zeigen hier, dass dieser Effekt auch bei Rhesusaffen beobachtet werden kann. Zwei Affen wurden darauf trainiert, natürliche Bilder zu erkennen. Wurden diese Szenen hinter zufällig generierten Masken gezeigt, so führte die Abdeckung bestimmter Bildbereiche zu Fehlern in der Erkennung. Diese Ergebnisse zeigen, dass auch Rhesusaffen verschiedene Bildbereiche unterschiedlich stark zur Erkennung eines Bilds verwenden. Jeder Affe hatte dabei seine eigenen Präferenzen in der Auswahl für die Aufgabe nützlicher Bildbereiche.

Im zweiten Teil des Experiments wurden Einzelzellableitungen im Areal TE im inferotemporalen Kortex des Rhesusaffen durchgeführt. Dabei wurden die neuronalen Antworten auf nur teilweise sichtbare Objekte aufgezeichnet. Die zur Verdeckung verwendeten Masken wurden aufgrund der Ergebnisse der Verhaltensexperimente konstruiert. Masken wurden so über den Bildern platziert, dass in den resultierenden Bildern entweder nur diagnostische (d.h. verhaltensrelevante) oder nur nicht-diagnostische Bereiche sichtbar waren. Diese Masken hatten einen systematischen Einfluss auf die neuronale Antwort in TE. Neben einer generellen Reduktion der Feuerrate aufgrund der Abdeckung gab es deutliche Unterschiede zwischen diagnostischen und nicht-diagnostischen Bedingungen: Sowohl die Feuerrate als auch die neuronale Selektivität waren höher für diagnostische als nicht-diagnostische Bedingungen. Der Einfluss verschiedener Regionen einer natürlichen Szene auf die neuronalen Antworten in TE hängt also davon ab, welche Verhaltensrelevanz die Bildregionen haben.

Gleichzeitig mit dem Verhalten einzelner Zellen wurde das lokale Feldpotential (LFP) in TE aufgezeichnet. Das LFP reflektiert synaptische Aktivität in einem Gehirnbereich. Man kann daher davon ausgehen, dass das LFP an die Eingänge in eine Gehirnregion gekoppelt ist. Die Diagnostizität einer Bedingung hatte je nach Ableitungsort einen unterschiedlich starken Einfluss auf die LFP Antworten: Je weiter anterior das LFP aufgezeichnet wurde, desto größer waren die Unterschiede zwischen diagnostischen und nicht-diagnostischen Bedingungen. Im Gegensatz zum Verhalten des LFPs war das Verhalten einzelner Zellen homogen in der gesamten getesteten Hirnregion. Diese Daten sind durch ein Modell erklärbar, in dem die Diagnostizität eines Bildbereichs zum ersten Mal im posterioren Teil von TE kodiert wird, aber nicht in den früheren visuellen Arealen.

Unsere Daten zeigen also nicht nur, dass die Diagnostizität einer Bildregion in TE kodiert wird, sondern auch, dass diese Form der Kodierung zum ersten Mal in TE erreicht wird. In Übereinstimmung mit früheren Studien weisen unsere Daten darauf hin, dass es eine Aufgabe von TE ist, komplexe Objekte mittels ihrer verhaltensrelevanten Bildteile zu repräsentieren.