What is the Goal of Complex Cell Coding in the Primary Visual Cortex?

Abstract

Complex cells in the primary visual cortex are the first cells to exhibit geometrical invariance, namely they are insensitive to the phase of a stimulus. It has been suggested that complex cells learn this property from the statistics of their input. Two differing unsupervised learning paradigms have mainly been used: slowness and redundancy reduction. This thesis provides a quantitative comparison of slowness objective and redundancy reduction objective with respect to their ability to account for complex cell properties. Both objectives have been proposed as principle underlying the formation of complex cell features, however, we show that---contrary to widespread belief---the two objectives lead to quite different predictions for the receptive field properties. For this, we compare both objectives on a population and a single cell level. The redundancy reduction objective is represented by independent subspace analysis (ISA) and the slowness objective by slow subspace analysis (SSA). We show that SSA is favorable over the better known slow feature analysis (SFA) algorithm, as SFA is unable to reproduce key properties of complex cell receptive fields and SSA uses the same energy model structure as ISA. We find that slowness leads to global receptive fields in both single cell and population approaches. The receptive field size is only limited by the patch size and SSA can be seen as a generalization of the Fourier transform. Redundancy reduction, in contrast, leads to clearly localized receptive fields but with spatial frequency and aspect ratio higher than those found in physiological studies. We also find that in a combined optimization of slowness and redundancy reduction the filters obtained resemble those found with redundancy reduction alone even though the individual optima are quite different. In summary, both slowness and redundancy reduction cannot account for all complex cell properties evaluated here, but would require additional constraints such as wiring length to lead to physiologically plausible receptive fields. However, studying the quite opposing demands of both objectives can lead to a better understanding of the computational strategy employed in the visual system.

Komplexe Zellen im primären visuellen Kortex sind die ersten Zellen die geometrische Invarianz zeigen. Genauer gesagt sind sie invariant gegenüber der Phase eines Stimulus. Es wird angenommen, dass komplexe Zellen diese Eigenschaft aus der Statistik ihrer Eingangssignale ableiten. Zwei unterschiedliche unüberwachte Lernparadigmen wurden dazu bisher hauptsächlich verwendet: Langsamkeit und Redundanzreduktion. Diese Dissertation bietet einen quantitativen Vergleich zwischen der Langsamkeitszielfunktion und der Redundanzreduktionszielfunktion in Bezug auf deren Fähigkeit die Eigenschaften komplexer Zellen zu erklären. Beide Zielfunktionen wurden als zugrundeliegende Prinzipien hinter der Entwicklung der Eigenschaften komplexer Zellen vorgeschlagen. Wir zeigen jedoch, dass---im Gegensatz zur allgemeinen Meinung---die beiden Zielfunktionen zu weitgehend gegensätzliche Vorhersagen für die Eigenschaften rezeptiver Felder führen. Um dies zu zeigen, vergleichen wir beide Zielfunktionen auf der Ebene von Zellpopulationen sowie auf Einzelzellebene. Die Redundanzreduktionszielfunktion wird durch independent subspace analysis (ISA), die Langsamkeitszielfunktion durch slow subspace analysis (SSA) repräsentiert. Wir zeigen, dass SSA dem weiter verbreiteten slow feature analysis (SFA) Algorithmus vorzuziehen ist, da SFA essentielle Eigenschaften der rezeptiven Felder komplexer Zellen nicht reproduzieren kann, während SSA die gleiche Energy-Model-Struktur benutzt wie ISA. Unsere Ergebnisse zeigen, dass Langsamkeit zu globalen rezeptiven Feldern in Einzelzell- wie auch in Zellpopulationsmodellen führt. Die Ausdehnung der rezeptiven Felder ist lediglich durch die Größe des Bildausschnittes beschränkt. Außerdem kann SSA als eine Generalisierung der Fouriertransformation angesehen werden. Im Gegensatz dazu führt Redundanzreduktion zu eindeutig räumlich begrenzten rezeptiven Feldern, deren Ortsfrequenz und Seitenverhältnis jedoch größer sind als die in physiologischen Studien gefundenen Werte. Wir zeigen ferner, dass eine kombinierte Zielfunktion aus Langsamkeit und Redundanzreduktion zu Filtern führt, welche denen der Redundanzreduktion gleichen. Dies ist überraschend, da die Optima der beiden Zielfunktionen sich sehr stark unterscheiden. Zusammenfassend lässt sich sagen, dass sowohl Langsamkeit als auch Redundanzreduktion nicht alle Eigenschaften komplexer Zellen erklären können, die wir hier verglichen haben, sondern auf zusätzliche Randbedingungen wie Kabellänge angewiesen sind um physiologisch plausible rezeptive Felder zu erzeugen. Die weitere Untersuchung der stark gegensätzlichen Anforderungen beider Zielfunktionen kann zu einem besseren Verständnis der Verarbeitungsstrategie des visuellen Systems führen.