Fostering Event-Predictive Encodings in Recurrent Neural Networks

Abstract

Unsere Interaktion mit der Welt basiert auf den Informationen, die wir erhalten, und den Handlungen, die wir ausführen. Wenn wir die Umgebung beobachten, erhalten wir neue Informationen, die wir verwenden, um unsere Überzeugungen zu aktualisieren und unsere nächsten Schritte zu planen. Es wird vorgeschlagen, dass wir diese Informationen in trennbare Einheiten, sogenannte Ereignisse, kodieren. Die Zeitpunkte, an denen ein Ereignis endet und das nächste beginnt, werden Ereignisgrenzen genannt. Das Verständnis der laufenden Ereignisse und der Grenzen zwischen ihnen hilft uns, die bevorstehenden Schritte in Richtung unserer Ziele besser zu planen. Dadurch können wir uns besser, zielorientiert verhalten. Neben der Nutzung der sensorischen Informationen zur Vorhersage bevorstehen- der Ereignisse wird im Gehirn auch ein Inferenzprozess durchgeführt, der die Ursachen dieser sensorischen Erfahrungen ergründet. Dies wird auch von der Bayesschen Gehirnhypothese postuliert. Wenn unsere Beobachtungen nicht mit den Vorhersagen übereinstimmen, sind wir überrascht und versuchen, unsere Überzeugungen basierend auf den neuen Informationen zu aktualisieren. Die Aktualisierung erfolgt unter Verwendung des Vorhersagefehlers zwischen den internen Erwartungen und den sensorischen Beobachtungen. Um den Fehler zu minimieren, müssen wir die kommenden Zustände so genau wie möglich vorhersagen, das heißt, wir müssen vermeiden, mit unvorhersehbaren, überraschenden Zuständen konfrontiert zu werden. Die Modellierung der zeitlichen Entwicklung von Ereignissen und die Rolle von Überraschung bei der Definition der Ereignisgrenzen hat viel Aufmerksamkeit auf sich gezogen. Die Struktur, innerhalb derer eine solche Modellierung stattfinden kann, würde ein Schema für das Bayessches Gehirnmodell darstellen. Angesichts der Verbindungen zwischen verschiedenen Bereichen des Kortex und ihrer unterschiedlichen zeitlichen Entwicklungen wäre eine wahrscheinliche Struktur eine hierarchische Struktur mit einer unteren sensorischen Verarbeitungsschicht, die sich mit konkreten Informationen befasst, und einer oberen Schicht, die für die Abstraktion verantwortlich ist, in dem sie sensorische Informationen in spezifische Ereignisse und konzeptuelle Abstraktionen davon kodiert. Diese Dissertation untersucht, wie eine hierarchische Architektur für überraschungsbasierte ereignisprädiktive Modellierung konstruiert werden kann. Zuerst untersuchen wir retrospektives Gating, indem wir die Herausforderung unterschiedlicher sich bewegender Fahrzeuge als Ereignisse angehen. Dann stellen wir dies dem prospektiven Gating gegenüber. In diesem Fall verwenden wir eine Reihe von Zeitfunktionen und zeigen, dass Ereignisse segmentiert werden können, wenn Überraschungssignale verfügbar sind. Darüber hinaus zeigen wir, dass die Antizipation von Ereignisgrenzen nützlich ist, um die Komprimierung latenter Ereigniskodierungen zu verbessern. Schließlich erweitern wir die Struktur um einen kontrafaktischen Regularisierungsterm und zeigen, dass die Regularisierung die Stabilität und Robustheit der latenten Ereigniskodierungen in einer symbolischen Sequenzvorhersageaufgabe verbessert. Mit der erreichten robusten Förderung ereignisprädiktiver Kodierungen könnte die vorgestellte Ereignissegmentierungsstruktur in komplexeren Systemen weiter untersucht werden, um andere Entscheidungsaufgaben zu erfüllen. So kann erwartet werden, dass die zielgerichtete Kontrolle und Inferenz von Ereignissen und Ereignisgrenzen auch in anderen Systemen nützlich sein wird, insbesondere wenn effiziente und selektive Aktivierungen von Kontextinformationen hilfreich sind.

Our interaction with the world is based on the information that we receive and actions that we perform. When we observe the surrounding environment, we obtain new information, which we use to update our beliefs and plan our next steps. It is suggested that we organize this information within separable units, called events. The time points at which an event ends and the next starts are called event boundaries. Understanding the ongoing events and the boundaries between them helps us to better plan the upcoming steps towards our goals deeper into the future. As a result, we can interact with the environment in more versatile, and longer-reaching goal-directed manner. Alongside the use of sensory information to predict upcoming events, it appears that an additional inference process is implemented to infer the causes of our sensory experiences, as suggested by the Bayesian brain hypothesis. When our observations do not match our predictions, we get surprised and try to update our beliefs based on the new information. The update is based on the prediction error between the in- ternal expectations and the sensory observations. In order to minimize the error, we need to be able to predict the upcoming states as accurately as possible, which means that we need to avoid being faced with unpredictable, surprising states. Modeling the temporal evolution of events, and the role of surprise in defining event bound- aries, has attracted lots of attention. The structure within which such modeling can take place would represent a schema for the Bayesian brain model. Moreover, see- ing the connections between different areas of the cortex, and the different temporal dynamics of them, evidence has accumulated that hierarchical, predictive structures develop in our brain, with lower sensory processing layers, which deal with concrete information, and deeper, or upper, layers that are responsible for abstraction, fitting the sensory information into event-characterizing, compact latent encodings. This thesis explores how to construct a neural network-based, hierarchical archi- tecture for surprise-based, event-predictive modeling. First, we explore retrospective gating by tackling the challenge of different moving vehicles as events. Then, we contrast this with prospective gating. In this case we use a set of temporal functions and show that events can be segmented when surprise signals are available. Moreover, we show that event boundary anticipation is useful to enhance the compression of event-characterizing latent encodings. Finally, we extend the structure with a coun- terfactual regularization term, showing that the regularization enhances the stability and robustness of the latent event encodings in a symbolic sequence prediction task. With the achieved robust development of event-predictive encodings, the presented surprise-gated event segmentation structure could be employed in more complex systems to perform other decision-making tasks. Particularly the controlled opening of the surprise gate could be useful in other systems where the efficient and selective activation of contextual information is required.