Advancing Methods and Applicability of Simulation-Based Inference in Neuroscience

Abstract

The use of computer simulations as models of real-world phenomena plays an increasingly important role in science and engineering. Such models allow us to build hypotheses about the processes underlying a phenomenon and to test them, e.g., by simulating synthetic data from the model and comparing it to observed data. A key challenge in this approach is to find those model configurations that reproduce the observed data. Bayesian statistical inference provides a principled way to address this challenge, allowing us to infer multiple suitable model configurations and quantify uncertainty. However, classical Bayesian inference methods typically require access to the model's likelihood function and thus cannot be applied to many commonly used scientific simulators. With the increase in available computational resources and the advent of neural network-based machine learning methods, an alternative approach has recently emerged: simulation-based inference (SBI). SBI enables Bayesian parameter inference but only requires access to simulations from the model.

Several SBI methods have been developed and applied to individual inference problems in various fields, including computational neuroscience. Yet, many problems in these fields remain beyond the reach of current SBI methods. In addition, while there are many new SBI methods, there are no general guidelines for applying them to new inference problems, hindering their adoption by practitioners.

In this thesis, I want to address these challenges by (a) advancing SBI methods for two particular problems in computational neuroscience and (b) improving the general applicability of SBI methods through accessible guidelines and software tools. In my first project, I focus on the use of SBI in cognitive neuroscience by developing an SBI method designed explicitly for computational models used in decision-making research. By building on recent advances in probabilistic machine learning, this new method is substantially more efficient than previous methods, allowing researchers to perform SBI on a broader range of decision-making models. In a second project, I turn to computational connectomics and show how SBI can help to discover connectivity rules underlying the complex connectivity patterns between neurons in the sensory cortex of the rat. As a third contribution, I help establish a software package to facilitate access to current SBI methods, and I present an overview of the workflow required to apply SBI to new inference problems as part of this thesis.

Taken together, this thesis enriches the arsenal of SBI methods available for models of decision-making, demonstrates the potential of SBI for applications in computational connectomics, and bridges the gap between SBI method development and applicability, fostering scientific discovery in computational neuroscience and beyond.

Der Einsatz von Computermodellen spielt in Wissenschaft und Technik eine immer größere Rolle. Solche Modelle erlauben es, Hypothesen über die einem Forschungsgegenstand zugrundeliegenden Prozesse aufzustellen und diese schrittweise zu verbessern, indem z.B. synthetische Daten aus dem Modell simuliert und mit beobachteten Daten verglichen werden. Allerdings haben Modelle in der Regel unbekannte Parameter. Eine zentrale Herausforderung besteht daher darin, Modellparameter zu finden, die in der Lage sind, die beobachteten Daten zu reproduzieren. Die statistische Methode der Bayes'schen Inferenz bietet eine ideale Lösung für diese Herausforderung: Sie ermöglicht es, viele verschiedene Modellparameter gleichzeitig zu testen, alle geeigneten zu identifizieren und dabei statistische Unsicherheiten zu berücksichtigen. Klassische Methoden der Bayes'schen Inferenz erfordern jedoch den Zugriff auf die sogenannte Likelihood-Funktion des Modells, was für viele gängige wissenschaftliche Modelle nicht möglich ist, da es sich oft um komplexe Computersimulationen handelt. Mit der Zunahme der Rechenressourcen und dem Aufkommen des maschinellen Lernens wurde ein alternativer Ansatz entwickelt, um dieses Problem zu lösen: Simulationsbasierte Inferenz (SBI). SBI verwendet vom Modell simulierte Daten, um Algorithmen des maschinellen Lernens zu trainieren und ermöglicht so Bayes'sche Parameter-Inferenz für komplexe simulationsbasierte wissenschaftliche Modelle.

In den letzten Jahren wurden viele SBI-Methoden entwickelt und auf Inferenzprobleme sowohl in den Neurowissenschaften als auch in vielen anderen Bereichen angewendet. Dennoch gibt es noch offene Herausforderungen: Zum einen bleiben viele Modelle aufgrund ihrer Komplexität außerhalb der Reichweite aktueller SBI-Methoden. Zum anderen mangelt es an zugänglichen Softwaretools und Anleitungen, um SBI-Methoden auf neue Inferenzprobleme anzuwenden.

In meiner Dissertation möchte ich diese Probleme angehen, indem ich einerseits die SBI-Methodik für konkrete Fragestellungen in den Neurowissenschaften verbessere und andererseits die allgemeine Anwendbarkeit von SBI-Methoden durch zugängliche Leitlinien und Softwaretools verbessere. In meinem ersten Projekt beschäftige ich mich mit der Anwendung von SBI in den kognitiven Neurowissenschaften und entwickle eine neue SBI-Methode, die speziell für Modelle der Entscheidungsfindung konzipiert ist. Da diese neue Methode auf den jüngsten Fortschritten im Bereich des maschinellen Lernens basiert, ist sie um ein Vielfaches effizienter als frühere Methoden und kann daher auf ein breiteres Spektrum von Modellen angewendet werden. In einem zweiten Projekt wende ich mich der Konnektomie zu, einem Bereich der Neurowissenschaften, der versucht, die Prinzipien hinter den komplexen Konnektivitätsmustern im Gehirn zu verstehen. Ich zeige, wie SBI dabei helfen kann, Modelle über neue Konnektivitätsregeln im sensorischen Kortex der Ratte zu testen und an die gemessenen Daten anzupassen. Als drittes Projekt präsentiere ich einen Leitfaden für die Anwendung von SBI auf neue Inferenzprobleme, und ich bin einer der Hauptentwickler eines neuen Softwarepakets, das den Zugang zu aktuellen SBI-Methoden erleichtert.

Zusammengenommen wird diese Arbeit den wissenschaftlichen Fortschritt in den Neurowissenschaften und darüber hinaus fördern, indem sie das Arsenal an SBI-Methoden bereichert, das Potential von SBI für die Konnektomie aufzeigt und die Lücke zwischen Entwicklung und Anwendbarkeit von SBI-Methoden im Allgemeinen überbrückt.