Towards learning mechanistic models at the right level of abstraction

DSpace Repository


Dateien:

URI: http://hdl.handle.net/10900/141414
http://nbn-resolving.de/urn:nbn:de:bsz:21-dspace-1414147
http://dx.doi.org/10.15496/publikation-82761
Dokumentart: PhDThesis
Date: 2023-05-24
Language: English
Faculty: 7 Mathematisch-Naturwissenschaftliche Fakultät
Department: Informatik
Advisor: Schölkopf, Bernhard (Prof. Dr.)
Day of Oral Examination: 2022-11-23
DDC Classifikation: 004 - Data processing and computer science
Keywords: Maschinelles Lernen , Künstliche Intelligenz
License: http://tobias-lib.uni-tuebingen.de/doku/lic_mit_pod.php?la=de http://tobias-lib.uni-tuebingen.de/doku/lic_mit_pod.php?la=en
Order a printed copy: Print-on-Demand
Show full item record

Inhaltszusammenfassung:

Das menschliche Gehirn ist in der Lage, Vorhersagen zu treffen, zu planen und sich durch mentale Simulationen kontrafaktische Situationen vorzustellen. Künstliche neuronale Netze sind zwar in bestimmten Bereichen brereits sehr leistungsfähig, scheinen aber immer noch ein mechanistisches Verständnis der Welt zu vermissen. In dieser Arbeit befassen wir uns mit verschiedenen Ansätzen, wie neuronale Netze die zugrundeliegenden Mechanismen des modellierten Systems besser erfassen können. Wir werden uns mit Adaptive skip intervals (ASI) befassen; eine Methode, die es dynamischen Modellen ermöglicht, ihre eigene zeitliche Vergröberung an jedem Punkt zu wählen. Dadurch werden langfristige Vorhersagen sowohl einfacher als auch rechnerisch effizienter. Als Nächstes werden wir uns mit alternativen Möglichkeiten zur Aggregation von Gradienten in verschiedenen Umgebungen befassen, was zum Begriff der Invariant Learning Consistency (ILC) und der Methode AND-mask für einen modifizierten stochastischen Gradientenabstieg führt. Durch das Herausfiltern inkonsistenter Trainingssignale aus verschiedenen Umgebungen bleiben die gemeinsamen Mechanismen erhalten. Schließlich werden wir sehen, dass Lernen auf der Grundlage von Meta-Gradienten Trajektorien von dynamischen Systemen transformieren kann, um nützliche Lernsignale in Richtung eines zugrunde liegenden Ziels zu konstruieren, wie z. B. Reward beim Reinforcement Learning. Dadurch kann das interne Modell sowohl eine zeitliche als auch eine Zustandsabstraktion beinhalten.

This item appears in the following Collection(s)