Inhaltszusammenfassung:
Die Forschung zu modularen Strukturen für die Datenmodellierung hat in letzter
Zeit erheblich an Aufmerksamkeit gewonnen, insbesondere aufgrund ihrer Vorteile
wie hoher Leistung und Recheneffizienz. Solche Strukturen eignen sich besonders für
die Modellierung strukturierter Daten, wo jedes Modul einen spezifischen Teil der
Daten abbilden kann. Während modulare Architekturen hauptsächlich zur Erzielung
genauer Modelle eingesetzt wurden, bieten andere Vorteile der Modularität, darunter
die Fähigkeit, verständliche Datenrepräsentationen zu entwickeln und Vorwissen über
das Problem einzubeziehen, ein beträchtliches Potenzial für die effektive Identifizierung
und das tiefere Verständnis der modellierten Daten. Dieses Potenzial blieb jedoch im
Kontext dynamischer Daten bislang weitgehend unerforscht.
Das Hauptziel dieser Dissertation ist der Nachweis, dass modulare Architekturen zur
Identifikation des Inhalts von Zeitreihen geeignet sind. Hierfür wird die Identifikation
versteckter dynamischer Komponenten in zeitabhängigen Daten verschiedener Typen
durch den Einsatz von Ensembles co-operierender Module untersucht. Die Analysen
basieren dabei auf der semi-automatischen modularen Dekomposition zeitabhängiger
Daten, wobei Vorwissen über das Problem effektiv mit automatischen Anpassungen
der Dynamiken integriert wird. Um die hohe kombinatorische Komplexität zu bewältigen,
die durch zahlreiche mögliche dynamische Kombinationen entsteht, wird
ein innovativer populationsbasierter Ansatz vorgestellt. Dieser Ansatz beruht auf der
Online-Synchronisation parallel ablaufender Teildynamiken und setzt dabei evolutionäre
sowie gradientenbasierte Verfahren ein.
Die Experimente zeigen die Wirksamkeit des vorgeschlagenen Ansatzes. Die erhöhte
Wahrscheinlichkeit erfolgreicher Synchronisationen, die bei neuronalen Modulen mit
kleineren Gewichten beobachtet wurde, deutet auf die Notwendigkeit von Regularisierungstechniken
hin. Die schnellere Konvergenz mit neuronalen Modulen zeigt, dass
ihre Plastizität eine effektivere Anpassung ermöglicht und somit eine entscheidende
Rolle beim Ausgleich von Kompaktheit und Genauigkeit im Kontext des Plastizitäts-
Stabilitäts-Dilemmas im Modulentwurf spielt. Zudem unterstreicht die zuverlässige
Identifikation, die durch evolutionäre Optimierung erreicht wird – trotz ihrer höheren
Rechenkosten im Vergleich zu gradientenbasierten Methoden –, die Bedeutung von
Vorwissen bei der Auswahl des effektivsten Optimierungsansatzes. Die beobachteten
Ähnlichkeiten im Verhalten der Methode über verschiedene Datensätze hinweg legen
nahe, dass die Prinzipien der parallel ablaufenden Moduldynamiken auf Systeme anwendbar
sind, die eine innere Modularität aufweisen, bei der isolierte Teilprozesse zum
Gesamtverhalten des Systems beitragen.
Abstract:
Recent research has focused considerably on modular structures for data modeling
due to their inherent benefits, such as high performance and computational efficiency.
These architectures are particularly suitable for modeling structured data, with each
module dedicated to a specific data segment. While the primary emphasis of modular
architectures has traditionally been on achieving high model accuracy, their potential to
generate comprehensible data representations and integrate a priori knowledge offers
significant opportunities for the efficient identification and understanding of the modeled
data. Nevertheless, these capabilities have largely remained unexploited within the
domain of dynamic data.
The primary objective of this thesis is to demonstrate the applicability of modular
architectures for the identification of the underlying content in time series data. To this
end, this work investigates the identification of hidden dynamic components within
various types of time-dependent data using ensembles of co-evolving modules. The
research employs semi-automatic modular decomposition to discern hidden dynamics in
time-dependent data. This approach effectively integrates available a priori knowledge
about the problem with automated module adjustments. To tackle the combinatorial
complexity arising from a large number of potential dynamic combinations, this thesis
introduces a novel population-based approach for identifying dynamics, based on
the online synchronization of co-evolving module dynamics. Evolutionary algorithms
and gradient-based methods were utilized to tune the internal dynamics of recurrent
neural and parametric modules online. Evaluations involved diverse datasets, including
compositional time series, chaotic attractors, and handwritten symbol curves.
The experimental results demonstrate the effectiveness of the proposed approach. The
increased likelihood of successful synchronization observed with neural modules using
smaller weights suggests the necessity of regularization techniques and scaled-down
driving signals. The faster convergence exhibited by neural modules indicates that their
inherent plasticity facilitates more effective tuning and underscores the critical role of
balancing module compactness with accuracy to effectively address the plasticity-stability
dilemma in module design. Furthermore, the reliable identification achieved through
evolutionary tuning, despite its higher computational cost compared to gradient-based
methods, highlights the importance of a priori knowledge in guiding the selection
of the most suitable tuning approach. The consistent behavior of the method across
diverse datasets suggests that the principles of co-evolving module dynamics are likely
applicable to systems exhibiting inherent modularity, where distinct sub-processes
significantly contribute to the overall system behavior.
identification of dynamics