Inhaltszusammenfassung:
Methoden des statistischen maschinellen Lernens, wie z.B. große Sprachmodelle, sind in der modernen Gesellschaft weit verbreitet. In letzter Zeit haben multimodale Systeme, die zusätzliche Bereiche wie Bild und Ton einbeziehen, die reinen Textansätze ersetzt. Die Funktionsweise dieser Systeme ist jedoch nach wie vor unklar, und ihre Ergebnisse können unbekannte Verzerrungen aufweisen. Diese Arbeit befasst sich mit diesen Herausforderungen, indem sie natürlichsprachliche Erklärungen (NLE) für visuelle Verständnisaufgaben entwickelt, die die Vorhersagen eines Modells begründen. In der Folge erweitern wir die Analyse, um die Stärken und Schwächen von allgemeinen Textgenerierungsmodellen zu untersuchen. In Anbetracht des Aufwands, der mit der Beschaffung von NLE-Daten für Training und Evaluierung verbunden ist, erstellen wir zunächst einen großen synthetischen Datensatz. Die korrekten und vollständigen Erklärungen unseres CLEVR-X Datensatzes ermöglichen eine detaillierte Bewertung der Fähigkeiten von NLE-Modellen und eine Quantifizierung der Konvergenz von NLG-Metriken, die für die NLE-Bewertung verwendet werden. Darüber hinaus erstellen wir ein Modell, das nicht auf aufgabenspezifische Trainingsdaten angewiesen ist. Unser ZS-A2T Framework steuert ein großes Sprachmodel (LLM), um interne Aufmerksamkeitsmuster innerhalb von Vision-Sprachmodellen in für den Menschen interpretierbare natürlichsprachliche Erklärungen zu übersetzen. In Anbetracht der zentralen Rolle von großen Sprachmodellen in vielen multimodalen Systemen fokussieren wir uns dann auf die allgemeine Textgenerierung. Zunächst entwickeln wir einen leistungsstarken Ansatz zur Erzeugung von Beschreibungen von Umgebungsgeräuschen, der ein generatives, aber unimodales LLM mit einem multimodalen, aber kontrastiven Modell kombiniert. Schließlich untersuchen wir die Stärken und Schwächen von LLMs, indem wir die Auswirkungen des Promptens von LLMs mit bestimmten Personas untersuchen und ihre Fähigkeit aufzeigen, menschliche Entwicklungsstadien und Fachkenntnisse zu imitieren, während wir gleichzeitig potenzielle Bias identifizieren. Unsere Ergebnisse verbessern natürlichsprachliche Erklärungen und zeigen bisher unbekannte Stärken und Schwächen von großen Sprachmodellen auf.
Abstract:
Methods from statistical machine learning such as large language models have become prevalent in modern society. Lately, multimodal systems incorporating additional domains such as visual and audio have replaced the text-only approaches. However, the inner workings of these systems remain ambiguous, and their outputs may exhibit unknown biases. This thesis addresses these challenges by advancing Natural Language Explanations (NLEs) for visual reasoning tasks, which provide justifications for a model's predictions. We subsequently broaden our scope to investigate the strengths and weaknesses of general-purpose text generation models. Considering the expense associated with curating NLE data for training and evaluation, we first propose a large-scale synthetic dataset. The correct and complete explanations of our CLEVR-X dataset enable fine-grained evaluation of NLEs model capabilities and quantify the convergence of Natural Language Generation (NLG) metrics utilized for NLEs evaluation. In addition, we introduce a zero-shot approach that does not rely on task-specific training data. Our novel ZS-A2T framework utilizes zero-shot guiding to translate internal attention patterns within vision language models into human-interpretable natural language explanations. Given the central role of Large Language Models (LLMs) in many multimodal systems, we then focus our attention on general purpose text generation. We first build a powerful zero-shot audio captioning approach for generating descriptions of ambient sounds that employs a guiding technique to combine a generative but unimodal LLM with a multimodal but contrastive model. Lastly, we investigate the strengths and weaknesses of LLMs by investigating the impact of prompting LLMs with certain personas, revealing their ability to mimic human developmental stages and expertise while also highlighting potential biases. Our findings advance natural language explainability and reveal previously unknown strengths and weaknesses of LLMs.
Multimodal Learning