Explainability in Deep Learning by Means of Communication

Abstract

Die Forschung in Deep Learning erlebt herausragende Fortschritte, die zu vielen zukünftigen Anwendungen führen können, besonders im Bereich Computer Vision. Dennoch bleiben die meisten Teile eines auf maschinellem Lernen basierenden Systems verborgen und schwer dem Menschen zu erklären. Der daraus resultierende Mangel an Verständnis und Vertrauen beschränkt die Anwendung solcher Methoden in kritischen Szenarien wie dem Gesundheitssystem.

In dieser Dissertation schlagen wir Modelle vor, die von Grund auf erklärbarer sind als die Basismodelle, auf denen sie aufbauen. Durch das Offenbaren von Teilen des Entscheidungsprozesses entwickeln wir Hilfsmittel, die es Menschen erlauben, die Stärken und Schwächen der Modelle besser zu erkennen und einzuschätzen, ob sie sich für einen Einsatz eignen.

Die Forschung dieser Dissertation ist von der Art inspiriert wie Erklärungen durch Kommunikation entstehen. Wir präsentieren neuartige Herangehensweisen, welche verschiedene Aspekte des Kommunikationsablaufs in neuronale Netze integrieren, sodass sie interpretierbarer werden und/oder die Interaktion zwischen Mensch und Maschine verbessern. Kommunikation --- und damit auch unsere Sprache --- ist ein natürlicher Weg für Menschen eine Erklärung zu verfassen, sodass ein Benutzer von erklärbaren Systemen keiner Lernphase ausgesetzt ist, um mit der künstlichen Intelligenz interagieren zu können.

Insbesondere schlagen wir eine Multiagenten-Kommunikationsumgebung vor, bei der die Nachrichten zwischen den Agenten einem Ja/Nein Frage-Antwort-Diskurs ähneln. Agenten, die trainiert wurden, Bilder zu klassifizieren, bauen dabei einen Entscheidungsbaum, der den Ablauf der Vorhersagen als Ganzes beschreibt. Während dieser Ansatz eine einheitliche Erklärung für eine Problemstellung findet, stellen wir fest, dass Menschen vielfältig in ihrer Kommunikation, Sprache und Wahrnehmung sind. Aus diesem Grund erschaffen wir einen Agenten, der zielgerichtete Nachrichten erstellt und seine Vorgehensweise anpasst, indem er seinen Kommunikationspartner dabei beobachtet, wie effektiv dieser die übertragenen Informationen in Taten umsetzen kann.

Im Anschluss zeigen wir, dass effiziente Kommunikation auch als Maßstab verwendet werden kann, der, wenn man sich ihn als Ziel setzt, zu hoch komprimierten Abstraktionen und zu interpretierbaren Erkenntnissen führt. Schließlich werfen wir einen umfassenderen Blick darauf, inwiefern semantische Informationen, z.B. von Sprache, Vision-Modelle bereichern und sie erklärbarer machen können.

Research in deep learning has seen extraordinary advances at a fast pace leading to the emergence to many prospective applications, especially in the computer vision domain. Nonetheless, most of the machine learning pipeline remains opaque and hard to explain to humans, limiting their real-world use due to the lack of understanding and trust to deploy these systems in critical scenarios such as health care.

In this thesis, we propose machine learning models that are inherently more explainable than the base model they are derived from. By exposing parts of the decision-making process and increasing the overall transparency, we develop tools that allow humans to better evaluate strengths and weaknesses of the machine learning models as well as assess their suitability for deployment.

The research of this thesis takes inspiration from how explanations are formed between humans through communication. We present novel approaches that look at different aspects of the communication process and embed them into neural network models to make them more interpretable and/or more integrated into human-computer interactions. Communication --- and to a greater extend human language --- is a natural way for humans to compose explanations, such that explanation systems would not impose onto the users a learning curve of interacting with the artificial intelligence.

Specifically, we propose a multi-agent communication setting, where messages between the agents resemble a yes/no question-answer discourse. Agents trained to solve an image classification task, learn to build a decision tree that globally describes the prediction procedure.

We find that human-understandable side-information is key for making the framework truly explainable. While this approach finds one globally viable explanation for a given problem, humans are diverse in their own communication, languages, and perception. To this end, we build an agent that creates purposefully crafted messages by observing its communication partner in their effectiveness in acting upon the communicated data and adjusting its own policy accordingly. Then, we show that efficient communication can also be used as a metric that, when optimized for, leads to both highly compressed abstractions and interpretable insights on humanly drawn sketches and sketch-based tasks.

Finally, we take a broader look at how semantic information, e.g., from language, can enrich vision models and make them more explainable.