Four Facets of Forecast Felicity

Abstract

Vorhersagen sind ein zentrales Ziel des maschinellen Lernens. Die aktuell beobachtbare Rel- evanz des maschinellen Lernens in technologischer Entwicklung und Gesellschaft motiviert die erneute Untersuchung grundlegender Fragen: Was ist die Bedeutung oder Güte einer Vorhersage? Was rechtfertigt die Verwendung einer quantifizierten und/oder statistischen Vorhersage? Ich argumentiere, dass Vorhersagen Sprechakte sind, welche als solche etwas tun. Z. B. warnt eine Wettervorhersage vor extremen Niederschlägen. Dementsprechend sollten Vorhersagen daran gemessen werden wie geglückt sie sind, d.h. wie erfolgreich sie in ihrem Tun sind. In der vorliegenden Arbeit möchte ich Glückskriterien für statistis- che Vorhersagen in Verbindung mit den vorher genannten Fragen untersuchen. Hierzu, werde ich eine Unterscheidung zwischen zwei Arten von gängigen statistischen Vorhersagen vornehmen. Die erste Arte basiert auf der Modellierung einer Gesamtheit welche für das Subjekt der Vorhersagen von Relevanz ist. Ich zeige, dass Messbarkeit und Zufälligkeit nicht universell gegebene Modellbestandteile sind. Stattdessen sind diese Aspekte kon- textbezogene Modellierungsentscheidungen, welche den Erfolg der Vorhersage bestimmen. Die zweite Art basiert auf der individuellen Zuweisung numerischer Werte, die auf einer Gesamheit bewertet werden. Ich untersuche Bewertungsmetriken mit einem Schwerpunkt auf Kalibrierung und deren Beziehung zu Regret. Ich zeige, dass es derzeit zwei Semantiken für Kalibrierung gibt, die es zu trennen gilt. Darüber hinaus lassen sich die meisten Bew- ertungsmetriken, die im maschinellen Lernen verwendet werden, einschließlich bestimmter Arten der Kalibrierung und des Regret, als Kapital eines Spielers ausdrücken, der gegen den Vorhersager wettet. Über die genannten Facetten von Glückskriterien hinaus verweise ich auf oft übersehene, offene Fragen insbesondere im Bezug auf Zufälligkeit, Individual- ität, Performativität und Kommunikation von Vorhersagen. Ein tabellarischer Fragebogen, der auf praktischer Ebene dabei helfen soll (nicht) geglückte Vorhersagen zu verstehen, zu erstellen und zu analysieren, rundet die Arbeit ab.

Forecasts are a central goal of machine learning. The current relevance of machine learning in technological development and society motivates a renewed examination of fundamental questions: What is the meaning or “goodness” of a prediction? What warrants the use of a quantified and/or statistical prediction? I argue that forecasts are speech acts, which as such do something. For example, a weather forecast warns of extreme precipitation. Accordingly, forecasts should be measured by how felicitous they are, i.e., whether they are successful in what they do. In this thesis, I examine felicity conditions for statistical forecasts in relation to the aforementioned questions. I will focus on two, possibly over- lapping, types of prevalent statistical forecasts. The first type is based on modeling an aggregate which is relevant to the subject of the forecast. I show that notions of measura- bility and randomness are not universally given model components. Instead, these aspects are context-dependent modeling choices that determine the success of the prediction. The second type of forecast is based on the individual assignment of numerical values that are evaluated on an aggregate. I investigate the landscape of evaluation metrics with a focus on calibration and its relationship to regret. I demonstrate that there are two accounts of calibration currently conflated in literature. Furthermore, most evaluation metrics used in machine learning, including certain types of calibration and regret, can be expressed as the capital of a gambler betting against the forecaster. Beyond the aforementioned facets of fe- licity conditions, I point out commonly overlooked, open questions, particularly with regard to randomness, individuality, performativity, and communication of forecasts. A tabular questionnaire designed to help understand, create, and analyze (in)felicitous forecasts on a practical level concludes the work.