Inhaltszusammenfassung:
Seitdem die Informationstheorie in die psychologische Forschungsliteratur wäh-rend der Mitte des letzten Jahrhunderts eingeführt worden ist, hat das Thema Informationsverarbeitung im menschlichen Gehirn mehr und mehr an Aufmerksamkeit gewonnen. Von besonderem Interesse war die Frage, zu welchem Ausmaß Menschen Informationen unterbewusst verarbeiten können. Um unterbewusste Informationsverarbeitung nachzuweisen, war in den letzten zwei Jahrzehnten eines der prominentesten Paradigmen das unterbewusste Priming. Studien in diesem Paradigma folgen häufig einem \emph{Standardverfahren}: Diese Studien zeigen, dass Versuchsteilnehmer nahe am Rateniveau sind, wenn sie kaum sichtbare Stimuli identifizieren sollen. Gleichzeitig produzieren dieselben Stimuli eindeutige Effekte in indirekten Messungen wie zum Beispiel in Reaktionszeiten oder in Gehirnaktivierung. Von diesem Ergebnismuster wird im Standardverfahren geschlussfolgert, dass die Versuchsteilnehmer mehr Information über die Stimuli verarbeitet haben, als ihnen bewusst ist. Wir zeigen hier, dass das Standardverfahren fehlerhaft ist. Die Effekte auf die indirekten Messungen können meist vollständig durch residuale, bewusste Verarbeitung erklärt werden. Diese schwache, bewusste Verarbeitung zeigt sich in der Identifikationsleistung der Studienteilnehmer, welche zwar nahe am Zufallsniveau aber doch nicht exakt auf diesem liegt. Der irreführende Eindruck einer überlegenen, unterbewussten Verarbeitung entsteht durch einen methodisch unangemessenen Vergleich. Dabei erscheinen die direkt gegebenen Antworten, als basierten sie auf weniger Information über die Stimuli als die indirekten Messungen. Wir entwickeln hier eine Reanalysemethode für Ergebnisse aus früheren Studien und zeigen, dass große Teile der vielzitierten Forschungsliteratur zu unterbewusstem Priming wenig bis keine Beweise für die weitreichenden Interpretationen über unterbewusste Verarbeitung liefern.
Im Forschungsfeld Gruppenentscheidungen gibt es einen analogen Fehler. In solchen Studien werden echte Gruppenentscheidungsprozesse simuliert, indem Aussagen individueller Gruppenmitglieder statistisch zusammengeführt werden. Diese statistischen Zusammenführungen dienen als \emph{simulierte} Gruppenentscheidungen, die dann mit den \emph{echten} Gruppenentscheidungen aus interaktiven Gruppendiskussionen verglichen werden. Ein Ergebnis solcher Studien ist, dass echte Gruppen häufiger korrekte Entscheidungen treffen als simulierte Gruppen. Aber die meisten Studien nutzen nicht die theoretisch optimale Methode, Mehrheitsbeschluss mit Stimmgewichtung (Confidence Weighted Majority Voting, CWMV). Ähnlich zum Problem beim unterbewussten Priming führen suboptimale Methoden bei der Simulation von Gruppenentscheidungen potenziell zu ungerechtfertigten Interpretationen beim Vergleich von echten mit simulierten Gruppen. Unterschiede können allein durch methodische Disparitäten auftreten und dürfen nicht ohne weiteres auf einen zugrundeliegenden, wahren Unterschied zwischen echten und simulierten Gruppen zurückgeführt werden. Wir stellen die theoretisch optimale Methode CWMV in den Blickpunkt und zeigen in einem Experiment, dass diese Methode gleiche Vorhersagegenauigkeit wie echte Gruppenentscheidungen erreicht. Das macht CWMV zu einem geeigneten Kandidaten, um echte Gruppenprozesse zu modellieren. Obwohl die Vorhersagegenauigkeit übereinstimmt, unterscheiden sich echte Gruppen systematisch von den Simulationen mit CWMV. Wir modellieren diese Abweichungen und zeigen, dass echte Gruppen die Aussagen ihrer Mitglieder gleichmäßiger gewichten und insgesamt weniger Sicherheitsbewertung in die Gruppenentscheidung legen als Simulationen mittels CWMV. Beide Forschungsbereiche -- unterbewusstes Priming und Gruppenentscheidungsprozesse -- vereint, dass die volle Information in den Antworten der Versuchsteilnehmer oft nicht vollständig berücksichtigt wird.
Unsere Ergebnisse im Bereich der Gruppenentscheidungen werfen die zu-sätzliche Frage auf, ob die Vorhersagegenauigkeit der einzelnen Gruppenmitglieder die \emph{Vorhersagegenauigkeit der Gruppe} bestimmt. Diese Frage ist insbesondere im Bereich des maschinellen Lernens relevant, bei der nicht Menschen eine Gruppe bilden sondern einzelne Klassifikationsalgorithmen ein sogenanntes Ensemble. Wir erarbeiten hier ein Modell, in dem wir ein Negativergebnis nachweisen: Die Vorhersagegenauigkeit des Ensembles kann Werte in einer überraschend breiten Spanne annehmen, selbst wenn die Vorhersagegenauigkeit der einzelnen Klassifikationsalgorithmen konstant gehalten wird. Der Grund liegt in dem drastisch unterschiedlichen Informationsgehalt, den ein Klassifikationsalgorithmus trotz gleich gehaltener Genauigkeit übertragen kann. Wir beweisen, welche Vorhersagegenauigkeit eine Ensemble im besten und schlechtesten Fall bei gegebener Genauigkeit der einzelnen Algorithmen annehmen kann. Zusätzlich beweisen wir engere Schranken für den Fall, dass nicht nur die Klassifikationsgenauigkeit sondern auch der Informationsgehalt der einzelnen Algorithmen gegeben ist. Aus unseren konstruktiven Beweisen gehen Prinzipien für die Auswahl und Implementation von Klassifikationsalgorithmen für die Verwendung in Ensembles hervor. Diese Prinzipien gehen über die einfache Heuristik hinaus, dass Klassifikationsalgorithmen mit höherem Informationsgehalt gewählt werden sollten.
Diese drei Forschungsgegenstände unterstreichen die Relevanz von Aspekten menschlicher und maschineller Vorhersagen, welche jenseits der Vorhersagegenauigkeit liegen. Diese Aspekte sind auf den ersten Blick leicht übersehen, da viele psychologische Forschungsbereiche sich auf das herkömmliche Maß der Klassifikationsgenaugkeit beschränken. Sie spielen nichtsdestotrotz eine wichtige thereotische und praktische Rolle, wie wir in den drei Bereichen zeigen.
Abstract:
Since Information Theory was introduced to the field of psychology in the middle of the last century, Information processing in the human brain has gained attention. A question of particular interest has been: To what degree can humans process information unconsciously? For the past two decades, one of the most prominent paradigms in which this question has been investigated was \emph{unconscious priming}. Studies in this paradigm have frequently used a \emph{standard reasoning}: These studies show that participants perform close to random guessing when they have to identify barely visible stimuli but the same stimuli nevertheless produce clear effects in indirect measures such as reaction times or neuroimaging measures. From this pattern of results, the standard reasoning concludes that participants processed information about the stimuli beyond what they are consciously aware of. But we show here that the standard reasoning is flawed. The clear effects in indirect measures can often be fully explained by residual conscious processing that is reflected in participants' close to (but not exactly equal to) chance level guessing in consciously given responses. The erroneous appearance of more unconscious processing is due to an inappropriate comparison making conscious responses appear as if they were based on less information than the indirect measures. We develop a reanalysis method for results from these studies and demonstrate that a large body of heavily cited literature in the paradigm has little to no evidence for their strong claims on unconscious processing.
In the field of group decision making, a similar methodological problem occurs. Here, researchers aim to model real group discussions via statistical aggregations of individual group members' responses. The statistically aggregated responses serve as \emph{simulated} group decisions that are then compared to the \emph{real} group decisions coming from an interactive group discussion. A common result is that real group decisions are more accurate than simulated group decisions. But most studies do not use the theoretically optimal method of Confidence Weighted Majority Voting (CWMV) to simulate group decisions. Similar to unconscious priming, suboptimal methods for simulations lead to inappropriate comparisons between simulated vs. real decisions. This in turn may lead to unwarranted interpretations due to methodological bias. We bring forward the theoretically optimal method and demonstrate in an experiment that simulated and real group decisions are equally accurate with this method. Despite matching in accuracy, real groups systematically deviate from CWMV simulations. We capture these deviations in a formal cognitive model showing that real groups treat each group member's vote more equally than CWMV predicts. Moreover, real groups exhibit an overall lower confidence than CWMV simulations. What ties group decision making and unconscious priming together is that the full information from human participants' responses was not fully taken into account when making comparisons.
Our results raise the additional question of whether, based on the accuracies of the individuals, we can a priori determine the \emph{accuracy of the group}. This is particularly interesting in machine learning where not individual humans form a group but individual classifiers form an ensemble. We introduce a model in which we demonstrate a negative result: The ensemble accuracy can take values in a surprisingly large range even when the individual classifiers' accuracies are held constant. This is because individual classifiers with a fixed accuracy can still convey drastically varying amounts of information. We prove best- and worst-case ensemble accuracies for when the individual classifiers' accuracies are known. Additionally, we provide tighter bounds for cases in which not only accuracies but also individual classifiers' transmitted information is known. Our constructive proofs yield guiding principles for selecting and constructing classifiers for ensembles. These principles go beyond the simple notion of preferring classifiers with highest mutual information.
These three strands of research highlight the relevance of certain aspects from responses given by humans or classifiers that go beyond classification accuracy. Such aspects are prima facie easily overlooked in many scenarios. But they still affect mutual information measures and can have theoretical and practical impact as we demonstrate in unconscious priming, decision making, and ensemble accuracy.
Ensembles
Print-on-Demand