Prognose-Kalibrierung erklärt

Prognose-Kalibrierung ist die Übereinstimmung zwischen deiner Zuversicht und der Realität: Du bist gut kalibriert, wenn Dinge, die du für 70 % wahrscheinlich hältst, in etwa 70 % der Fälle eintreten, Dinge, die du für 90 % wahrscheinlich hältst, in etwa 90 % der Fälle, und so weiter über viele Vorhersagen hinweg.

Kalibrierung unterscheidet jemanden, dessen Zahlen du vertrauen kannst, von jemandem, der nur selbstsicher klingt. Es geht nicht darum, bei einer einzelnen Prognose richtigzuliegen. Es geht darum, dass deine Wahrscheinlichkeiten auch bedeuten, was sie sagen, sodass deine 30 % tatsächlich seltener eintreten als deine 60 %. Bist du kalibriert, werden deine Prozentangaben zu einer Währung, auf die sich andere verlassen können.

Was Kalibrierung wirklich bedeutet

Angenommen, du gibst hundert Prognosen ab und nennst bei jeder eine Wahrscheinlichkeit. Nimm alle Prognosen, bei denen du „70 %“ gesagt hast. Wenn du kalibriert bist, ist etwa 70 % dieser Gruppe eingetreten. Mach dasselbe mit deinen 30-%-Prognosen: Ungefähr 30 % davon hätten eintreten sollen. Kalibrierung heißt, dieses Versprechen einzuhalten, Gruppe für Gruppe, nicht bei einer einzelnen Vorhersage, sondern über viele hinweg.

Deshalb lässt sich Kalibrierung nur anhand einer Bilanz beurteilen, nie anhand einer einzelnen Prognose. Wenn du sagst, ein Ereignis ist zu 80 % wahrscheinlich, und es tritt nicht ein, lagst du nicht zwingend falsch; 80 % lassen Raum für den einen von fünf Fällen. Erst wenn du alle deine 80-%-Prognosen nebeneinanderlegst und zählst, wie viele eingetreten sind, lässt sich sagen, ob deine 80 % wirklich 80 % bedeuten.

Die Kalibrierungskurve

Die übliche Art, Kalibrierung sichtbar zu machen, ist ein Diagramm. Trag deine angegebene Zuversicht auf der horizontalen Achse ein, von 0 % bis 100 %. Trag die tatsächliche Häufigkeit dieser Ereignisse auf der vertikalen Achse ein. Teil deine Prognosen in Gruppen ein (alle 10-%-Prognosen, alle 20-%-Prognosen und so weiter) und zeichne einen Punkt pro Gruppe.

Wer perfekt kalibriert ist, liegt auf der 45-Grad-Diagonale: Jede Gruppe landet dort, wo Zuversicht und Eintrittshäufigkeit gleich sind. Ein Punkt unterhalb der Linie bedeutet, dass du dort zu selbstsicher warst (du hast mehr Gewissheit behauptet, als die Realität geliefert hat). Ein Punkt oberhalb der Linie bedeutet, dass du zu zurückhaltend warst. Die Form der Kurve, nicht ein einzelner Punkt, erzählt die Geschichte deines Urteilsvermögens.

Die Kurve ist das Bild; eine einzige Kennzahl ist oft praktischer, um Fortschritte zu verfolgen. Die gängigste fasst Kalibrierung und Trefferquote in einem Wert zusammen. Mehr dazu im Guide Der Brier-Score erklärt.

Kalibrierung ist nicht dasselbe wie Trefferquote

Das ist der Unterschied, der am häufigsten übersehen wird. Trefferquote fragt: Wie oft lagst du auf der richtigen Seite von 50 %? Kalibrierung fragt: Hat deine Zuversicht zur Realität gepasst? Beides kann in beide Richtungen auseinanderfallen.

• Wer vorsichtig ist und bei allem „55 % ja“ sagt, kann perfekt kalibriert sein (55 % davon treten tatsächlich ein) und trotzdem fast nutzlos, weil sich die Prognosen kaum vom Münzwurf entfernen.
• Wer mutig ist, in 80 % der Fälle richtigliegt, aber immer „99 %“ sagt, hat eine hohe Trefferquote, ist aber schlecht kalibriert, weil die Zuversicht aufgebläht ist.
• Ideal ist beides: zuversichtlich, wenn die Beweislage es rechtfertigt, bescheiden, wenn nicht, und mit Prozentangaben, die in beiden Fällen der Wahrheit folgen.

Gute Bewertungsregeln erfassen beide Hälften. Deshalb belohnt dich der Brier-Score nicht nur dafür, richtigzuliegen, sondern dafür, mit dem richtigen Maß an Zuversicht richtigzuliegen. Wer richtig gut prognostiziert, ist kalibriert und entschlossen und schiebt Wahrscheinlichkeiten nur so schnell Richtung 0 und 100, wie die Beweislage es erlaubt.

Selbstüberschätzung: der typische Fehler

Wenn die Kalibrierung danebenliegt, dann fast immer in dieselbe Richtung: Menschen sind zu selbstsicher. In großen Studien geben Prognostiker regelmäßig 90 % für Dinge an, die eher in 75 % der Fälle eintreten, und behandeln „sichere Sachen“ so, als könnten sie nicht scheitern, obwohl sie öfter schiefgehen, als „sicher“ es zulassen sollte. Die Lücke zwischen angegebener und tatsächlicher Zuversicht ist das Markenzeichen der Selbstüberschätzung.

Selbstüberschätzung ist so beständig, dass sie vor jedem Training bei fast allen auftaucht, von Führungskräften bis zu Analysten, ein Muster, das ausführlich in Douglas W. Hubbards How to Measure Anything dokumentiert ist, einem Buch, das Kalibrierung als Fähigkeit behandelt, die jeder, der schätzt, aufbauen kann und sollte.

Selbstüberschätzung kommt selten allein. Sie tritt zusammen mit dem Ankereffekt, dem Bestätigungsfehler und der Neigung auf, sich an Treffer zu erinnern und Fehlschläge zu vergessen. Mehr dazu im Guide Kognitive Verzerrungen beim Prognostizieren.

So misst du deine eigene Kalibrierung

Was du nicht festhältst, kannst du nicht verbessern. Um deine Kalibrierung zu messen, brauchst du nur eine Gewohnheit: Zahlen aufschreiben und sie später überprüfen.

1. Notiere jede Prognose mit einer ausdrücklichen Wahrscheinlichkeit. „Ich glaube, morgen regnet es“ ist nicht messbar; „70 % Chance, dass es morgen regnet“ schon.
2. Warte, bis die Realität jede Prognose mit einem klaren Ja oder Nein auflöst, und notiere das Ergebnis neben deiner ursprünglichen Zahl.
3. Sobald du genug Prognosen hast (Ziel: mindestens 30 bis 50), sortiere sie in Zuversichtsgruppen: deine 60-%-Prognosen, deine 70-%-Prognosen und so weiter.
4. Berechne für jede Gruppe den Anteil, der tatsächlich eingetreten ist, und vergleiche ihn mit dem Gruppenwert. Deine 70-%-Gruppe sollte nahe bei 70 % landen.
5. Trag die Gruppen gegen die Eintrittshäufigkeit auf oder berechne einfach einen Brier-Score, und wiederhole das alle paar Dutzend Prognosen, um den Trend zu verfolgen.

Wenn die meisten das zum ersten Mal machen, ist das Muster deutlich: Die Gruppen mit hoher Zuversicht schneiden schlechter ab. Genau dieser Stich ist der Sinn der Sache. Zu sehen, dass deine 90-%-Prognosen nur in 78 % der Fälle eintreten, ist das, was dich wirklich neu kalibriert.

So trainierst du Kalibrierung

Die gute Nachricht: Kalibrierung lässt sich durch Übung verbessern. Sie ist eine der wenigen Prognosefähigkeiten mit einer klaren, schnellen Feedbackschleife, und schon ein moderates Maß an gezieltem Training bringt spürbare Fortschritte.

• Übe mit Feedback: Gib viele Wahrscheinlichkeitsschätzungen zu Fragen ab, die sich schnell auflösen, und schau dir dann an, wo deine Zuversicht der Realität davongelaufen ist.
• Nutze Konfidenzintervalle für Zahlen: Wenn du eine Größe schätzt, gib eine 90-%-Spanne an, die breit genug ist, dass du nur in einem von zehn Fällen überrascht wirst. Die meisten fangen viel zu eng an.
• Nimm deine Extreme zurück: Wenn deine 90-%-Prognosen immer wieder scheitern, sieh das als Signal, 80 % zu sagen, bis beides übereinstimmt.
• Führ Buch mit einer echten Bewertungsregel, damit du dich nicht selbst täuschen kannst; eine Zahl, die du berechnest, lässt sich schwerer schönreden als eine Erinnerung.

Strukturierte Programme zeigen, wie weit das gehen kann. In der Forschung hinter dem Good Judgment Project haben ein kurzes Kalibrierungstraining und regelmäßige Übung ganz normale Prognostiker messbar verbessert, und die Besten wurden zu sogenannten Superforecastern, der Beweis, dass Kalibrierung trainiert wird und nicht angeboren ist.

Was diese Spitzengruppe auszeichnet, ist weniger rohe Intelligenz als Gewohnheiten wie Kalibrierung und häufiges Aktualisieren. Mehr dazu im Guide Superforecaster erklärt.

Übe mit echten Fragen

Kalibrierung verbessert sich nur, wenn deine Prognosen immer wieder auf die Realität treffen und ehrlich Buch geführt wird. Allein ist das schwer; du brauchst einen stetigen Strom an Fragen, die sich auflösen, und etwas, das sich deine Zahlen für dich merkt.

Clutch macht aus dieser Schleife ein Spiel: Du sagst echte Nachrichten und Sportereignisse mit In-App-Credits voraus, jede Prognose wird aufgelöst, und die App führt über die Zeit Buch, damit du sehen kannst, wie sich deine Kalibrierung verbessert. Hol dir die App und fang an, deine Bilanz aufzubauen.