Der Brier-Score einfach erklärt

Der Brier-Score ist der Standard, um eine Wahrscheinlichkeitsprognose zu bewerten: Er nimmt die Wahrscheinlichkeit, die du einem Ausgang gegeben hast, vergleicht sie mit dem, was tatsächlich passiert ist, quadriert die Differenz und bildet den Durchschnitt über alle deine Prognosen. Niedriger ist besser, und belohnt wird, wer treffsicher ist und ehrlich mit seiner eigenen Sicherheit umgeht.

Wenn du sagst, ein Ereignis sei „wahrscheinlich“, lässt sich das nicht bewerten. Wenn du sagst, es sei „zu 70 % wahrscheinlich“, schon. Sobald eine Prognose eine Zahl ist, kannst du sie mit der Realität abgleichen und ihr eine Punktzahl geben. Der Brier-Score ist die am weitesten verbreitete Methode dafür, und er macht aus einem Haufen Vorhersagen eine echte Bilanz, egal ob auf Prognosemärkten (auch Vorhersagemärkte genannt) oder in deinem eigenen Notizbuch.

Woher der Score kommt

Der Score wurde 1950 vom Meteorologen Glenn W. Brier eingeführt, in einem kurzen Paper darüber, wie man Wettervorhersagen bewertet, die als Wahrscheinlichkeiten formuliert sind. Sein Problem war ganz praktisch: Wer „70 % Regenwahrscheinlichkeit“ ansagt, sollte nicht an einem einzelnen Tag gemessen werden, sondern daran, wie gut diese Zahlen über viele Tage hinweg halten. Du kannst das Original Verification of Forecasts Expressed in Terms of Probability in der Monthly Weather Review lesen. Dieselbe Idee bewertet heute Prognostiker weit über das Wetter hinaus, von Wahlen über Sport bis zu Märkten.

Die Formel in einfachen Worten

Bei einer einzelnen Ja-oder-Nein-Prognose kodierst du das Ergebnis als 1, wenn das Ereignis eingetreten ist, und als 0, wenn nicht. Nimm die Wahrscheinlichkeit, die du angegeben hast (eine Zahl zwischen 0 und 1), zieh das Ergebnis ab und quadriere das Resultat. Dieser quadrierte Abstand ist der Score für diese eine Prognose.

Dein gesamter Brier-Score ist einfach der Durchschnitt dieser quadrierten Abstände über alle deine Prognosen. Das ist schon alles: die mittlere quadrierte Differenz zwischen der angegebenen Wahrscheinlichkeit und dem als 1 oder 0 kodierten Ergebnis. Nichts Exotischeres als ein Durchschnitt von Quadraten.

Wenn du die genaue Notation und die üblichen Varianten für Fragen mit mehr als zwei Ausgängen sehen willst, findest du sie in der Übersicht zum Brier-Score. Für das alltägliche Prognostizieren reicht die oben beschriebene Version mit zwei Ausgängen völlig aus.

Ein Rechenbeispiel

Angenommen, du gibst zwei Prognosen ab. Erstens sagst du, dein Team gewinnt heute Abend mit 90 % Wahrscheinlichkeit, und es gewinnt. Zweitens sagst du, es regnet morgen mit 30 % Wahrscheinlichkeit, und es regnet tatsächlich.

1. Prognose eins: Du hast 0,9 angegeben, das Ergebnis war 1 (sie haben gewonnen). Der Abstand ist 0,9 minus 1, also minus 0,1. Quadriert ergibt das 0,01. Eine kleine Strafe, weil du dir sicher warst und richtig lagst.
2. Prognose zwei: Du hast 0,3 angegeben, das Ergebnis war 1 (es hat geregnet). Der Abstand ist 0,3 minus 1, also minus 0,7. Quadriert ergibt das 0,49. Eine große Strafe, weil du in die falsche Richtung getippt hast.
3. Bilde den Durchschnitt der beiden: (0,01 plus 0,49) geteilt durch 2 ergibt 0,25. Das ist dein Brier-Score für diese zwei Prognosen.

Sieh dir an, wie ein einziger selbstsicherer Fehlgriff alles dominiert. Der richtige, selbstsichere Tipp hat fast keine Strafe gekostet, während die eine falsche Tendenz allein fast einen halben Punkt gekostet hat. Diese Asymmetrie ist der Kern dessen, wie sich der Score verhält.

Die Skala von 0 bis 1 lesen

Weil er ein Durchschnitt quadrierter Abstände ist, liegt der Brier-Score immer zwischen 0 und 1. Beide Enden kann man sich leicht vorstellen.

• 0 ist perfekt: Jedes Mal, wenn du 100 % gesagt hast, ist es eingetreten, und jedes Mal, wenn du 0 % gesagt hast, nicht. Du warst dir sicher und lagst immer richtig.
• 1 ist das schlechteste mögliche Ergebnis: Jedes Mal, wenn du 100 % gesagt hast, ist es nicht eingetreten, und jedes Mal, wenn du 0 % gesagt hast, schon. Selbstsicher falsch bei jedem Tipp.
• 0,25 ist die Basislinie „ohne Information“: Das bekommst du, wenn du immer 50 % sagst. Liegst du unter 0,25, lieferst du echtes Signal; liegst du darüber, schadet dir deine Selbstsicherheit aktiv.

Die Zahl, die du schlagen musst, ist also nicht 0, denn die ist bei wirklich unsicheren Ereignissen unerreichbar. Die Zahl, die du schlagen musst, ist 0,25. Ein geübter Prognostiker landet bei schweren Fragen vielleicht irgendwo um 0,15, und das ist schon sehr gut.

Warum er Selbstüberschätzung bestraft

Das Quadrieren erledigt die entscheidende Arbeit. Ein Abstand von 0,2 kostet 0,04, ein Abstand von 0,4 dagegen 0,16, also viermal so viel bei nur doppelt so großem Fehler. Große Fehlgriffe werden weit überproportional bestraft, sodass ein einziger übermütiger Patzer einen ansonsten guten Score ruinieren kann.

Das ist Absicht. Es drängt dich zu Bescheidenheit bei Fragen, die du nicht wirklich einschätzen kannst. 95 % zu sagen, wo du 70 % hättest sagen sollen, bringt dir kaum etwas, wenn du richtig liegst, und schadet dir stark, wenn du falsch liegst. Über viele Prognosen hinweg schlägt die Person, die ehrliche, moderate Wahrscheinlichkeiten angibt, diejenige, die großspurig zu den Extremen greift und sich ab und zu die Finger verbrennt.

Eine richtige Bewertungsregel (Proper Scoring Rule)

Der Brier-Score ist eine „richtige“ Bewertungsregel (im Englischen „proper scoring rule“), und dieses Wort steht für eine starke Garantie. Eine Bewertungsregel ist richtig, wenn dein erwarteter Score genau dann am besten ist, wenn du deine wahre Wahrscheinlichkeit angibst. Es gibt keine clevere Zahl, die du statt deiner echten Einschätzung nennen könntest, um deinen Score auf lange Sicht zu verbessern.

Das ist wichtig, weil Ehrlichkeit dadurch zur optimalen Strategie wird, nicht nur zur tugendhaften. Wenn du insgeheim glaubst, dass ein Ereignis zu 60 % wahrscheinlich ist, minimiert die Angabe von 60 % deinen erwarteten Brier-Score. Sie auf 80 % zu schieben, um mutig zu wirken, oder auf 50 %, um auf Nummer sicher zu gehen, verschlechtert deinen erwarteten Score in beiden Fällen. Die Regel ist so gebaut, dass du nur gewinnen kannst, wenn du die Wahrheit über deine Unsicherheit sagst.

Kalibrierung und Trennschärfe

Der Brier-Score lässt sich in zwei Komponenten zerlegen, die unterschiedliche Fähigkeiten messen. Die Kalibrierung fragt, ob deine Wahrscheinlichkeiten halten, was sie versprechen: Ist von all den Malen, bei denen du 70 % gesagt hast, auch etwa 70 % eingetreten? Die Trennschärfe (Resolution) fragt, ob du Ereignisse überhaupt unterscheidest: Gehst du in Richtung 90 % und 10 %, wenn du kannst, statt dich bei allem nahe 50 % abzusichern?

Ein guter Prognostiker braucht beides. Perfekte Kalibrierung ohne Trennschärfe bedeutet, immer nur die Basisrate zu raten, was sicher, aber nichtssagend ist. Starke Trennschärfe bei schlechter Kalibrierung ist mutig, aber unzuverlässig. Der Brier-Score belohnt die Kombination: selbstsichere, klar getrennte Prognosen, die auch so oft eintreten, wie du behauptet hast.

Die Kalibrierung lohnt sich für sich genommen zu verstehen, denn sie ist die intuitivste Hälfte des Scores. Lies Prognose-Kalibrierung erklärt, um zu lernen, wie du eine Kalibrierungskurve liest und deine eigenen Verzerrungen erkennst.

Wie Plattformen ihn nutzen

Prognoseplattformen und Prognosemärkte setzen auf Bewertungen im Stil des Brier-Scores, um Menschen fair zu ranken. Weil die Regel richtig ist, können sie darauf vertrauen, dass eine darauf aufgebaute Rangliste echtes Können belohnt statt waghalsiger Ausschläge. Weil sie sich über viele Prognosen aufsummiert, kann ein einzelner Glückstreffer keine gute Bilanz vortäuschen, und ein einzelner Pechfall kann einen echten Prognostiker nicht versenken.

So identifiziert auch die Forschung die besten Prognostiker der Welt. Die Menschen, die über Hunderte von Fragen hinweg konstant niedrige Brier-Scores erzielen, nennen Studien Superforecaster, und ihr Vorsprung zeigt sich als Abstand im Score, nicht als eine einzige spektakuläre Vorhersage.

Die praktische Lehre ist einfach: Wenn du besser werden willst, führ Buch. Halte deine Wahrscheinlichkeiten fest, gleiche sie mit der Realität ab und beobachte, wie sich die Zahl bewegt. Nichts schärft dein Urteilsvermögen schneller, als immer wieder ehrlich bewertet zu werden.

Clutch übernimmt die Buchführung für dich. Sag echte Nachrichten- und Sportereignisse mit In-App-Credits voraus, und die App führt laufend Buch darüber, wie gut kalibriert du bist, damit du zusehen kannst, wie du dich verbesserst. Hol dir die App und fang an, deine eigene Bilanz aufzubauen.