Le score de Brier, expliqué

Le score de Brier est la façon standard de noter une prévision probabiliste : il prend la probabilité que vous avez attribuée à une issue, la compare à ce qui s’est réellement produit, élève l’écart au carré, puis en fait la moyenne sur toutes vos prévisions. Plus c’est bas, mieux c’est, et il récompense le fait d’être à la fois précis et honnête sur votre niveau de confiance.

Dire qu’un événement est « probable » n’est pas notable. Dire qu’il est « probable à 70 % » l’est. Dès qu’une prévision devient un nombre, vous pouvez la confronter à la réalité et lui attribuer un score. Le score de Brier est la manière la plus répandue de faire exactement cela, et c’est lui qui transforme un tas de prédictions en un véritable historique.

D’où vient le score

Le score a été introduit en 1950 par le météorologue Glenn W. Brier, dans un court article sur la façon de noter les prévisions météo exprimées en probabilités. Son problème était concret : un prévisionniste qui annonce « 70 % de risque de pluie » ne doit pas être jugé sur un seul jour, mais sur la tenue de ces chiffres sur une longue série de jours. Vous pouvez lire l’article original Verification of Forecasts Expressed in Terms of Probability paru dans Monthly Weather Review. La même idée note aujourd’hui des prévisionnistes bien au-delà de la météo, des élections au sport en passant par les marchés.

La formule en mots simples

Pour une seule prévision de type oui ou non, codez l’issue 1 si l’événement s’est produit et 0 sinon. Prenez la probabilité que vous avez donnée (un nombre entre 0 et 1), soustrayez l’issue, puis élevez le résultat au carré. Cet écart au carré est le score de cette prévision unique.

Votre score de Brier global n’est que la moyenne de ces écarts au carré sur l’ensemble de vos prévisions. Voilà tout : la moyenne des écarts au carré entre la probabilité que vous avez donnée et l’issue codée 1 ou 0. Rien de plus exotique qu’une moyenne de carrés.

Si vous voulez la notation exacte et les variantes standards pour les questions à plus de deux issues, la présentation du score de Brier les détaille. Pour la prévision de tous les jours, la version à deux issues ci-dessus suffit amplement.

Un exemple chiffré

Supposons que vous fassiez deux prévisions. D’abord, vous dites qu’il y a 90 % de chances que votre équipe gagne ce soir, et elle gagne. Ensuite, vous dites qu’il y a 30 % de chances qu’il pleuve demain, et il pleut effectivement.

1. Prévision un : vous avez donné 0,9, l’issue était 1 (ils ont gagné). L’écart est 0,9 moins 1, soit moins 0,1. Au carré, cela fait 0,01. Une petite pénalité, car vous étiez confiant et vous aviez raison.
2. Prévision deux : vous avez donné 0,3, l’issue était 1 (il a plu). L’écart est 0,3 moins 1, soit moins 0,7. Au carré, cela fait 0,49. Une lourde pénalité, car vous penchiez du mauvais côté.
3. Faites la moyenne des deux : (0,01 plus 0,49) divisé par 2 égale 0,25. C’est votre score de Brier sur ces deux prévisions.

Remarquez comme une seule erreur confiante domine. Le pronostic juste et confiant n’a presque rien coûté en pénalité, tandis que l’unique mauvais penchant a coûté à lui seul près d’un demi-point. Cette asymétrie est au cœur du comportement du score.

Lire l’échelle de 0 à 1

Parce qu’il s’agit d’une moyenne d’écarts au carré, le score de Brier se situe toujours entre 0 et 1. Les deux extrémités sont faciles à se représenter.

• 0 est parfait : chaque fois que vous avez dit 100 %, cela s’est produit, et chaque fois que vous avez dit 0 %, cela ne s’est pas produit. Vous étiez certain et toujours dans le vrai.
• 1 est le pire possible : chaque fois que vous avez dit 100 %, cela ne s’est pas produit, et chaque fois que vous avez dit 0 %, cela s’est produit. Confiant et faux à chaque coup.
• 0,25 est la référence « sans information » : c’est ce que l’on obtient en disant toujours 50 %. Faire mieux que 0,25 signifie que vous apportez un vrai signal ; faire moins bien signifie que votre confiance vous dessert activement.

Le nombre à battre n’est donc pas 0, inatteignable pour des événements réellement incertains. Le nombre à battre est 0,25. Un prévisionniste chevronné sur des questions difficiles peut atterrir dans les alentours de 0,15 en décimal, et c’est déjà très bon.

Pourquoi il sanctionne l’excès de confiance

C’est l’élévation au carré qui fait le travail important. Un écart de 0,2 coûte 0,04, mais un écart de 0,4 coûte 0,16, quatre fois plus pour seulement deux fois l’erreur. Les grosses erreurs sont pénalisées bien plus que proportionnellement, si bien qu’une seule bévue trop confiante peut ruiner un score par ailleurs bon.

C’est voulu. Cela vous pousse à l’humilité sur les questions que vous ne pouvez pas réellement trancher. Dire 95 % quand vous auriez dû dire 70 % n’aide guère quand vous avez raison et fait très mal quand vous avez tort. Sur de nombreuses prévisions, celui qui déclare des probabilités honnêtes et modérées bat celui qui fanfaronne aux extrêmes et se brûle de temps à autre.

Une règle de notation propre

Le score de Brier est une règle de notation « propre », et ce mot porte une garantie forte. Une règle de notation est propre lorsque votre score espéré est le meilleur précisément quand vous déclarez votre véritable probabilité. Il n’existe aucun nombre astucieux, différent de votre croyance réelle, qui améliore votre score sur le long terme.

Cela compte, car cela fait de l’honnêteté la stratégie optimale, pas seulement la vertueuse. Si vous pensez en privé qu’un événement est probable à 60 %, alors déclarer 60 % minimise votre score de Brier espéré. Le gonfler à 80 % pour paraître audacieux, ou le ramener à 50 % pour paraître prudent, dégrade tous deux votre score espéré. La règle est conçue pour que la seule façon de gagner soit de dire la vérité sur votre incertitude.

Calibration et résolution

Le score de Brier peut se décomposer en deux composantes qui mesurent des compétences différentes. La calibration demande si vos probabilités veulent bien dire ce qu’elles annoncent : sur toutes les fois où vous avez dit 70 %, environ 70 % se sont-elles produites ? La résolution demande si vous séparez les événements : poussez-vous vers 90 % et 10 % quand vous le pouvez, plutôt que de rester près de 50 % sur tout ?

Un bon prévisionniste a besoin des deux. Une calibration parfaite sans résolution revient à toujours deviner le taux de base, ce qui est sûr mais peu informatif. Une forte résolution avec une mauvaise calibration est audacieuse mais peu fiable. Le score de Brier récompense la combinaison : des prévisions confiantes et bien séparées qui se révèlent aussi vraies au taux annoncé.

La calibration vaut la peine d’être comprise en soi, car c’est la moitié la plus intuitive du score. Voyez la calibration des prévisions expliquée pour savoir lire une courbe de calibration et repérer vos propres biais.

Comment les plateformes l’utilisent

Les plateformes de prévision et les marchés prédictifs s’appuient sur une notation à la Brier pour classer les gens équitablement. Parce qu’elle est propre, ils peuvent avoir confiance qu’un classement bâti dessus récompense la vraie compétence plutôt que les paris téméraires. Parce qu’elle s’accumule sur de nombreuses prévisions, un coup de chance ne peut pas simuler un bon historique, et un coup de malchance ne peut pas couler un véritable prévisionniste.

C’est aussi ainsi que la recherche identifie les meilleurs prévisionnistes du monde. Ceux qui affichent régulièrement de faibles scores de Brier sur des centaines de questions sont ceux que les études appellent superprévisionnistes, et leur avantage se lit comme un écart de score, pas comme une prédiction spectaculaire isolée.

La leçon pratique est simple : si vous voulez progresser, tenez les comptes. Notez vos probabilités, confrontez-les à la réalité et regardez le nombre bouger. Rien n’aiguise le jugement plus vite que d’être noté honnêtement, encore et encore.

Clutch fait la comptabilité à votre place. Prédisez l’actualité et le sport réels avec des crédits intégrés, et l’application tient un score continu de votre niveau de calibration, pour que vous puissiez le voir s’améliorer. Téléchargez l’application et commencez à bâtir un historique.