Le score de Brier, expliqué

Le score de Brier est la façon standard de noter une prévision probabiliste : il prend la probabilité que tu as attribuée à une issue, la compare à ce qui s’est réellement produit, élève l’écart au carré, puis en fait la moyenne sur toutes tes prévisions. Plus c’est bas, mieux c’est, et il récompense le fait d’être à la fois précis et honnête sur ton niveau de confiance.

Dire qu’un événement est « probable » n’est pas notable. Dire qu’il est « probable à 70 % » l’est. Dès qu’une prévision devient un nombre, tu peux la confronter à la réalité et lui attribuer un score. Le score de Brier est la manière la plus répandue de faire exactement cela, et c’est lui qui transforme un tas de prédictions en un véritable historique.

D’où vient le score

Le score a été introduit en 1950 par le météorologue Glenn W. Brier, dans un court article sur la façon de noter les prévisions météo exprimées en probabilités. Son problème était concret : un prévisionniste qui annonce « 70 % de risque de pluie » ne doit pas être jugé sur un seul jour, mais sur la tenue de ces chiffres sur une longue série de jours. Tu peux lire l’article original Verification of Forecasts Expressed in Terms of Probability paru dans Monthly Weather Review. La même idée note aujourd’hui des prévisionnistes bien au-delà de la météo, des élections au sport en passant par les marchés.

La formule en mots simples

Pour une seule prévision de type oui ou non, code l’issue 1 si l’événement s’est produit et 0 sinon. Prends la probabilité que tu as donnée (un nombre entre 0 et 1), soustrais l’issue, puis élève le résultat au carré. Cet écart au carré est le score de cette prévision unique.

Ton score de Brier global n’est que la moyenne de ces écarts au carré sur l’ensemble de tes prévisions. Voilà tout : la moyenne des écarts au carré entre la probabilité que tu as donnée et l’issue codée 1 ou 0. Rien de plus exotique qu’une moyenne de carrés.

Si tu veux la notation exacte et les variantes standards pour les questions à plus de deux issues, la présentation du score de Brier les détaille. Pour la prévision de tous les jours, la version à deux issues ci-dessus suffit amplement.

Un exemple chiffré

Supposons que tu fasses deux prévisions. D’abord, tu dis qu’il y a 90 % de chances que ton équipe gagne ce soir, et elle gagne. Ensuite, tu dis qu’il y a 30 % de chances qu’il pleuve demain, et il pleut effectivement.

1. Prévision un : tu as donné 0,9, l’issue était 1 (ils ont gagné). L’écart est 0,9 moins 1, soit moins 0,1. Au carré, cela fait 0,01. Une petite pénalité, car tu étais confiant et tu avais raison.
2. Prévision deux : tu as donné 0,3, l’issue était 1 (il a plu). L’écart est 0,3 moins 1, soit moins 0,7. Au carré, cela fait 0,49. Une lourde pénalité, car tu penchais du mauvais côté.
3. Fais la moyenne des deux : (0,01 plus 0,49) divisé par 2 égale 0,25. C’est ton score de Brier sur ces deux prévisions.

Remarque comme une seule erreur confiante domine. Le pronostic juste et confiant n’a presque rien coûté en pénalité, tandis que l’unique mauvais penchant a coûté à lui seul près d’un demi-point. Cette asymétrie est au cœur du comportement du score.

Lire l’échelle de 0 à 1

Parce qu’il s’agit d’une moyenne d’écarts au carré, le score de Brier se situe toujours entre 0 et 1. Les deux extrémités sont faciles à se représenter.

• 0 est parfait : chaque fois que tu as dit 100 %, cela s’est produit, et chaque fois que tu as dit 0 %, cela ne s’est pas produit. Tu étais certain et toujours dans le vrai.
• 1 est le pire possible : chaque fois que tu as dit 100 %, cela ne s’est pas produit, et chaque fois que tu as dit 0 %, cela s’est produit. Confiant et faux à chaque coup.
• 0,25 est la référence « sans information » : c’est ce que l’on obtient en disant toujours 50 %. Faire mieux que 0,25 signifie que tu apportes un vrai signal ; faire moins bien signifie que ta confiance te dessert activement.

Le nombre à battre n’est donc pas 0, inatteignable pour des événements réellement incertains. Le nombre à battre est 0,25. Un prévisionniste chevronné sur des questions difficiles peut atterrir dans les alentours de 0,15 en décimal, et c’est déjà très bon.

Pourquoi il sanctionne l’excès de confiance

C’est l’élévation au carré qui fait le travail important. Un écart de 0,2 coûte 0,04, mais un écart de 0,4 coûte 0,16, quatre fois plus pour seulement deux fois l’erreur. Les grosses erreurs sont pénalisées bien plus que proportionnellement, si bien qu’une seule bévue trop confiante peut ruiner un score par ailleurs bon.

C’est voulu. Cela te pousse à l’humilité sur les questions que tu ne peux pas réellement trancher. Dire 95 % quand tu aurais dû dire 70 % n’aide guère quand tu as raison et fait très mal quand tu as tort. Sur de nombreuses prévisions, celui qui déclare des probabilités honnêtes et modérées bat celui qui fanfaronne aux extrêmes et se brûle de temps à autre.

Une règle de notation propre

Le score de Brier est une règle de notation « propre », et ce mot porte une garantie forte. Une règle de notation est propre lorsque ton score espéré est le meilleur précisément quand tu déclares ta véritable probabilité. Il n’existe aucun nombre astucieux, différent de ta croyance réelle, qui améliore ton score sur le long terme.

Cela compte, car cela fait de l’honnêteté la stratégie optimale, pas seulement la vertueuse. Si tu penses en privé qu’un événement est probable à 60 %, alors déclarer 60 % minimise ton score de Brier espéré. Le gonfler à 80 % pour paraître audacieux, ou le ramener à 50 % pour paraître prudent, dégrade tous deux ton score espéré. La règle est conçue pour que la seule façon de gagner soit de dire la vérité sur ton incertitude.

Calibration et résolution

Le score de Brier peut se décomposer en deux composantes qui mesurent des compétences différentes. La calibration demande si tes probabilités veulent bien dire ce qu’elles annoncent : sur toutes les fois où tu as dit 70 %, environ 70 % se sont-elles produites ? La résolution demande si tu sépares les événements : te pousses-tu vers 90 % et 10 % quand tu le peux, plutôt que de rester près de 50 % sur tout ?

Un bon prévisionniste a besoin des deux. Une calibration parfaite sans résolution revient à toujours deviner le taux de base, ce qui est sûr mais peu informatif. Une forte résolution avec une mauvaise calibration est audacieuse mais peu fiable. Le score de Brier récompense la combinaison : des prévisions confiantes et bien séparées qui se révèlent aussi vraies au taux annoncé.

La calibration vaut la peine d’être comprise en soi, car c’est la moitié la plus intuitive du score. Vois la calibration des prévisions expliquée pour savoir lire une courbe de calibration et repérer tes propres biais.

Comment les plateformes l’utilisent

Les plateformes de prévision et les marchés prédictifs s’appuient sur une notation à la Brier pour classer les gens équitablement. Parce qu’elle est propre, ils peuvent avoir confiance qu’un classement bâti dessus récompense la vraie compétence plutôt que les prédictions téméraires. Parce qu’elle s’accumule sur de nombreuses prévisions, un coup de chance ne peut pas simuler un bon historique, et un coup de malchance ne peut pas couler un véritable prévisionniste.

C’est aussi ainsi que la recherche identifie les meilleurs prévisionnistes du monde. Ceux qui affichent régulièrement de faibles scores de Brier sur des centaines de questions sont ceux que les études appellent superprévisionnistes, et leur avantage se lit comme un écart de score, pas comme une prédiction spectaculaire isolée.

La leçon pratique est simple : si tu veux progresser, tiens les comptes. Note tes probabilités, confronte-les à la réalité et regarde le nombre bouger. Rien n’aiguise le jugement plus vite que d’être noté honnêtement, encore et encore.

Clutch fait la comptabilité à ta place. Prédis l’actualité et le sport réels avec des crédits intégrés, et l’application tient un score continu de ton niveau de calibration, pour que tu puisses le voir s’améliorer. Télécharge l’application et commence à bâtir un historique.