La calibration des prévisions expliquée

La calibration des prévisions, c’est l’accord entre ta confiance et la réalité : tu es bien calibré quand les choses que tu juges probables à 70 % se produisent environ 70 % du temps, celles que tu juges probables à 90 % environ 90 % du temps, et ainsi de suite sur de nombreuses prévisions.

La calibration est ce qui distingue un prévisionniste aux chiffres duquel on peut se fier d’un autre qui a seulement l’air sûr de lui. Il ne s’agit pas d’avoir raison sur une prévision isolée. Il s’agit de faire en sorte que tes probabilités disent vraiment ce qu’elles annoncent, pour qu’un 30 % de ta part soit réellement plus rare qu’un 60 %. Une fois que tu es calibré, tes pourcentages deviennent une monnaie sur laquelle les autres peuvent compter.

Ce que signifie vraiment la calibration

Supposons que tu fasses cent prévisions et que, sur chacune, tu annonces une probabilité. Prends toutes les prévisions où tu as dit « 70 % ». Si tu es calibré, environ 70 % de ce groupe se sont réalisées. Fais de même pour tes prévisions à 30 % : environ 30 % d’entre elles auraient dû se produire. La calibration, c’est cette promesse tenue, tranche par tranche, non pas sur une prévision mais sur beaucoup.

Voilà pourquoi la calibration ne se juge que sur un historique, jamais sur une prévision isolée. Si tu dis qu’un événement est probable à 80 % et qu’il ne se produit pas, tu n’avais pas nécessairement tort ; 80 % laisse la place à l’autre cas sur cinq. Ce n’est qu’en alignant toutes tes prévisions à 80 % et en comptant combien se sont réalisées que l’on peut dire si ton 80 % vaut vraiment 80 %.

La courbe de calibration

La façon classique de voir la calibration est un graphique. Place ta confiance annoncée sur l’axe horizontal, de 0 % à 100 %. Place la fréquence réelle de ces événements sur l’axe vertical. Regroupe tes prévisions par tranches (toutes celles à 10 %, toutes celles à 20 %, et ainsi de suite) et trace un point par tranche.

Un prévisionniste parfaitement calibré se place sur la diagonale à 45 degrés : chaque tranche atterrit là où la confiance égale la fréquence des issues. Un point situé sous la ligne signifie que tu étais trop confiant à cet endroit (tu as revendiqué plus de certitude que la réalité n’en a offert). Un point au-dessus de la ligne signifie que tu manquais de confiance. C’est la forme de la courbe, et non un point isolé, qui raconte ton jugement.

La courbe est l’image ; un seul chiffre récapitulatif est souvent plus pratique pour suivre ses progrès. Le plus courant combine calibration et exactitude en un seul score, expliqué dans le score de Brier, expliqué.

La calibration n’est pas l’exactitude

C’est la distinction que l’on manque le plus. L’exactitude demande : à quelle fréquence étais-tu du bon côté de 50 % ? La calibration demande : tes niveaux de confiance correspondaient-ils à la réalité ? Les deux peuvent diverger dans les deux sens.

• Un prévisionniste prudent qui dit « 55 % oui » à tout peut être parfaitement calibré (55 % de ces cas se produisent) tout en étant presque inutile, car ses prévisions s’écartent à peine du pile ou face.
• Un prévisionniste audacieux qui a raison 80 % du temps mais dit toujours « 99 % » est exact mais mal calibré, car sa confiance est gonflée.
• L’idéal, c’est les deux : confiant quand les preuves le justifient, humble quand elles ne le justifient pas, avec des pourcentages qui suivent la vérité dans les deux cas.

Les bonnes règles de notation captent les deux moitiés. C’est pourquoi le score de Brier te récompense non seulement d’avoir raison, mais d’avoir raison avec le bon niveau de confiance. Un excellent prévisionniste est calibré et tranché, poussant les probabilités vers 0 et 100 seulement aussi vite que les preuves le permettent.

L’excès de confiance : le défaut habituel

Quand la calibration déraille, c’est presque toujours dans le même sens : les gens sont trop confiants. Dans de vastes études, les prévisionnistes attribuent couramment 90 % à des choses qui se produisent plutôt 75 % du temps, et traitent comme des « certitudes » des événements qui échouent plus souvent que « certain » ne le permettrait. L’écart entre la confiance annoncée et la confiance réelle est la signature de l’excès de confiance.

L’excès de confiance est si constant qu’il apparaît chez presque tout le monde avant tout entraînement, des dirigeants aux analystes, un schéma longuement documenté dans How to Measure Anything de Douglas W. Hubbard, qui traite la calibration comme une compétence que tout estimateur peut et devrait développer.

L’excès de confiance voyage rarement seul. Il s’accompagne de l’ancrage, de la confirmation et de la tendance à se souvenir de ses réussites et à oublier ses échecs, abordés dans les biais cognitifs en prévision.

Comment mesurer ta propre calibration

On ne peut pas corriger ce que l’on ne suit pas. Mesurer sa calibration ne demande rien de plus qu’une habitude : noter des chiffres puis, plus tard, les vérifier.

1. Consigne chaque prévision avec une probabilité explicite. « Je pense qu’il pleuvra demain » n’est pas mesurable ; « 70 % de chances qu’il pleuve demain » l’est.
2. Attends que la réalité tranche chacune par un oui ou un non clair, et note l’issue à côté de ton chiffre initial.
3. Quand tu as assez de prévisions (vise au moins 30 à 50), trie-les par tranches de confiance : tes prévisions à 60 %, à 70 %, et ainsi de suite.
4. Pour chaque tranche, calcule la part qui s’est réellement réalisée et compare-la à l’étiquette de la tranche. Ta tranche à 70 % devrait tomber près de 70 %.
5. Trace les tranches contre la fréquence des issues, ou calcule simplement un score de Brier, et recommence toutes les quelques dizaines de prévisions pour observer la tendance.

La première fois que la plupart des gens font cet exercice, le constat est frappant : les tranches de haute confiance sous-performent. Cette piqûre est justement le but. Voir tes prévisions à 90 % ne se réaliser que 78 % du temps est ce qui te recalibre vraiment.

Comment entraîner sa calibration

La bonne nouvelle, c’est que la calibration répond à l’entraînement. C’est l’une des rares compétences de prévision dotée d’une boucle de rétroaction claire et rapide, et un effort d’entraînement modeste fait bouger les choses.

• Entraîne-toi avec du retour : fais de nombreuses estimations de probabilité sur des questions qui se résolvent vite, puis revois les endroits où ta confiance a dépassé la réalité.
• Utilise des intervalles de confiance pour les chiffres : pour estimer une quantité, donne une fourchette à 90 % assez large pour n’être surpris qu’une fois sur dix. La plupart des gens commencent bien trop étroit.
• Élargis tes extrêmes : si tes prévisions à 90 % échouent sans cesse, prends-le comme un signal pour dire 80 % jusqu’à ce que les deux s’alignent.
• Tiens le score avec une vraie règle pour ne pas te leurrer ; un chiffre que l’on calcule est plus difficile à rationaliser qu’un souvenir.

Les programmes structurés montrent jusqu’où cela peut aller. Dans les recherches à l’origine du Good Judgment Project, une courte formation à la calibration et une pratique régulière ont mesurablement amélioré des prévisionnistes ordinaires, et les meilleurs sont devenus ce qu’on appelle des superprévisionnistes, preuve que la calibration s’entraîne et n’est pas innée.

Ce qui distingue ce peloton de tête tient moins à l’intelligence brute qu’à des habitudes comme la calibration et la mise à jour fréquente, détaillées dans les superprévisionnistes, expliqués.

Entraîne-toi sur de vraies questions

La calibration ne s’améliore que lorsque tes prévisions rencontrent la réalité, encore et encore, avec un score tenu honnêtement. C’est difficile à faire seul ; il faut un flux régulier de questions qui se résolvent et quelque chose qui retienne tes chiffres à ta place.

Clutch transforme cette boucle en jeu : tu prédis l’actualité et le sport réels avec des Credits intégrés, chaque prévision se résout, et l’application tient le score dans le temps pour que tu puisses voir ta calibration s’améliorer. Télécharge l’application et commence à construire un historique.