La calibration des prévisions expliquée

La calibration des prévisions, c’est l’accord entre votre confiance et la réalité : vous êtes bien calibré quand les choses que vous jugez probables à 70 % se produisent environ 70 % du temps, celles que vous jugez probables à 90 % environ 90 % du temps, et ainsi de suite sur de nombreuses prévisions.

La calibration est ce qui distingue un prévisionniste dont on peut se fier aux chiffres d’un autre qui a seulement l’air sûr de lui. Il ne s’agit pas d’avoir raison sur une prévision isolée. Il s’agit de ce que vos probabilités disent vraiment ce qu’elles annoncent, pour qu’un 30 % de votre part soit réellement plus rare qu’un 60 %. Une fois calibré, vos pourcentages deviennent une monnaie sur laquelle les autres peuvent compter.

Ce que signifie vraiment la calibration

Supposons que vous fassiez cent prévisions et que, sur chacune, vous annonciez une probabilité. Prenez toutes les prévisions où vous avez dit « 70 % ». Si vous êtes calibré, environ 70 % de ce groupe se sont réalisées. Faites de même pour vos prévisions à 30 % : environ 30 % d’entre elles auraient dû se produire. La calibration, c’est cette promesse tenue, tranche par tranche, non pas sur une prévision mais sur beaucoup.

Voilà pourquoi la calibration ne se juge que sur un historique, jamais sur une prévision isolée. Si vous dites qu’un événement est probable à 80 % et qu’il ne se produit pas, vous n’aviez pas nécessairement tort ; 80 % laisse la place à l’autre cas sur cinq. Ce n’est qu’en alignant toutes vos prévisions à 80 % et en comptant combien se sont réalisées que l’on peut dire si votre 80 % vaut vraiment 80 %.

La courbe de calibration

La façon classique de voir la calibration est un graphique. Placez votre confiance annoncée sur l’axe horizontal, de 0 % à 100 %. Placez la fréquence réelle de ces événements sur l’axe vertical. Regroupez vos prévisions par tranches (toutes celles à 10 %, toutes celles à 20 %, et ainsi de suite) et tracez un point par tranche.

Un prévisionniste parfaitement calibré se place sur la diagonale à 45 degrés : chaque tranche atterrit là où la confiance égale la fréquence des issues. Un point situé sous la ligne signifie que vous étiez trop confiant à cet endroit (vous avez revendiqué plus de certitude que la réalité n’en a offert). Un point au-dessus de la ligne signifie que vous manquiez de confiance. C’est la forme de la courbe, et non un point isolé, qui raconte votre jugement.

La courbe est l’image ; un seul chiffre récapitulatif est souvent plus pratique pour suivre ses progrès. Le plus courant combine calibration et exactitude en un seul score, expliqué dans le score de Brier, expliqué.

La calibration n’est pas l’exactitude

C’est la distinction que l’on manque le plus. L’exactitude demande : à quelle fréquence étiez-vous du bon côté de 50 % ? La calibration demande : vos niveaux de confiance correspondaient-ils à la réalité ? Les deux peuvent diverger dans les deux sens.

• Un prévisionniste prudent qui dit « 55 % oui » à tout peut être parfaitement calibré (55 % de ces cas se produisent) tout en étant presque inutile, car ses prévisions s’écartent à peine du pile ou face.
• Un prévisionniste audacieux qui a raison 80 % du temps mais dit toujours « 99 % » est exact mais mal calibré, car sa confiance est gonflée.
• L’idéal, c’est les deux : confiant quand les preuves le justifient, humble quand elles ne le justifient pas, avec des pourcentages qui suivent la vérité dans les deux cas.

Les bonnes règles de notation captent les deux moitiés. C’est pourquoi le score de Brier vous récompense non seulement d’avoir raison, mais d’avoir raison avec le bon niveau de confiance. Un excellent prévisionniste est calibré et tranché, poussant les probabilités vers 0 et 100 seulement aussi vite que les preuves le permettent.

L’excès de confiance : le défaut habituel

Quand la calibration déraille, c’est presque toujours dans le même sens : les gens sont trop confiants. Dans de vastes études, les prévisionnistes attribuent couramment 90 % à des choses qui se produisent plutôt 75 % du temps, et traitent comme des « certitudes » des événements qui échouent plus souvent que « certain » ne le permettrait. L’écart entre la confiance annoncée et la confiance réelle est la signature de l’excès de confiance.

L’excès de confiance est si constant qu’il apparaît chez presque tout le monde avant tout entraînement, des dirigeants aux analystes, un schéma longuement documenté dans How to Measure Anything de Douglas W. Hubbard, qui traite la calibration comme une compétence que tout estimateur peut et devrait développer.

L’excès de confiance voyage rarement seul. Il s’accompagne de l’ancrage, de la confirmation et de la tendance à se souvenir de ses réussites et à oublier ses échecs, abordés dans les biais cognitifs en prévision.

Comment mesurer votre propre calibration

On ne peut pas corriger ce que l’on ne suit pas. Mesurer sa calibration ne demande rien de plus qu’une habitude : noter des chiffres puis, plus tard, les vérifier.

1. Consignez chaque prévision avec une probabilité explicite. « Je pense qu’il pleuvra demain » n’est pas mesurable ; « 70 % de chances qu’il pleuve demain » l’est.
2. Attendez que la réalité tranche chacune par un oui ou un non clair, et notez l’issue à côté de votre chiffre initial.
3. Quand vous avez assez de prévisions (visez au moins 30 à 50), triez-les par tranches de confiance : vos prévisions à 60 %, à 70 %, et ainsi de suite.
4. Pour chaque tranche, calculez la part qui s’est réellement réalisée et comparez-la à l’étiquette de la tranche. Votre tranche à 70 % devrait tomber près de 70 %.
5. Tracez les tranches contre la fréquence des issues, ou calculez simplement un score de Brier, et recommencez toutes les quelques dizaines de prévisions pour observer la tendance.

La première fois que la plupart des gens font cet exercice, le constat est frappant : les tranches de haute confiance sous-performent. Cette piqûre est justement le but. Voir vos prévisions à 90 % ne se réaliser que 78 % du temps est ce qui vous recalibre vraiment.

Comment entraîner sa calibration

La bonne nouvelle, c’est que la calibration répond à l’entraînement. C’est l’une des rares compétences de prévision dotée d’une boucle de rétroaction claire et rapide, et un effort d’entraînement modeste fait bouger les choses.

• Entraînez-vous avec du retour : faites de nombreuses estimations de probabilité sur des questions qui se résolvent vite, puis revoyez les endroits où votre confiance a dépassé la réalité.
• Utilisez des intervalles de confiance pour les chiffres : pour estimer une quantité, donnez une fourchette à 90 % assez large pour n’être surpris qu’une fois sur dix. La plupart des gens commencent bien trop étroit.
• Élargissez vos extrêmes : si vos prévisions à 90 % échouent sans cesse, prenez-le comme un signal pour dire 80 % jusqu’à ce que les deux s’alignent.
• Tenez le score avec une vraie règle pour ne pas vous leurrer ; un chiffre que l’on calcule est plus difficile à rationaliser qu’un souvenir.

Les programmes structurés montrent jusqu’où cela peut aller. Dans les recherches à l’origine du Good Judgment Project, une courte formation à la calibration et une pratique régulière ont mesurablement amélioré des prévisionnistes ordinaires, et les meilleurs sont devenus ce qu’on appelle des superprévisionnistes, preuve que la calibration s’entraîne et n’est pas innée.

Ce qui distingue ce peloton de tête tient moins à l’intelligence brute qu’à des habitudes comme la calibration et la mise à jour fréquente, détaillées dans les superprévisionnistes, expliqués.

Entraînez-vous sur de vraies questions

La calibration ne s’améliore que lorsque vos prévisions rencontrent la réalité, encore et encore, avec un score tenu honnêtement. C’est difficile à faire seul ; il faut un flux régulier de questions qui se résolvent et quelque chose qui retienne vos chiffres à votre place.

Clutch transforme cette boucle en jeu : vous prédisez l’actualité et le sport réels avec des Credits intégrés, chaque prévision se résout, et l’application tient le score dans le temps pour que vous puissiez voir votre calibration s’améliorer. Téléchargez l’application et commencez à construire un historique.