La calibración de pronósticos explicada

La calibración de pronósticos es el acuerdo entre tu confianza y la realidad: estás bien calibrado cuando las cosas que das por probables al 70 % ocurren alrededor del 70 % de las veces, las que das al 90 % alrededor del 90 % de las veces, y así sucesivamente a lo largo de muchos pronósticos.

La calibración es lo que distingue a un pronosticador cuyos números puedes creer de otro que solo suena seguro. No se trata de acertar en un pronóstico aislado. Se trata de que tus probabilidades signifiquen lo que dicen, para que un 30 % tuyo sea de verdad más raro que un 60 %. Una vez calibrado, tus porcentajes se vuelven una moneda con la que los demás pueden contar.

Qué significa de verdad la calibración

Supón que haces cien pronósticos y, en cada uno, declaras una probabilidad. Toma todos los pronósticos en los que dijiste «70 %». Si estás calibrado, alrededor del 70 % de ese grupo se cumplió. Haz lo mismo con tus pronósticos al 30 %: cerca del 30 % de ellos debería haber ocurrido. La calibración es esa promesa cumplida, tramo a tramo, no en un pronóstico sino a lo largo de muchos.

Por eso la calibración solo se juzga sobre un historial, nunca sobre un pronóstico aislado. Si dices que un evento es probable al 80 % y no ocurre, no necesariamente te equivocaste; el 80 % deja sitio para el otro caso de cada cinco. Solo cuando alineas todos tus pronósticos al 80 % y cuentas cuántos se cumplieron puede alguien saber si tu 80 % vale de verdad 80 %.

La curva de calibración

La forma habitual de ver la calibración es un gráfico. Pon tu confianza declarada en el eje horizontal, del 0 % al 100 %. Pon la frecuencia real de esos eventos en el eje vertical. Agrupa tus pronósticos en tramos (todos los del 10 %, todos los del 20 %, y así sucesivamente) y traza un punto por tramo.

Un pronosticador perfectamente calibrado cae sobre la diagonal de 45 grados: cada tramo aterriza donde la confianza iguala la frecuencia de los resultados. Un punto por debajo de la línea significa que allí fuiste demasiado confiado (reclamaste más certeza de la que la realidad ofreció). Un punto por encima de la línea significa que te faltó confianza. Es la forma de la curva, y no un punto aislado, la que cuenta la historia de tu juicio.

La curva es la imagen; un único número resumen suele ser más cómodo para seguir el progreso. El más común combina calibración y exactitud en una sola puntuación, explicada en la puntuación de Brier, explicada.

La calibración no es lo mismo que la exactitud

Esta es la distinción que más se pasa por alto. La exactitud pregunta: ¿con qué frecuencia estuviste del lado correcto del 50 %? La calibración pregunta: ¿tus niveles de confianza coincidían con la realidad? Ambas pueden separarse en los dos sentidos.

• Un pronosticador prudente que dice «55 % sí» a todo puede estar perfectamente calibrado (el 55 % de esos casos ocurre) y ser casi inútil, porque los pronósticos apenas se apartan de la cara o cruz.
• Un pronosticador atrevido que acierta el 80 % de las veces pero siempre dice «99 %» es exacto pero está mal calibrado, porque su confianza está inflada.
• Lo ideal es ambas cosas: confiado cuando la evidencia lo justifica, humilde cuando no, con los porcentajes siguiendo a la verdad en ambos casos.

Las buenas reglas de puntuación capturan las dos mitades. Por eso la puntuación de Brier te premia no solo por acertar, sino por acertar con la cantidad correcta de confianza. Un gran pronosticador está calibrado y es decidido, empujando las probabilidades hacia 0 y 100 solo tan rápido como la evidencia lo permite.

El exceso de confianza: el fallo habitual

Cuando la calibración se tuerce, casi siempre lo hace en el mismo sentido: la gente peca de exceso de confianza. En grandes estudios, los pronosticadores asignan de forma rutinaria un 90 % a cosas que ocurren más bien el 75 % de las veces, y tratan como «cosas seguras» eventos que fallan más de lo que «seguro» debería permitir. La brecha entre la confianza declarada y la real es la firma del exceso de confianza.

El exceso de confianza es tan constante que aparece en casi todo el mundo antes de cualquier entrenamiento, de directivos a analistas, un patrón documentado con detalle en How to Measure Anything de Douglas W. Hubbard, que trata la calibración como una habilidad que cualquier estimador puede y debería desarrollar.

El exceso de confianza rara vez viaja solo. Va acompañado del anclaje, la confirmación y la tendencia a recordar los aciertos y olvidar los fallos, que se tratan en los sesgos cognitivos en el pronóstico.

Cómo medir tu propia calibración

No puedes arreglar lo que no mides. Medir tu calibración no exige más que un hábito: anotar números y, más tarde, comprobarlos.

1. Registra cada pronóstico con una probabilidad explícita. «Creo que mañana llueve» no es medible; «70 % de probabilidad de que mañana llueva» sí.
2. Espera a que la realidad resuelva cada uno como un sí o un no claro, y anota el resultado junto a tu número original.
3. Cuando tengas suficientes pronósticos (apunta al menos a 30 o 50), ordénalos por tramos de confianza: tus pronósticos al 60 %, al 70 %, y así sucesivamente.
4. Para cada tramo, calcula la proporción que de verdad se cumplió y compárala con la etiqueta del tramo. Tu tramo del 70 % debería caer cerca del 70 %.
5. Traza los tramos frente a la frecuencia de los resultados, o simplemente calcula una puntuación de Brier, y repítelo cada varias decenas de pronósticos para observar la tendencia.

La primera vez que la mayoría hace esto, el patrón es contundente: los tramos de alta confianza rinden por debajo. Ese golpe es justo el objetivo. Ver que tus pronósticos al 90 % solo se cumplen el 78 % de las veces es lo que de verdad te recalibra.

Cómo entrenar la calibración

Lo alentador es que la calibración responde a la práctica. Es una de las pocas habilidades de pronóstico con un bucle de retroalimentación claro y rápido, y una cantidad modesta de entrenamiento deliberado mueve la aguja.

• Practica con retroalimentación: haz muchas estimaciones de probabilidad sobre preguntas que se resuelven rápido, y luego revisa dónde tu confianza superó a la realidad.
• Usa intervalos de confianza para los números: al estimar una cantidad, da un rango del 90 % lo bastante amplio como para sorprenderte solo una vez de cada diez. La mayoría empieza demasiado estrecho.
• Amplía tus extremos: si tus pronósticos al 90 % siguen fallando, tómalo como una señal para decir 80 % hasta que ambos se alineen.
• Lleva la cuenta con una regla adecuada para no engañarte; un número que calculas es más difícil de racionalizar que un recuerdo.

Los programas estructurados muestran hasta dónde puede llegar esto. En la investigación tras el Good Judgment Project, un breve entrenamiento en calibración más práctica regular mejoraron de forma medible a pronosticadores corrientes, y los mejores se convirtieron en los llamados superpronosticadores, prueba de que la calibración se entrena y no es innata.

Lo que separa a ese grupo de cabeza es menos la inteligencia en bruto que hábitos como la calibración y la actualización frecuente, que se desglosan en los superpronosticadores, explicados.

Practica con preguntas reales

La calibración solo mejora cuando tus pronósticos se topan con la realidad, una y otra vez, con la cuenta llevada con honestidad. Eso es difícil de hacer por tu cuenta; necesitas un flujo constante de preguntas que se resuelvan y algo que recuerde tus números por ti.

Clutch convierte ese bucle en un juego: predices noticias y deportes reales con Credits dentro de la app, cada pronóstico se resuelve, y la app lleva la cuenta a lo largo del tiempo para que veas mejorar tu calibración. Descarga la app y empieza a construir un historial.