La puntuación de Brier, explicada

La puntuación de Brier es la forma estándar de calificar una predicción probabilística: toma la probabilidad que asignaste a un resultado, la compara con lo que de verdad ocurrió, eleva la diferencia al cuadrado y la promedia entre todas tus predicciones. Cuanto más baja, mejor, y recompensa ser a la vez preciso y honesto sobre tu confianza.

Decir que un evento es «probable» no se puede calificar. Decir que es «probable al 70 %» sí. En cuanto una predicción es un número, puedes contrastarla con la realidad y ponerle una nota. La puntuación de Brier es la forma más usada de hacer exactamente eso, y es lo que convierte un montón de predicciones en un historial.

De dónde viene la puntuación

La puntuación la introdujo en 1950 el meteorólogo Glenn W. Brier, en un breve artículo sobre cómo calificar las predicciones del tiempo expresadas como probabilidades. Su problema era práctico: a un pronosticador que dice «70 % de probabilidad de lluvia» no hay que juzgarlo por un solo día, sino por cómo se sostienen esos números a lo largo de una larga serie de días. Puedes leer el artículo original Verification of Forecasts Expressed in Terms of Probability publicado en Monthly Weather Review. La misma idea hoy califica a pronosticadores mucho más allá del clima, desde elecciones hasta deportes y mercados.

La fórmula en palabras sencillas

Para una sola predicción de sí o no, codifica el resultado como 1 si el evento ocurrió y 0 si no. Toma la probabilidad que diste (un número entre 0 y 1), resta el resultado y eleva el resultado al cuadrado. Esa diferencia al cuadrado es la puntuación de esa predicción única.

Tu puntuación de Brier global no es más que la media de esas diferencias al cuadrado entre todas tus predicciones. Eso es todo: la media de las diferencias al cuadrado entre la probabilidad que diste y el resultado codificado 1 o 0. Nada más exótico que un promedio de cuadrados.

Si quieres la notación exacta y las variantes estándar para preguntas con más de dos resultados, la descripción de la puntuación de Brier las expone. Para el pronóstico del día a día, la versión de dos resultados de arriba es todo lo que necesitas.

Un ejemplo resuelto

Supón que haces dos predicciones. Primero dices que hay un 90 % de probabilidad de que tu equipo gane esta noche, y gana. Segundo, dices que hay un 30 % de probabilidad de que llueva mañana, y de hecho llueve.

1. Predicción uno: diste 0,9, el resultado fue 1 (ganaron). La diferencia es 0,9 menos 1, es decir menos 0,1. Al cuadrado, eso es 0,01. Una penalización pequeña, porque estabas seguro y acertaste.
2. Predicción dos: diste 0,3, el resultado fue 1 (llovió). La diferencia es 0,3 menos 1, es decir menos 0,7. Al cuadrado, eso es 0,49. Una penalización grande, porque te inclinaste hacia el lado equivocado.
3. Promedia las dos: (0,01 más 0,49) dividido entre 2 es igual a 0,25. Esa es tu puntuación de Brier en estas dos predicciones.

Fíjate en cómo domina un solo fallo hecho con confianza. El pronóstico correcto y seguro casi no supuso penalización, mientras que la única inclinación errónea costó por sí sola casi medio punto. Esa asimetría es el corazón de cómo se comporta la puntuación.

Leer el rango de 0 a 1

Como es una media de diferencias al cuadrado, la puntuación de Brier siempre queda entre 0 y 1. Ambos extremos son fáciles de imaginar.

• 0 es perfecto: cada vez que dijiste 100 % ocurrió, y cada vez que dijiste 0 % no ocurrió. Estabas seguro y siempre en lo cierto.
• 1 es lo peor posible: cada vez que dijiste 100 % no ocurrió, y cada vez que dijiste 0 % ocurrió. Seguro y equivocado en cada intento.
• 0,25 es la línea base «sin información»: es lo que obtienes diciendo siempre 50 %. Superar 0,25 significa que aportas señal real; puntuar peor significa que tu confianza te perjudica de forma activa.

Así que el número a batir no es 0, inalcanzable para eventos de verdad inciertos. El número a batir es 0,25. Un pronosticador hábil en preguntas difíciles puede quedar alrededor de 0,15 en decimal, y eso ya es muy bueno.

Por qué castiga el exceso de confianza

El elevar al cuadrado hace el trabajo importante. Una diferencia de 0,2 cuesta 0,04, pero una de 0,4 cuesta 0,16, cuatro veces más por solo el doble de error. Los grandes fallos se penalizan mucho más que proporcionalmente, así que un solo desliz demasiado confiado puede arruinar una puntuación por lo demás buena.

Es deliberado. Te empuja hacia la humildad en preguntas que no puedes decidir de verdad. Decir 95 % cuando debiste decir 70 % apenas ayuda cuando aciertas y hace mucho daño cuando fallas. A lo largo de muchas predicciones, quien declara probabilidades honestas y moderadas supera a quien fanfarronea hacia los extremos y de vez en cuando se quema.

Una regla de puntuación propia

La puntuación de Brier es una regla de puntuación «propia», y esa palabra conlleva una garantía fuerte. Una regla de puntuación es propia cuando tu puntuación esperada es la mejor precisamente cuando declaras tu verdadera probabilidad. No hay ningún número ingenioso que puedas declarar en lugar de tu creencia real que mejore tu puntuación a la larga.

Esto importa porque hace de la honestidad la estrategia óptima, no solo la virtuosa. Si en privado crees que un evento es probable al 60 %, entonces declarar 60 % minimiza tu puntuación de Brier esperada. Inflarlo al 80 % para parecer audaz, o bajarlo al 50 % para parecer prudente, empeoran ambos tu puntuación esperada. La regla está construida para que la única forma de ganar sea decir la verdad sobre tu incertidumbre.

Calibración y resolución

La puntuación de Brier se puede descomponer en dos componentes que miden habilidades distintas. La calibración pregunta si tus probabilidades significan lo que dicen: de todas las veces que dijiste 70 %, ¿ocurrió cerca del 70 %? La resolución pregunta si separas los eventos: ¿empujas hacia 90 % y 10 % cuando puedes, en vez de cubrirte cerca de 50 % en todo?

Un buen pronosticador necesita ambas. Una calibración perfecta sin resolución no es más que adivinar siempre la tasa base, algo seguro pero poco informativo. Una fuerte resolución con mala calibración es audaz pero poco fiable. La puntuación de Brier recompensa la combinación: predicciones seguras y bien separadas que además resultan ciertas en la proporción que declaraste.

Vale la pena entender la calibración por sí sola, porque es la mitad más intuitiva de la puntuación. Consulta la calibración de pronósticos explicada para saber leer una curva de calibración y detectar tus propios sesgos.

Cómo la usan las plataformas

Las plataformas de pronóstico y los mercados de predicción se apoyan en una puntuación al estilo Brier para clasificar a la gente de forma justa. Como es propia, pueden confiar en que una clasificación construida sobre ella recompensa la habilidad genuina y no los golpes temerarios. Como se acumula a lo largo de muchas predicciones, un acierto con suerte no puede fingir un buen historial, y un fallo con mala suerte no puede hundir a un pronosticador real.

Así es también como la investigación identifica a los mejores pronosticadores del mundo. Quienes registran de forma constante puntuaciones de Brier bajas a lo largo de cientos de preguntas son los que los estudios llaman superpronosticadores, y su ventaja se ve como una diferencia de puntuación, no como una única predicción espectacular.

La lección práctica es simple: si quieres mejorar, lleva la cuenta. Registra tus probabilidades, contrástalas con la realidad y observa cómo se mueve el número. Nada afina el juicio más rápido que ser calificado con honestidad, una y otra vez.

Clutch lleva la contabilidad por ti. Predice noticias y deportes reales con créditos dentro de la app, y la app mantiene una puntuación continua de lo bien calibrado que estás, para que la veas mejorar. Descarga la app y empieza a construir un historial.