A pontuação de Brier, explicada

A pontuação de Brier é a forma padrão de avaliar uma previsão probabilística: ela pega a probabilidade que você atribuiu a um resultado, compara com o que realmente aconteceu, eleva a diferença ao quadrado e tira a média disso em todas as suas previsões. Quanto mais baixa, melhor, e ela recompensa ser ao mesmo tempo preciso e honesto sobre a sua confiança.

Dizer que um evento é «provável» não dá para avaliar. Dizer que é «provável em 70 %» dá. Assim que uma previsão vira um número, você pode confrontá-la com a realidade e dar uma nota a ela. A pontuação de Brier é a forma mais usada de fazer exatamente isso, e é o que transforma um monte de previsões em um histórico.

De onde vem a pontuação

A pontuação foi introduzida em 1950 pelo meteorologista Glenn W. Brier, em um breve artigo sobre como avaliar as previsões do tempo expressas em probabilidades. O problema dele era prático: um previsor que diz «70 % de chance de chuva» não deve ser julgado por um único dia, mas por como esses números se sustentam ao longo de uma longa série de dias. Você pode ler o artigo original Verification of Forecasts Expressed in Terms of Probability publicado na Monthly Weather Review. A mesma ideia hoje avalia previsores muito além do clima, de eleições a esportes e mercados.

A fórmula em palavras simples

Para uma única previsão de sim ou não, codifique o resultado como 1 se o evento aconteceu e 0 se não aconteceu. Pegue a probabilidade que você deu (um número entre 0 e 1), subtraia o resultado e eleve o resultado ao quadrado. Essa diferença ao quadrado é a pontuação dessa previsão única.

A sua pontuação de Brier geral nada mais é do que a média dessas diferenças ao quadrado em todas as suas previsões. É só isso: a média das diferenças ao quadrado entre a probabilidade que você deu e o resultado codificado 1 ou 0. Nada mais exótico do que uma média de quadrados.

Se você quer a notação exata e as variantes padrão para perguntas com mais de dois resultados, a apresentação da pontuação de Brier expõe todas elas. Para a previsão do dia a dia, a versão de dois resultados acima é tudo o que você precisa.

Um exemplo resolvido

Suponha que você faça duas previsões. Primeiro, você diz que há 90 % de chance de o seu time ganhar hoje à noite, e ele ganha. Segundo, você diz que há 30 % de chance de chover amanhã, e de fato chove.

1. Previsão um: você deu 0,9, o resultado foi 1 (eles ganharam). A diferença é 0,9 menos 1, ou seja menos 0,1. Ao quadrado, isso dá 0,01. Uma penalização pequena, porque você estava confiante e acertou.
2. Previsão dois: você deu 0,3, o resultado foi 1 (choveu). A diferença é 0,3 menos 1, ou seja menos 0,7. Ao quadrado, isso dá 0,49. Uma penalização grande, porque você pendeu para o lado errado.
3. Tire a média das duas: (0,01 mais 0,49) dividido por 2 é igual a 0,25. Essa é a sua pontuação de Brier nessas duas previsões.

Repare como um único erro feito com confiança domina. O prognóstico certo e confiante quase não teve penalização, enquanto a única inclinação errada custou sozinha quase meio ponto. Essa assimetria está no coração de como a pontuação se comporta.

Ler o intervalo de 0 a 1

Por ser uma média de diferenças ao quadrado, a pontuação de Brier fica sempre entre 0 e 1. Os dois extremos são fáceis de imaginar.

• 0 é perfeito: toda vez que você disse 100 % aconteceu, e toda vez que você disse 0 % não aconteceu. Você estava certo e sempre correto.
• 1 é o pior possível: toda vez que você disse 100 % não aconteceu, e toda vez que você disse 0 % aconteceu. Confiante e errado em cada tentativa.
• 0,25 é a linha de base «sem informação»: é o que você obtém dizendo sempre 50 %. Superar 0,25 significa que você está agregando sinal real; pontuar pior significa que a sua confiança está te prejudicando ativamente.

Então o número a bater não é 0, inatingível para eventos genuinamente incertos. O número a bater é 0,25. Um previsor habilidoso em perguntas difíceis pode ficar em torno de 0,15 em decimal, e isso já é muito bom.

Por que ela pune o excesso de confiança

É o elevar ao quadrado que faz o trabalho importante. Uma diferença de 0,2 custa 0,04, mas uma de 0,4 custa 0,16, quatro vezes mais por apenas o dobro do erro. Os erros grandes são penalizados muito mais do que proporcionalmente, então um único deslize confiante demais pode arruinar uma pontuação que de resto seria boa.

Isso é proposital. Empurra você para a humildade nas perguntas que você não consegue realmente decidir. Dizer 95 % quando deveria ter dito 70 % quase não ajuda quando você acerta e faz muito mal quando você erra. Ao longo de muitas previsões, quem declara probabilidades honestas e moderadas supera quem se gaba até os extremos e de vez em quando se queima.

Uma regra de pontuação própria

A pontuação de Brier é uma regra de pontuação «própria», e essa palavra carrega uma garantia forte. Uma regra de pontuação é própria quando a sua pontuação esperada é a melhor justamente quando você declara a sua verdadeira probabilidade. Não existe nenhum número esperto que você possa declarar no lugar da sua convicção real que melhore a sua pontuação no longo prazo.

Isso importa porque faz da honestidade a estratégia ótima, não apenas a virtuosa. Se você acha em particular que um evento é provável em 60 %, então declarar 60 % minimiza a sua pontuação de Brier esperada. Inflá-lo para 80 % para parecer ousado, ou baixá-lo para 50 % para parecer seguro, ambos pioram a sua pontuação esperada. A regra é construída para que a única forma de ganhar seja dizer a verdade sobre a sua incerteza.

Calibração e resolução

A pontuação de Brier pode ser dividida em dois componentes que medem habilidades diferentes. A calibração pergunta se as suas probabilidades significam o que dizem: de todas as vezes que você disse 70 %, cerca de 70 % aconteceram? A resolução pergunta se você separa os eventos: você puxa para 90 % e 10 % quando pode, em vez de se proteger perto de 50 % em tudo?

Um bom previsor precisa das duas. Uma calibração perfeita sem resolução é apenas chutar sempre a taxa base, o que é seguro mas pouco informativo. Uma forte resolução com má calibração é ousada mas pouco confiável. A pontuação de Brier recompensa a combinação: previsões confiantes e bem separadas que também se revelam verdadeiras na proporção que você declarou.

Vale a pena entender a calibração por si só, porque é a metade mais intuitiva da pontuação. Veja a calibração de previsões explicada para saber ler uma curva de calibração e identificar os seus próprios vieses.

Como as plataformas a usam

As plataformas de previsão e os mercados de previsão se apoiam em uma pontuação no estilo Brier para classificar as pessoas de forma justa. Por ser própria, elas podem confiar que um ranking construído sobre ela recompensa a habilidade genuína e não os lances imprudentes. Por acumular ao longo de muitas previsões, um acerto de sorte não consegue fingir um bom histórico, e um erro de azar não consegue afundar um previsor de verdade.

É também assim que a pesquisa identifica os melhores previsores do mundo. Quem registra de forma consistente pontuações de Brier baixas ao longo de centenas de perguntas são aqueles que os estudos chamam de superprevisores, e a vantagem deles aparece como uma diferença de pontuação, não como uma única previsão espetacular.

A lição prática é simples: se você quer melhorar, mantenha o placar. Registre as suas probabilidades, confronte-as com a realidade e observe o número se mover. Nada afia o julgamento mais rápido do que ser avaliado com honestidade, de novo e de novo.

A Clutch faz a contabilidade por você. Preveja notícias e esportes reais com créditos dentro do app, e o app mantém uma pontuação contínua do seu nível de calibração, para que você possa vê-la melhorar. Baixe o app e comece a construir um histórico.