A pontuação de Brier, explicada

A pontuação de Brier é a forma padrão de classificar uma previsão probabilística: pega na probabilidade que atribuiu a um resultado, compara-a com o que realmente aconteceu, eleva a diferença ao quadrado e faz a média disso em todas as suas previsões. Quanto mais baixa, melhor, e recompensa ser ao mesmo tempo preciso e honesto quanto à sua confiança.

Dizer que um evento é «provável» não é classificável. Dizer que é «provável a 70 %» é. Assim que uma previsão passa a ser um número, pode confrontá-la com a realidade e atribuir-lhe uma nota. A pontuação de Brier é a forma mais usada de fazer exatamente isso, e é o que transforma um monte de previsões num historial.

De onde vem a pontuação

A pontuação foi introduzida em 1950 pelo meteorologista Glenn W. Brier, num breve artigo sobre como classificar as previsões meteorológicas expressas em probabilidades. O seu problema era prático: um previsor que diz «70 % de probabilidade de chuva» não deve ser julgado por um único dia, mas por como esses números se aguentam ao longo de uma longa série de dias. Pode ler o artigo original Verification of Forecasts Expressed in Terms of Probability publicado na Monthly Weather Review. A mesma ideia classifica hoje previsores muito para além da meteorologia, das eleições ao desporto e aos mercados.

A fórmula em palavras simples

Para uma única previsão de sim ou não, codifique o resultado como 1 se o evento aconteceu e 0 se não aconteceu. Pegue na probabilidade que deu (um número entre 0 e 1), subtraia o resultado e eleve o resultado ao quadrado. Essa diferença ao quadrado é a pontuação dessa previsão única.

A sua pontuação de Brier global não é mais do que a média dessas diferenças ao quadrado em todas as suas previsões. É só isto: a média das diferenças ao quadrado entre a probabilidade que deu e o resultado codificado 1 ou 0. Nada mais exótico do que uma média de quadrados.

Se quiser a notação exata e as variantes padrão para perguntas com mais de dois resultados, a apresentação da pontuação de Brier expõe-nas. Para a previsão do dia a dia, a versão de dois resultados acima é tudo o que precisa.

Um exemplo resolvido

Suponha que faz duas previsões. Primeiro, diz que há 90 % de probabilidade de a sua equipa ganhar esta noite, e ela ganha. Segundo, diz que há 30 % de probabilidade de chover amanhã, e de facto chove.

1. Previsão um: deu 0,9, o resultado foi 1 (ganharam). A diferença é 0,9 menos 1, ou seja menos 0,1. Ao quadrado, isso dá 0,01. Uma penalização pequena, porque estava confiante e acertou.
2. Previsão dois: deu 0,3, o resultado foi 1 (choveu). A diferença é 0,3 menos 1, ou seja menos 0,7. Ao quadrado, isso dá 0,49. Uma penalização grande, porque se inclinou para o lado errado.
3. Faça a média das duas: (0,01 mais 0,49) dividido por 2 é igual a 0,25. Essa é a sua pontuação de Brier nestas duas previsões.

Repare como um único erro confiante domina. O prognóstico certo e confiante quase não teve penalização, ao passo que a única inclinação errada custou por si só quase meio ponto. Essa assimetria está no cerne do comportamento da pontuação.

Ler o intervalo de 0 a 1

Por ser uma média de diferenças ao quadrado, a pontuação de Brier fica sempre entre 0 e 1. Ambos os extremos são fáceis de imaginar.

• 0 é perfeito: sempre que disse 100 % aconteceu, e sempre que disse 0 % não aconteceu. Estava certo e sempre correto.
• 1 é o pior possível: sempre que disse 100 % não aconteceu, e sempre que disse 0 % aconteceu. Confiante e errado em cada tentativa.
• 0,25 é a referência «sem informação»: é o que se obtém dizendo sempre 50 %. Superar 0,25 significa que está a acrescentar sinal real; pontuar pior significa que a sua confiança o prejudica ativamente.

Portanto, o número a bater não é 0, inatingível para eventos genuinamente incertos. O número a bater é 0,25. Um previsor experiente em perguntas difíceis pode ficar por volta de 0,15 em decimal, e isso já é muito bom.

Porque é que penaliza o excesso de confiança

É o elevar ao quadrado que faz o trabalho importante. Uma diferença de 0,2 custa 0,04, mas uma de 0,4 custa 0,16, quatro vezes mais por apenas o dobro do erro. Os grandes erros são penalizados muito mais do que proporcionalmente, pelo que uma única gafe demasiado confiante pode arruinar uma pontuação que de resto seria boa.

É propositado. Empurra-o para a humildade nas perguntas que não consegue realmente decidir. Dizer 95 % quando devia ter dito 70 % pouco ajuda quando acerta e faz muito mal quando erra. Ao longo de muitas previsões, quem declara probabilidades honestas e moderadas supera quem se gaba até aos extremos e de vez em quando se queima.

Uma regra de pontuação própria

A pontuação de Brier é uma regra de pontuação «própria», e essa palavra traz uma garantia forte. Uma regra de pontuação é própria quando a sua pontuação esperada é a melhor precisamente quando declara a sua verdadeira probabilidade. Não existe nenhum número engenhoso que possa declarar em vez da sua convicção real que melhore a sua pontuação a longo prazo.

Isto importa porque faz da honestidade a estratégia ótima, não apenas a virtuosa. Se em privado acha que um evento é provável a 60 %, então declarar 60 % minimiza a sua pontuação de Brier esperada. Inflacioná-lo para 80 % para parecer audaz, ou baixá-lo para 50 % para parecer prudente, ambos pioram a sua pontuação esperada. A regra é construída para que a única forma de ganhar seja dizer a verdade sobre a sua incerteza.

Calibração e resolução

A pontuação de Brier pode dividir-se em duas componentes que medem competências diferentes. A calibração pergunta se as suas probabilidades querem dizer o que anunciam: de todas as vezes que disse 70 %, aconteceram cerca de 70 %? A resolução pergunta se separa os eventos: empurra para 90 % e 10 % quando pode, em vez de ficar perto de 50 % em tudo?

Um bom previsor precisa de ambas. Uma calibração perfeita sem resolução é apenas adivinhar sempre a taxa de base, o que é seguro mas pouco informativo. Uma forte resolução com má calibração é audaz mas pouco fiável. A pontuação de Brier recompensa a combinação: previsões confiantes e bem separadas que também se revelam verdadeiras na proporção que declarou.

Vale a pena compreender a calibração por si só, porque é a metade mais intuitiva da pontuação. Veja a calibração das previsões explicada para saber ler uma curva de calibração e detetar os seus próprios enviesamentos.

Como as plataformas a usam

As plataformas de previsão e os mercados de previsão apoiam-se numa pontuação ao estilo de Brier para classificar as pessoas de forma justa. Por ser própria, podem confiar que uma classificação construída sobre ela recompensa a competência genuína e não os lances temerários. Por se acumular ao longo de muitas previsões, um acerto com sorte não pode fingir um bom historial, e um erro com azar não pode afundar um verdadeiro previsor.

É também assim que a investigação identifica os melhores previsores do mundo. Quem regista de forma consistente pontuações de Brier baixas ao longo de centenas de perguntas são aqueles a que os estudos chamam superprevisores, e a sua vantagem lê-se como uma diferença de pontuação, não como uma única previsão espetacular.

A lição prática é simples: se quer melhorar, faça a contagem. Registe as suas probabilidades, confronte-as com a realidade e observe o número mexer-se. Nada afia o discernimento mais depressa do que ser classificado com honestidade, vezes sem conta.

A Clutch faz a contabilidade por si. Preveja notícias e desporto reais com créditos dentro da aplicação, e a aplicação mantém uma pontuação contínua do seu nível de calibração, para que a possa ver melhorar. Obtenha a aplicação e comece a construir um historial.