A calibração de previsões explicada

A calibração de previsões é o acordo entre a sua confiança e a realidade: está bem calibrado quando as coisas a que atribui 70 % de probabilidade acontecem cerca de 70 % das vezes, aquelas a que atribui 90 % cerca de 90 % das vezes, e assim sucessivamente ao longo de muitas previsões.

A calibração é o que distingue um previsor em cujos números se pode confiar de outro que apenas parece seguro. Não se trata de acertar numa previsão isolada. Trata-se de as suas probabilidades quererem dizer o que anunciam, para que um 30 % da sua parte seja realmente mais raro do que um 60 %. Uma vez calibrado, as suas percentagens tornam-se uma moeda com que os outros podem contar.

O que significa realmente a calibração

Suponha que faz cem previsões e que, em cada uma, anuncia uma probabilidade. Pegue em todas as previsões em que disse «70 %». Se estiver calibrado, cerca de 70 % desse grupo concretizaram-se. Faça o mesmo com as suas previsões a 30 %: cerca de 30 % delas deveriam ter acontecido. A calibração é essa promessa cumprida, faixa a faixa, não numa previsão mas ao longo de muitas.

É por isso que a calibração só se julga sobre um historial, nunca sobre uma previsão isolada. Se disser que um evento é provável a 80 % e ele não acontecer, não estava necessariamente errado; 80 % deixa espaço para o outro caso em cada cinco. Só quando alinha todas as suas previsões a 80 % e conta quantas se concretizaram é que alguém pode dizer se o seu 80 % vale mesmo 80 %.

A curva de calibração

A forma habitual de ver a calibração é um gráfico. Coloque a sua confiança declarada no eixo horizontal, de 0 % a 100 %. Coloque a frequência real desses eventos no eixo vertical. Agrupe as suas previsões em faixas (todas as de 10 %, todas as de 20 %, e assim sucessivamente) e trace um ponto por faixa.

Um previsor perfeitamente calibrado situa-se sobre a diagonal de 45 graus: cada faixa cai onde a confiança iguala a frequência dos resultados. Um ponto abaixo da linha significa que aí esteve demasiado confiante (reivindicou mais certeza do que a realidade ofereceu). Um ponto acima da linha significa que lhe faltou confiança. É a forma da curva, e não um ponto isolado, que conta a história do seu juízo.

A curva é a imagem; um único número de resumo é muitas vezes mais prático para acompanhar o progresso. O mais comum combina calibração e exatidão numa só pontuação, explicada em a pontuação de Brier, explicada.

A calibração não é o mesmo que a exatidão

Esta é a distinção que mais escapa. A exatidão pergunta: com que frequência esteve do lado certo dos 50 %? A calibração pergunta: os seus níveis de confiança correspondiam à realidade? As duas podem separar-se nos dois sentidos.

• Um previsor prudente que diz «55 % sim» a tudo pode estar perfeitamente calibrado (55 % desses casos acontecem) e ser quase inútil, porque as previsões mal se afastam do cara ou coroa.
• Um previsor audaz que acerta 80 % das vezes mas diz sempre «99 %» é exato mas está mal calibrado, porque a confiança está inflacionada.
• O ideal são as duas coisas: confiante quando as provas o justificam, humilde quando não, com as percentagens a seguir a verdade em ambos os casos.

As boas regras de pontuação captam as duas metades. É por isso que a pontuação de Brier o recompensa não só por acertar, mas por acertar com a dose certa de confiança. Um excelente previsor está calibrado e é decidido, empurrando as probabilidades para 0 e 100 apenas tão depressa quanto as provas permitem.

O excesso de confiança: a falha habitual

Quando a calibração se estraga, é quase sempre no mesmo sentido: as pessoas pecam por excesso de confiança. Em grandes estudos, os previsores atribuem rotineiramente 90 % a coisas que acontecem antes 75 % das vezes, e tratam como «certezas» eventos que falham mais do que «certo» deveria permitir. O desvio entre a confiança declarada e a real é a assinatura do excesso de confiança.

O excesso de confiança é tão constante que aparece em quase toda a gente antes de qualquer treino, de dirigentes a analistas, um padrão documentado ao pormenor em How to Measure Anything de Douglas W. Hubbard, que trata a calibração como uma competência que qualquer estimador pode e deve desenvolver.

O excesso de confiança raramente viaja sozinho. Vem acompanhado da ancoragem, da confirmação e da tendência para recordar os acertos e esquecer as falhas, abordados em os vieses cognitivos na previsão.

Como medir a sua própria calibração

Não se pode corrigir aquilo que não se acompanha. Medir a sua calibração não exige mais do que um hábito: anotar números e, mais tarde, verificá-los.

1. Registe cada previsão com uma probabilidade explícita. «Acho que amanhã chove» não é mensurável; «70 % de probabilidade de chover amanhã» é.
2. Espere que a realidade resolva cada uma com um sim ou um não claro, e anote o resultado ao lado do seu número original.
3. Quando tiver previsões suficientes (aponte para pelo menos 30 a 50), ordene-as por faixas de confiança: as suas previsões a 60 %, a 70 %, e assim sucessivamente.
4. Para cada faixa, calcule a fração que realmente se concretizou e compare-a com a etiqueta da faixa. A sua faixa de 70 % deveria cair perto dos 70 %.
5. Trace as faixas contra a frequência dos resultados, ou calcule simplesmente uma pontuação de Brier, e repita a cada poucas dezenas de previsões para observar a tendência.

Da primeira vez que a maioria faz isto, o padrão é gritante: as faixas de alta confiança ficam aquém. Essa picada é precisamente o objetivo. Ver as suas previsões a 90 % concretizarem-se apenas 78 % das vezes é o que realmente o recalibra.

Como treinar a calibração

O que é animador é que a calibração responde à prática. É uma das poucas competências de previsão com um ciclo de retorno claro e rápido, e uma quantidade modesta de treino deliberado faz mexer o ponteiro.

• Treine com retorno: faça muitas estimativas de probabilidade sobre questões que se resolvem depressa e depois reveja os pontos em que a sua confiança ultrapassou a realidade.
• Use intervalos de confiança para os números: ao estimar uma quantidade, dê um intervalo de 90 % suficientemente largo para se surpreender apenas uma vez em cada dez. A maioria começa demasiado estreita.
• Alargue os seus extremos: se as suas previsões a 90 % continuam a falhar, tome isso como um sinal para dizer 80 % até que os dois se alinhem.
• Mantenha o registo com uma regra adequada para não se enganar; um número que se calcula é mais difícil de racionalizar do que uma memória.

Os programas estruturados mostram até onde isto pode ir. Na investigação por detrás do Good Judgment Project, um curto treino de calibração mais prática regular melhoraram de forma mensurável previsores comuns, e os melhores tornaram-se os chamados superprevisores, prova de que a calibração se treina e não é inata.

O que separa esse pelotão da frente tem menos que ver com inteligência em bruto do que com hábitos como a calibração e a atualização frequente, detalhados em os superprevisores, explicados.

Pratique com questões reais

A calibração só melhora quando as suas previsões encontram a realidade, uma e outra vez, com a pontuação mantida com honestidade. Isso é difícil de fazer sozinho; precisa de um fluxo constante de questões que se resolvem e de algo que guarde os seus números por si.

A Clutch transforma esse ciclo num jogo: prevê notícias e desporto reais com Credits dentro da aplicação, cada previsão resolve-se, e a aplicação mantém a pontuação ao longo do tempo para que possa ver a sua calibração a melhorar. Obtenha a aplicação e comece a construir um historial.