A calibração de previsões explicada

A calibração de previsões é o acordo entre a sua confiança e a realidade: você está bem calibrado quando as coisas a que dá 70 % de chance acontecem cerca de 70 % das vezes, as que dá 90 % cerca de 90 % das vezes, e assim por diante ao longo de muitas previsões.

A calibração é o que separa um previsor em cujos números você pode confiar de outro que só parece confiante. Não se trata de acertar em uma previsão isolada. Trata-se de as suas probabilidades significarem o que dizem, para que um 30 % seu seja de fato mais raro do que um 60 %. Uma vez calibrado, as suas porcentagens viram uma moeda com que os outros podem contar.

O que a calibração realmente significa

Suponha que você faça cem previsões e que, em cada uma, declare uma probabilidade. Pegue todas as previsões em que você disse «70 %». Se você está calibrado, cerca de 70 % desse grupo se realizaram. Faça o mesmo com as suas previsões de 30 %: cerca de 30 % delas deveriam ter acontecido. A calibração é essa promessa cumprida, faixa a faixa, não em uma previsão, mas ao longo de muitas.

É por isso que a calibração só se julga sobre um histórico, nunca sobre uma previsão isolada. Se você diz que um evento é provável a 80 % e ele não acontece, você não estava necessariamente errado; 80 % deixa espaço para o outro caso em cada cinco. Só quando você alinha todas as suas previsões de 80 % e conta quantas se realizaram é que alguém pode dizer se o seu 80 % vale mesmo 80 %.

A curva de calibração

A forma padrão de enxergar a calibração é um gráfico. Coloque a sua confiança declarada no eixo horizontal, de 0 % a 100 %. Coloque a frequência real desses eventos no eixo vertical. Agrupe as suas previsões em faixas (todas as de 10 %, todas as de 20 %, e assim por diante) e marque um ponto por faixa.

Um previsor perfeitamente calibrado fica sobre a diagonal de 45 graus: cada faixa cai onde a confiança se iguala à frequência dos resultados. Um ponto abaixo da linha significa que ali você foi confiante demais (você reivindicou mais certeza do que a realidade entregou). Um ponto acima da linha significa que faltou confiança. É o formato da curva, e não um ponto isolado, que conta a história do seu julgamento.

A curva é a imagem; um único número de resumo costuma ser mais prático para acompanhar o progresso. O mais comum combina calibração e precisão em uma só pontuação, explicada em a pontuação de Brier, explicada.

Calibração não é a mesma coisa que precisão

Essa é a distinção que mais passa despercebida. A precisão pergunta: com que frequência você ficou do lado certo dos 50 %? A calibração pergunta: os seus níveis de confiança batiam com a realidade? As duas podem se separar nos dois sentidos.

• Um previsor cauteloso que diz «55 % sim» para tudo pode estar perfeitamente calibrado (55 % desses casos acontecem) e ser quase inútil, porque as previsões mal saem do cara ou coroa.
• Um previsor ousado que acerta 80 % das vezes mas diz sempre «99 %» é preciso, mas mal calibrado, porque a confiança está inflada.
• O ideal são as duas coisas: confiante quando a evidência justifica, humilde quando não, com as porcentagens acompanhando a verdade nos dois casos.

As boas regras de pontuação capturam as duas metades. É por isso que a pontuação de Brier recompensa você não só por acertar, mas por acertar com a quantidade certa de confiança. Um ótimo previsor é calibrado e decidido, empurrando as probabilidades para 0 e 100 apenas tão rápido quanto a evidência permite.

Excesso de confiança: a falha de sempre

Quando a calibração dá errado, quase sempre é no mesmo sentido: as pessoas pecam por excesso de confiança. Em grandes estudos, os previsores rotineiramente atribuem 90 % a coisas que acontecem mais para 75 % das vezes, e tratam como «certezas» eventos que falham mais do que «certo» deveria permitir. A diferença entre a confiança declarada e a real é a assinatura do excesso de confiança.

O excesso de confiança é tão constante que aparece em quase todo mundo antes de qualquer treino, de executivos a analistas, um padrão documentado em detalhe em How to Measure Anything de Douglas W. Hubbard, que trata a calibração como uma habilidade que qualquer estimador pode e deve desenvolver.

O excesso de confiança raramente viaja sozinho. Ele vem junto com a ancoragem, a confirmação e a tendência de lembrar dos acertos e esquecer dos erros, abordados em os vieses cognitivos na previsão.

Como medir a sua própria calibração

Você não pode consertar o que não acompanha. Medir a sua calibração não exige mais do que um hábito: anotar números e, depois, conferi-los.

1. Registre cada previsão com uma probabilidade explícita. «Acho que amanhã vai chover» não é mensurável; «70 % de chance de chover amanhã» é.
2. Espere a realidade resolver cada uma como um sim ou um não claro, e anote o resultado ao lado do seu número original.
3. Quando você tiver previsões suficientes (mire em pelo menos 30 a 50), separe-as por faixas de confiança: as suas previsões de 60 %, de 70 %, e assim por diante.
4. Para cada faixa, calcule a parcela que de fato se realizou e compare com o rótulo da faixa. A sua faixa de 70 % deveria cair perto de 70 %.
5. Marque as faixas contra a frequência dos resultados, ou simplesmente calcule uma pontuação de Brier, e repita a cada poucas dezenas de previsões para acompanhar a tendência.

Na primeira vez que a maioria faz isso, o padrão é gritante: as faixas de alta confiança ficam abaixo. Essa fisgada é justamente o ponto. Ver as suas previsões de 90 % se realizarem só 78 % das vezes é o que de fato recalibra você.

Como treinar a calibração

O animador é que a calibração responde à prática. É uma das poucas habilidades de previsão com um ciclo de feedback claro e rápido, e uma dose modesta de treino deliberado já move o ponteiro.

• Pratique com feedback: faça muitas estimativas de probabilidade sobre perguntas que se resolvem rápido e depois revise onde a sua confiança passou da realidade.
• Use intervalos de confiança para números: ao estimar uma quantidade, dê uma faixa de 90 % larga o bastante para você se surpreender só uma vez em cada dez. A maioria começa estreita demais.
• Alargue os seus extremos: se as suas previsões de 90 % continuam falhando, encare isso como um sinal para dizer 80 % até que os dois se alinhem.
• Mantenha o placar com uma regra adequada para não se enganar; um número que você calcula é mais difícil de racionalizar do que uma lembrança.

Os programas estruturados mostram até onde isso pode ir. Na pesquisa por trás do Good Judgment Project, um treino curto de calibração somado a prática regular melhoraram de forma mensurável previsores comuns, e os melhores viraram os chamados superprevisores, prova de que a calibração se treina e não é inata.

O que separa esse pelotão de frente tem menos a ver com inteligência bruta do que com hábitos como a calibração e a atualização frequente, destrinchados em os superprevisores, explicados.

Pratique com perguntas reais

A calibração só melhora quando as suas previsões encontram a realidade, de novo e de novo, com o placar mantido com honestidade. Isso é difícil de fazer sozinho; você precisa de um fluxo constante de perguntas que se resolvem e de algo que guarde os seus números para você.

A Clutch transforma esse ciclo em um jogo: você prevê notícias e esportes reais com Credits dentro do app, cada previsão se resolve, e o app mantém o placar ao longo do tempo para que você veja a sua calibração melhorar. Baixe o app e comece a construir um histórico.