Calibração de Modelos Explicada
O que é calibração de modelos? A calibração mede se dá para confiar nos números que um modelo de probabilidade diz: um modelo bem calibrado acerta cerca de 70% dos eventos aos quais atribui 70%, e cerca de 40% daqueles aos quais atribui 40% — sem afirmar mais nem menos do que consegue sustentar. Esta página explica por que a calibração diz mais do que qualquer porcentagem isolada de acerto, como ler o ECE (erro de calibração esperado) e o Brier score, e como a Confiança do Modelo 0-10 do 11Stat é derivada desses dados. Isto é análise de dados de futebol, não recomendação de resultados.
O que significa calibração: 70% é realmente 70%?
Um modelo dizer "70%" não é informação por si só; a pergunta que importa é: quando o modelo disse 70% no passado, com que frequência ele acertou? Se a resposta for cerca de 70%, o modelo está calibrado — seus números falam a mesma língua da realidade. Se a resposta for 55%, o modelo é excessivamente confiante; se for 85%, o modelo é tímido demais.
A calibração é, portanto, uma medida de honestidade: ela separa ser ousado de ser correto. Em um esporte de alta variância como o futebol, isso não pode ser testado em uma única partida; centenas de previsões precisam ser agrupadas em faixas de probabilidade, e cada faixa comparada com a frequência efetivamente observada. Toda a cadeia de probabilidade do 11Stat passa por esse teste; os detalhes estão na página de metodologia.
Por que um único número de acerto engana
"Nosso modelo acerta 68%" soa impressionante e não diz quase nada. Um modelo mecânico que marca o favorito em toda partida pode chegar a um número parecido, acumulando acertos sem produzir informação. Uma porcentagem de acerto ignora tanto a dificuldade de cada previsão quanto a probabilidade que o modelo atribuiu a ela.
A calibração preenche exatamente essas duas lacunas: ela testa separadamente as afirmações de 55% e as de 85% e mostra se a confiança do modelo é merecida em cada nível. Dois modelos podem exibir a mesma taxa de acerto enquanto um é calibrado e o outro é imprudente — e, no longo prazo, apenas os números do modelo calibrado sustentam um raciocínio sólido. Essa mesma distinção é crítica na leitura do ROI simulado.
Como ler um diagrama de confiabilidade e o ECE
Um diagrama de confiabilidade é o raio-X da calibração: as previsões são agrupadas em faixas de probabilidade (50-60%, 60-70%, …) e, para cada faixa, a afirmação média do modelo (eixo x) é plotada contra a frequência observada (eixo y). A calibração perfeita fica sobre a diagonal de 45 graus; pontos abaixo da diagonal revelam excesso de confiança, pontos acima dela revelam cautela excessiva.
O ECE (erro de calibração esperado) comprime esse quadro em um único número: a distância média por faixa, ponderada pela quantidade de previsões que cada faixa contém. Um ECE próximo de 0 diz que os números podem ser lidos ao pé da letra; um ECE crescente diz que a língua do modelo está se afastando da realidade. Como nenhuma métrica basta sozinha, o 11Stat reporta o ECE junto com o Brier score e o tamanho da amostra.
Brier score e log-loss: regras de pontuação próprias
O Brier score eleva ao quadrado a distância entre cada probabilidade declarada e o resultado observado (1 ou 0) e tira a média: quanto mais perto de 0, melhor. Ele recompensa e pune ao mesmo tempo a calibração e a discriminação (nitidez). O log-loss pune com muito mais severidade os erros cometidos com excesso de confiança: um modelo que diz 95% e erra paga caro.
Ambos são "regras de pontuação próprias": a melhor estratégia possível do modelo é declarar honestamente aquilo em que acredita — não há pontos a ganhar inflando ou disfarçando o número. Essa propriedade é o alicerce matemático de uma cultura de calibração: uma probabilidade honesta é, pela própria definição do jogo, a afirmação mais recompensadora. Os termos também estão definidos no glossário.
Como a Confiança do Modelo 0-10 do 11Stat é derivada
A Confiança do Modelo 0-10 exibida em um cartão de análise não é a intuição de um único motor, mas o resumo de uma cadeia calibrada: o grau de concordância entre 12 motores independentes, a probabilidade após a camada de calibração e a confiabilidade histórica do mercado se fundem em uma única escala. Quantos motores apontam na mesma direção (a concordância "N de M modelos") é exibido ao lado dela.
Uma pontuação alta não significa "certeza"; significa "no seu boletim histórico, o modelo é mais consistente nesse tipo de leitura". Mesmo pontuações acima de 7 erram com frequência não desprezível — em um sistema calibrado elas precisam errar, caso contrário os números estariam inflados. Os componentes da pontuação são percorridos na página como funciona.
Como o 11Stat se recalibra
Calibração não é uma tarefa que se conclui uma vez; conforme ligas, temporadas e elencos mudam, a língua de um modelo se desloca. Por isso o 11Stat mantém um repositório de calibração contínuo por liga e por mercado: cada partida encerrada atualiza a curva correspondente e, quando a distância aumenta, os coeficientes de correção são apertados.
Dois mecanismos adicionais de segurança se aplicam: mercados cuja calibração se deteriora são desativados automaticamente, e toda janela histórica — inclusive as ruins — é publicada nos relatórios de métricas simuladas. O objetivo nunca é "parecer correto o tempo todo", mas proteger o sentido dos números: onde está escrito 70%, o longo prazo deve mostrar de fato algo próximo de 70%.
Frequently Asked Questions
Um modelo bem calibrado garante previsões corretas?
Não, não garante. A calibração assegura a honestidade das probabilidades, não os resultados individuais: cerca de 30% dos eventos aos quais o modelo atribui 70% ainda terminam do outro lado — e esse é justamente o sinal de que o sistema funciona. Nenhum modelo estatístico torna certo o resultado de uma partida de futebol.
Uma Confiança do Modelo 10/10 é uma certeza?
Não — isso não existe, e o 11Stat nunca apresenta qualquer saída dessa forma. Uma confiança alta apenas indica que a concordância entre motores e a consistência histórica são altas; em um sistema calibrado, até as pontuações mais altas erram com regularidade. O 11Stat não oferece recomendações de resultado.
Qual é um bom valor de ECE?
Depende do contexto; em um domínio ruidoso como o futebol, valores abaixo de 0,05 costumam ser saudáveis, enquanto qualquer coisa acima de 0,10 merece investigação. O que importa não é um retrato isolado, mas a trajetória do ECE ao longo do tempo e o tamanho da amostra em que ele foi medido.
Um modelo pode acertar muito e ainda assim ser mal calibrado?
Sim, e isso é comum. Um modelo que sempre escolhe o favorito pode acumular uma alta taxa de acerto enquanto infla suas probabilidades para afirmações do tipo 90% — seus números ficam então inutilizáveis como apoio à decisão. O inverso também existe: um modelo com acerto modesto, mas com números confiáveis, é muito mais valioso para análise.
Qual é a diferença entre o Brier score e o ECE?
O ECE mede apenas a calibração — a correspondência entre a probabilidade declarada e a frequência observada. O Brier score captura, além disso, a nitidez: com quanta ousadia, e com quanta justificativa, o modelo se afasta do 50-50. Lidos em conjunto, eles revelam tanto a honestidade do modelo quanto seu poder informativo.
Com que frequência o 11Stat recalibra seus modelos?
Continuamente: cada partida encerrada atualiza as curvas de calibração por liga e por mercado, e mercados cujo desvio cresce são desativados automaticamente. Backtests periódicos reexaminam adicionalmente toda a cadeia de ponta a ponta, e os resultados são reportados incluindo as janelas negativas.