Como ler os gráficos
Comece pela tabela executiva
Seção intitulada “Comece pela tabela executiva”O quadro-resumo do benchmark é a melhor porta de entrada.
Use-o para responder:
- o candidato final continuou igual à baseline estática?
- a solução selecionada melhorou o
temporal_score? - quais penalizações ajudam a explicar a decisão final?
IV alto não encerra a análise
Seção intitulada “IV alto não encerra a análise”Em crédito, IV alto continua sendo um sinal relevante de separação.
Mas ele não encerra a análise quando:
- a leitura por safra importa
- o portfólio sofre drift de composição
- há indícios de fragilidade estrutural
Um dos objetivos centrais do benchmark é mostrar exatamente isso: o agregado pode contar uma história otimista demais.
Event rate por bin ao longo do tempo
Seção intitulada “Event rate por bin ao longo do tempo”Este é um dos gráficos mais importantes.
Use-o para inspecionar:
- se os bins mantêm a ordenação esperada
- se as curvas se cruzam ao longo do tempo
- se a separação encolhe nas safras mais recentes
Cruzamentos frequentes são um sinal prático de fragilidade para PD e scorecards.
Heatmap por bin e safra
Seção intitulada “Heatmap por bin e safra”O heatmap ajuda a enxergar:
- regiões consistentes
- regiões instáveis
- bins que mudam demais de comportamento
- safras em que a narrativa agregada deixa de combinar com a realidade local
Agregado versus visão por safra
Seção intitulada “Agregado versus visão por safra”Este é o ponto em que a tese do benchmark costuma ficar mais clara.
Se a visão agregada parece limpa, mas as curvas por safra parecem desorganizadas, você encontrou exatamente o tipo de desencontro que o RiskBands foi feito para expor.
Penalizações e score objetivo
Seção intitulada “Penalizações e score objetivo”Não pare no score final. Olhe por que um candidato perdeu.
As penalizações costumam capturar sinais como:
- baixa cobertura
- bins raros
- volatilidade de event rate
- volatilidade de WoE
- instabilidade de share
- reversões de ordenação
- quebras de monotonicidade
Essa leitura costuma ser a mais útil em challenge, validação interna e governança.
Distribuição da variável com cortes
Seção intitulada “Distribuição da variável com cortes”Esse gráfico ajuda a ligar a decisão estatística à forma bruta da variável:
- os cortes estão concentrados em uma faixa estreita demais?
- as caudas ficaram finas demais?
- a estrutura final parece operacionalmente razoável quando você pensa em safras diferentes?
Ordem recomendada de leitura
Seção intitulada “Ordem recomendada de leitura”- comece com IV e KS para entender a separação agregada
- depois olhe
temporal_scorepara entender robustez no tempo - inspecione cobertura, bins raros e reversões para captar fragilidade estrutural
- leia
objective_scorejunto das penalizações - termine com o
rationale_summaryou com o resumo do vencedor
Leitura correta da troca de campeão
Seção intitulada “Leitura correta da troca de campeão”Quando o benchmark troca do campeão estático para outro candidato, a mensagem correta não é “o temporal sempre vence”.
A mensagem correta é:
- a solução estática ficou menos defensável quando observada por safra
- o novo vencedor aceitou um trade-off melhor entre discriminação e robustez temporal