Neste artigo
Em áreas tão diferentes quanto meteorologia, medicina, finanças ou engenharia, sistemas preditivos podem acertar com frequência sem oferecer uma explicação satisfatória para o próprio acerto. Quando isso acontece, parece excessivo dizer que nada foi aprendido, mas também é precipitado tratar desempenho como compreensão. O sistema demonstrou capacidade de antecipar resultados; ainda resta determinar o que essa capacidade revela sobre o fenômeno.
A dificuldade nasce porque usamos a palavra “saber” para coisas diferentes. Saber antecipar um resultado, saber quais variáveis acompanham esse resultado, saber quais relações o produzem e saber o que aconteceria se interferíssemos nelas são conquistas distintas. Às vezes caminham juntas. Em outras situações, se separam de forma importante.
Um modelo pode, portanto, ser útil antes de ser explicativo. A acurácia validada mostra que certas regularidades foram capturadas com força suficiente para sustentar previsão nas condições testadas. Esse resultado tem valor intelectual e prático. O limite aparece quando o sucesso preditivo passa a receber um significado que o teste não demonstrou, como prova de causalidade, de mecanismo ou de validade em qualquer contexto.
A pergunta central deixa de ser se um modelo opaco “sabe” ou “não sabe”. O ponto mais fértil é descobrir que tipo de conhecimento seu desempenho fornece, quais perguntas esse conhecimento permite responder e onde começam as inferências que exigem evidência adicional.
Acertar não responde à mesma pergunta que explicar
A distinção entre previsão e explicação é anterior ao atual interesse por inteligência artificial. Em 2010, Galit Shmueli chamou atenção para a confusão entre modelos construídos para explicar relações e modelos construídos para prever resultados. Os dois objetivos podem se encontrar, mas não devem ser tratados como equivalentes.[1]
Quando a tarefa é prever, a pergunta principal é operacional: diante de novas observações, o modelo continua acertando em grau suficiente? O desempenho fora dos dados usados no ajuste importa justamente porque reduz a chance de estarmos apenas descrevendo peculiaridades do conjunto original. Se a previsão se mantém, há evidência de que o modelo encontrou alguma regularidade aproveitável.
Uma regularidade preditiva pode depender de uma causa, de um efeito, de uma variável que acompanha ambos ou de um sinal contextual que funciona como proxy. Se o objetivo é prever, essa diferença pode não impedir o uso. Se queremos explicar o fenômeno, ela passa a ser decisiva. Uma associação estável informa que certos padrões caminham juntos sob determinadas condições, mas não revela automaticamente por que isso acontece.
A acurácia recebe crédito demais quando passa a sustentar uma história causal que não foi testada. Um resultado preditivo forte pode justificar confiança na previsão, enquanto a explicação do mecanismo permanece em aberto. O modelo pode ter encontrado uma rota estatística eficiente até o resultado sem ter isolado o processo que o produz no mundo.
Essa diferença não diminui a previsão. Ela apenas delimita o que foi conquistado. Se um sistema antecipa corretamente um evento, aprendemos algo sobre regularidades que tornam esse evento previsível. Para avançar da previsão à explicação causal, precisamos de evidência adequada a outra pergunta.
Um bom teste mede mais do que ajuste, mas menos do que universalidade
A validação fora da amostra é uma das principais razões pelas quais um modelo preditivo pode merecer confiança. Ela obriga o sistema a enfrentar casos que não participaram de seu ajuste e mostra se o desempenho sobrevive além dos exemplos usados para construí-lo.
O problema é que “novo caso” ainda pode pertencer ao mesmo ambiente. Dados separados para teste podem ter sido produzidos pelos mesmos equipamentos, instituições, populações, incentivos e procedimentos que geraram os dados de treinamento. O modelo pode aprender uma regularidade estável dentro desse regime e, ainda assim, perder parte de sua capacidade quando o regime muda.
O estudo de John Zech e colegas ilustra esse limite. Os pesquisadores avaliaram redes neurais treinadas para detectar pneumonia em radiografias de tórax provenientes de diferentes sistemas hospitalares. Um modelo treinado com dados combinados de dois sistemas alcançou AUC de 0,931 no teste interno combinado e 0,815 em um terceiro sistema hospitalar.[4] As redes também conseguiam identificar com precisão muito alta a instituição de origem das imagens, mostrando que havia sinais contextuais disponíveis além das características diretamente relacionadas à doença.
Esse resultado não autoriza concluir que modelos médicos inevitavelmente exploram atalhos ou que mudanças de ambiente sempre produzem queda de desempenho. O que ele demonstra é mais específico e mais útil: desempenho interno elevado pode coexistir com dependência de características do ambiente de coleta. Um modelo pode estar correto dentro do domínio em que foi testado e ser menos confiável quando parte desse domínio muda.
A validação responde, portanto, a uma pergunta delimitada: quão bem o modelo funciona para os casos e condições representados pelo teste? Quanto mais o uso real se afasta dessas condições, maior a necessidade de testar novamente estabilidade e desempenho. Um resultado fora da amostra é evidência de generalização para novos casos semelhantes aos testados; não equivale, por definição, a evidência de funcionamento em qualquer outro domínio.
Por isso, avaliar generalização exige olhar além do número final. O teste precisa ser comparado com o ambiente em que o modelo será usado. A mesma métrica pode oferecer evidência forte para um contexto muito parecido com o de validação e evidência insuficiente para outro em que população, coleta ou comportamento tenham mudado de forma relevante.
A mesma qualidade de previsão pode esconder dependências diferentes
Mesmo quando a validação é sólida, a acurácia não seleciona sozinha uma explicação para o fenômeno. Modelos com desempenho muito parecido podem chegar a suas previsões usando informações diferentes.
Aaron Fisher, Cynthia Rudin e Francesca Dominici examinaram classes de modelos bem ajustados e mostraram que modelos quase equivalentes em desempenho podem atribuir importâncias diferentes às variáveis.[3] Esse resultado importa porque existe uma tentação comum de escolher o modelo que prevê bem e, em seguida, ler sua estrutura interna como se ela revelasse automaticamente quais fatores explicam o fenômeno.
Se várias configurações alcançam praticamente a mesma qualidade preditiva, o desempenho não oferece critério suficiente para decidir qual delas está mais próxima da estrutura causal relevante. A previsão pode permanecer excelente enquanto a interpretação sobre o que realmente importa continua subdeterminada. Nesse caso, o acerto restringe o conjunto de possibilidades, mas não escolhe sozinho entre elas.
Isso não significa que qualquer explicação serve. Conhecimento de domínio, experimentos, desenhos causais e novas observações podem reduzir a ambiguidade. Também pode haver situações em que uma classe de modelos é estreita o bastante para produzir interpretações mais estáveis. O ponto é que esse trabalho adicional não vem embutido na acurácia.
Essa separação é especialmente importante quando usamos modelos para aprender sobre um fenômeno, e não apenas para antecipá-lo. Se duas representações diferentes fazem previsões semelhantes, a pergunta deixa de ser “qual modelo acerta?” e passa a incluir “que evidência temos para preferir uma interpretação a outra?”. A mudança parece pequena, mas altera o tipo de investigação necessário.
Tornar o modelo legível ainda não explica o fenômeno
A interpretabilidade tenta reduzir a distância entre receber uma previsão e entender como o sistema chegou a ela. Podemos querer saber quais características influenciaram a resposta, como a saída muda quando uma entrada varia e quais padrões o modelo parece ter aprendido.
W. James Murdoch e colaboradores distinguem a qualidade preditiva de um modelo da qualidade descritiva de uma interpretação sobre o que ele aprendeu.[2] Essa distinção é útil porque evita misturar duas avaliações. Um modelo pode prever bem e ser mal interpretado. Uma interpretação pode descrever fielmente o comportamento do modelo e, ainda assim, esse comportamento se apoiar em relações que não são causais.
Imagine que uma interpretação mostre, com grande fidelidade, que determinada variável pesa muito na previsão. Isso ensina algo importante sobre o modelo: sabemos que sua resposta depende fortemente daquele sinal. Ainda falta explicar por que o sinal está associado ao resultado no mundo e se modificá-lo produziria o efeito esperado. A transparência pode tornar a dependência estatística visível sem convertê-la em mecanismo causal.
O inverso também vale. Um modelo simples, cujas regras são fáceis de inspecionar, pode representar mal o fenômeno. Legibilidade ajuda a examinar o sistema, localizar falhas, comunicar critérios e discutir responsabilidade. Não funciona como certificado de verdade.
Por isso, opacidade e invalidade também não devem ser confundidas. Há tarefas em que a principal exigência é prever de modo confiável sob condições bem controladas e verificáveis. Em outras, entender como a decisão foi produzida possui valor adicional porque o erro é difícil de detectar, a decisão precisa ser contestada ou o sistema participa de escolhas de alto impacto. A relevância da interpretabilidade muda com a finalidade do uso.
Cynthia Rudin defende, em particular para decisões de alto risco, que modelos inerentemente interpretáveis devem ser buscados com prioridade, em vez de se depender automaticamente de explicações produzidas depois para sistemas opacos.[6] A força dessa posição está em mostrar que a discussão não termina na taxa de acerto. Em certos contextos, saber como um sistema chega a uma decisão faz parte do próprio padrão de confiança que consideramos adequado.
Quando a pergunta vira ação, a exigência muda
A diferença entre prever e compreender fica mais nítida quando a decisão envolve intervenção. Um sistema pode identificar pessoas com maior probabilidade de apresentar determinado desfecho. Se a pergunta for quem está sob maior risco nas condições atuais, um modelo preditivo bem validado pode oferecer informação útil. Se a pergunta passa a ser qual ação reduzirá esse risco, a tarefa mudou.
Elias Bareinboim e Judea Pearl tratam justamente da diferença entre observar padrões e responder a perguntas sobre intervenções.[5] Uma relação altamente previsível entre duas variáveis não basta para determinar o efeito de modificar uma delas. A passagem da observação para a ação exige pressupostos, desenho ou evidência que sustentem inferência causal.
Aqui a diferença deixa de ser apenas conceitual e passa a afetar a decisão. Um modelo pode ordenar riscos de modo útil sem dizer qual intervenção os modificará. Pode antecipar falhas sem revelar sua causa principal. Pode reconhecer padrões recorrentes sem informar o que ocorrerá depois que o próprio sistema for alterado. A utilidade preditiva permanece, mas a pergunta sobre ação exige outro tipo de sustentação.
O tipo de pergunta determina, portanto, o tipo de evidência que precisamos exigir. Em tarefas de baixo impacto, repetitivas e facilmente verificáveis, um modelo sem explicação causal completa pode ser útil se seu desempenho for robusto e monitorado. Quando a decisão envolve consequências graves, transferência para outro contexto, contestação ou intervenção, depender apenas da acurácia deixa lacunas relevantes.
Esse critério é mais útil do que adotar uma regra geral a favor ou contra modelos opacos. A pergunta correta não é apenas “o modelo funciona?”, mas “funciona para qual finalidade, em quais condições e que decisão estamos tentando sustentar com esse resultado?”.
Confiar bem exige respeitar o alcance do que foi demonstrado
Um modelo que prevê de forma consistente e é validado em dados representativos capturou regularidades capazes de sustentar previsão nas condições em que foi testado. Isso é conhecimento real, ainda que incompleto. Ele pode reduzir incerteza e tornar algumas decisões melhores informadas.
O erro começa quando ampliamos esse resultado sem nova sustentação. Acurácia não demonstra, por si só, causalidade. Uma interpretação fiel do modelo não garante que a relação descrita seja um mecanismo do fenômeno. Bom desempenho em um ambiente não garante o mesmo desempenho em qualquer outro. E uma previsão sobre o que provavelmente ocorrerá não determina automaticamente o efeito de uma intervenção.
Reconhecer esses limites significa calibrar a confiança ao uso. Para algumas decisões, previsão robusta é exatamente o que precisamos. Para outras, ela representa apenas uma parte do conhecimento necessário. A responsabilidade intelectual está em distinguir essas situações antes de atribuir ao modelo uma autoridade maior do que seus testes realmente sustentam.
Quando um sistema acerta repetidamente, aprendemos algo sobre o que pode ser previsto. Em certos contextos, esse conhecimento basta para agir; em outros, precisamos saber também por que a relação existe, se ela permanece fora do ambiente testado ou o que ocorrerá depois de uma intervenção. A pergunta decisiva passa a ser mais precisa: que tipo de conhecimento esta previsão nos oferece e que decisão ela realmente autoriza?
Referências
[1] Shmueli, G. To Explain or to Predict? Statistical Science, 25(3), 289–310, 2010. DOI: 10.1214/10-STS330.
[2] Murdoch, W. J.; Singh, C.; Kumbier, K.; Abbasi-Asl, R.; Yu, B. Definitions, methods, and applications in interpretable machine learning. Proceedings of the National Academy of Sciences, 116(44), 22071–22080, 2019. DOI: 10.1073/pnas.1900654116.
[3] Fisher, A.; Rudin, C.; Dominici, F. All Models are Wrong, but Many are Useful: Learning a Variable’s Importance by Studying an Entire Class of Prediction Models Simultaneously. Journal of Machine Learning Research, 20(177), 1–81, 2019.
[4] Zech, J. R.; Badgeley, M. A.; Liu, M.; Costa, A. B.; Titano, J. J.; Oermann, E. K. Variable generalization performance of a deep learning model to detect pneumonia in chest radiographs: A cross-sectional study. PLOS Medicine, 15(11), e1002683, 2018. DOI: 10.1371/journal.pmed.1002683.
[5] Bareinboim, E.; Pearl, J. Causal inference and the data-fusion problem. Proceedings of the National Academy of Sciences, 113(27), 7345–7352, 2016. DOI: 10.1073/pnas.1510507113.
[6] Rudin, C. Stop explaining black box machine learning models for high stakes decisions and use interpretable models instead. Nature Machine Intelligence, 1, 206–215, 2019. DOI: 10.1038/s42256-019-0048-x.
