O que é inteligência artificial explicável?

Técnicas de explicabilidade se dividem em duas famílias amplas:

• Interpretabilidade intrínseca — usando modelos cuja lógica é transparente por design, como modelos lineares, árvores de decisão ou conjuntos de regras. A explicação é o modelo: você pode ler como uma entrada se mapeia para uma saída diretamente.
• Explicação pós-hoc — aplicando técnicas após o fato para explicar o comportamento de um modelo complexo e opaco. Métodos como SHAP (explicações adicionais de Shapley), LIME (explicações locais e model-agnósticas interpretáveis) e outras abordagens de atribuição de recursos estimam quanto cada entrada contribuiu para uma saída determinada.

Modelos intrínsecos trocam algum poder de previsão por transparência; métodos pós-hoc permitem que você mantenha um modelo poderoso e aproxime uma explicação. Ambos visam o mesmo objetivo: tornar uma saída compreensível para um ser humano.

A explicabilidade não é um exercício acadêmico — ela serve a três necessidades concretas:

• Confiança — as pessoas estão certas em hesitar em confiar em saídas que elas não podem entender. Uma explicação é o que permite que um ser humano aceite, substitua ou escale uma resultado com confiança.
• Depuração — quando um modelo erra, uma explicação aponta por quê, para que você possa corrigir a causa em vez de adivinhar. Sem isso, cada falha é uma caixa preta.
• Regulação — para sistemas de alto risco, a capacidade de explicar uma decisão sustenta obrigações legais em torno de transparência e supervisão. Supervisão humana significativa (Artigo 14) é impossível se o ser humano não puder entender o que o sistema fez ou por quê.

A XAI clássica foi construída para modelos de previsão — explicar uma classificação ou pontuação única. Agentes autônomos levantam uma pergunta mais difícil: explicar uma decisão que pode envolver várias etapas, chamadas de ferramentas, evidências recuperadas e verificações de política. Um número de atribuição de recursos para uma chamada de modelo não captura isso.

A explicação mais confiável para uma decisão de um agente é o raciocínio estruturado por trás dela — as evidências pesadas, as alternativas consideradas, a política aplicada — capturado enquanto a decisão é tomada em vez de reconstruído posteriormente. Isso é explicação por construção: em vez de aproximar por que uma caixa preta se comportou de uma certa maneira, você registra o raciocínio real no momento da decisão. Isso torna a explicação fiel por padrão. É o coração da camada de decisão — veja rastreamento de decisões para saber como esse raciocínio é capturado, e monitoramento de agentes de IA para saber como é rastreado ao longo do tempo.