¿Qué es la inteligencia artificial explicable?

Las técnicas de explicabilidad se dividen en dos familias amplias:

• Interpretabilidad intrínseca — utilizando modelos cuya lógica es transparente por diseño, como modelos lineales, árboles de decisión o conjuntos de reglas. La explicación es el modelo: puedes leer cómo una entrada se asigna a una salida directamente.
• Explicación post-hoc — aplicando técnicas después del hecho para explicar el comportamiento de un modelo complejo y opaco. Métodos como SHAP (explicaciones aditivas de Shapley), LIME (explicaciones modelo-agnósticas locales interpretbles) y otros enfoques de atribución de características estiman cuánto contribuyó cada entrada a una salida determinada.

Los modelos intrínsecos intercambian algo de poder predictivo por transparencia; los métodos post-hoc te permiten mantener un modelo poderoso y aproximar una explicación. Ambos apuntan al mismo objetivo: hacer que una salida sea comprensible para un ser humano.

La explicabilidad no es un ejercicio académico — sirve a tres necesidades concretas:

• Confianza — las personas están justificadamente reacias a confiar en salidas que no pueden entender. Una explicación es lo que permite a un ser humano aceptar, anular o escalar un resultado con confianza.
• Depuración — cuando un modelo se equivoca, una explicación señala por qué, para que puedas arreglar la causa en lugar de adivinar. Sin ella, cada fallo es una caja negra.
• Regulación — para sistemas de alto riesgo, la capacidad de explicar una decisión subyace a las obligaciones legales de transparencia y supervisión. La supervisión humana significativa (Artículo 14) es imposible si el ser humano no puede entender qué hizo el sistema o por qué.

La XAI clásica se construyó para modelos de predicción — explicar una sola clasificación o puntuación. Los agentes autónomos plantean una pregunta más difícil: explicar una decisión que puede involucrar múltiples pasos, llamadas a herramientas, evidencia recuperada y verificaciones de políticas. Un número de atribución de características para una llamada de modelo no captura eso.

La explicación más fiable para una decisión de un agente es el razonamiento estructurado detrás de ella — la evidencia sopesada, las alternativas consideradas, la política aplicada — capturado al momento de la decisión en lugar de reconstruido después. Esto es explicación por construcción: en lugar de aproximar por qué una caja negra se comportó de una cierta manera, grabas el razonamiento real en el momento de la decisión. Eso hace que la explicación sea fiel por defecto. Es el corazón de la seguridad de la decisión — véase rastreo de decisiones para saber cómo se captura este razonamiento, y monitoreo de agentes de IA para saber cómo se rastrea con el tiempo.