Qu'est-ce que l'IA explicable ?

Les techniques d'explicabilité se divisent en deux grandes familles :

• Interprétabilité intrinsèque — en utilisant des modèles dont la logique est transparente par conception, tels que les modèles linéaires, les arbres de décision ou les ensembles de règles. L'explication est le modèle : vous pouvez lire directement comment une entrée se mappe à une sortie.
• Explication post-hoc — en appliquant des techniques après coup pour expliquer le comportement d'un modèle complexe et opaque. Des méthodes comme SHAP (explications additives de Shapley), LIME (explications interprétables locales et agnostiques aux modèles), et d'autres approches d'attribution de caractéristiques estiment à quel point chaque entrée a contribué à une sortie donnée.

Les modèles intrinsèques échangent une partie de leur puissance prédictive pour la transparence ; les méthodes post-hoc vous permettent de conserver un modèle puissant et d'approximer une explication. Les deux visent le même objectif : rendre une sortie compréhensible pour un humain.

L'explicabilité n'est pas un exercice académique — elle sert trois besoins concrets :

• Confiance — les gens hésitent à juste titre à se fier à des sorties qu'ils ne peuvent pas comprendre. Une explication est ce qui permet à un humain d'accepter, de contourner ou d'escalader un résultat avec confiance.
• Débogage — lorsque un modèle se trompe, une explication indique pourquoi, afin que vous puissiez corriger la cause plutôt que de deviner. Sans cela, chaque échec est une boîte noire.
• Réglementation — pour les systèmes à haut risque, la capacité à expliquer une décision sous-tend les obligations légales en matière de transparence et de surveillance. Une surveillance humaine significative (Article 14) est impossible si l'humain ne peut pas comprendre ce que le système a fait ou pourquoi.

L'explicabilité classique XAI a été conçue pour les modèles de prédiction — expliquer une seule classification ou un seul score. Les agents autonomes posent une question plus difficile : expliquer une décision qui peut impliquer plusieurs étapes, des appels d'outils, des preuves récupérées et des vérifications de politique. Un nombre d'attribution de caractéristiques pour un seul appel de modèle ne capture pas cela.

L'explication la plus fiable pour une décision d'agent est la raison structurée qui se trouve derrière — les preuves pesées, les alternatives considérées, la politique appliquée — capturée au moment de la décision plutôt que reconstruite par la suite. C'est l'explication par construction : au lieu d'approximer pourquoi une boîte noire s'est comportée d'une certaine manière, vous enregistrez la véritable raison au moment de la décision. Cela rend l'explication fidèle par défaut. C'est le cœur de la couche de décision — voir la traçabilité des décisions pour savoir comment cette raison est capturée, et la surveillance des agents d'IA pour savoir comment elle est suivie dans le temps.