Qu'est-ce qu'AI TRiSM ?

AI TRiSM est généralement décrit à travers quelques thèmes connectés, chacun abordant une façon différente dont l'IA peut perdre la confiance des personnes qui s'appuient sur elle :

• Explicabilité et surveillance des modèles — rendre le comportement des modèles compréhensible et le surveiller en production, afin que les dérives et la dégradation soient détectées avant qu'elles ne causent des dommages. Cela chevauche directement avec l'IA explicative.
• ModelOps / gestion du cycle de vie — gérer les modèles pendant leur développement, leur déploiement et leur retrait, plutôt que de considérer le lancement comme la fin.
• Sécurité des applications d'IA — protéger les systèmes d'IA et leurs données contre les attaques adverses, les abus et les mauvaises utilisations.
• Vie privée et protection des données — maintenir les données qui circulent dans les systèmes d'IA conformes et protégées.

Ces éléments, pris ensemble, transforment l'objectif abstrait de « l'IA de confiance » en domaines concrets que une équipe peut maîtriser.

AI TRiSM est le plus important au moment où l'IA cesse d'être une expérience et devient partie intégrante du fonctionnement d'une organisation. Un modèle dans un cahier est à faible risque ; un modèle qui décide en production — qui approuve, achemine, recommande, agit — comporte un risque réel, et les personnes responsables de celui-ci doivent lui faire confiance, le surveiller et le défendre.

La réglementation va dans le même sens. Alors que des cadres comme le règlement européen sur l'IA rendent la transparence, la surveillance et la tenue de dossiers obligatoires pour les systèmes à haut risque, le travail de confiance, de risque et de sécurité que AI TRiSM organise passe de bonne pratique à obligation. AI TRiSM donne à ce travail une forme partagée ; la gouvernance de l'IA lui donne un foyer.

Plusieurs dimensions d'AI TRiSM — confiance, explicabilité et surveillance — dépendent de la capacité à répondre à une question simple après coup : pourquoi le système a-t-il pris la décision qu'il a prise ? Les métriques au niveau du modèle vous indiquent la précision et la dérive ; elles vous disent rarement la raison, les preuves et la politique derrière une décision spécifique.

C'est le niveau de décision. La visibilité vous indique ce qui s'est exécuté ; la traçabilité des décisions vous indique ce qui a été décidé et pourquoi. Un enregistrement durable de chaque décision alimente le thème de l'explicabilité (une décision que vous pouvez expliquer), le thème de la surveillance (la qualité de la décision que vous pouvez suivre dans le temps via la surveillance des agents d'IA) et le thème de la confiance (des preuves que vous pouvez montrer à un réviseur ou à un régulateur).