Qu'est-ce que l'observabilité LLM ?

L'observabilité LLM répond à une question ciblée : qu'est-ce qui se passe à l'intérieur des appels de modèle de langage que fait mon application ? Puisque les LLM sont non déterministes, coûteux par jeton et sensibles à la formulation de la invite, les signaux qui comptent sont différents de ceux d'un service Web typique. Les équipes suivent généralement :

• Invites et versions d'invites — l'entrée exacte envoyée au modèle, et quelle version d'un modèle d'invite l'a produit, afin qu'une régression puisse être retracée à un changement d'invite.
• Jetons et coût — les comptes de jetons d'entrée et de sortie par appel, regroupés en dépenses, puisque le coût augmente directement avec les jetons.
• Latence — le temps jusqu'au premier jeton et le temps de completion total, qui déterminent la réactivité perçue par l'utilisateur.
• Qualité de la sortie — les évaluations, les scores ou les commentaires humains sur le fait que la génération était correcte, pertinente et sûre.

Ceci est la tranche au niveau de l'appel de modèle de la plus large observabilité de l'IA.

L'observabilité LLM est devenue sa propre catégorie de logiciels, distincte de la surveillance générale des performances des applications. Des outils tels que LangSmith, Langfuse, Arize Phoenix et Helicone sont des exemples qui se concentrent sur la capture des invites, des compléments, de l'utilisation des jetons, du coût, de la latence et des scores d'évaluation, et sur la visualisation de ceux-ci sur de nombreux appels.

Ce que cette catégorie partage est une unité d'analyse : l'appel LLM (ou une chaîne de ceux-ci). Ce cadre est exactement celui qui convient pour déboguer une invite ou contrôler les dépenses. C'est également là que se situe la limite naturelle de la catégorie — que la section suivante détaille.

L'observabilité LLM capture l'appel : ce qui est entré dans le modèle et ce qui en est sorti. Elle ne capture pas, par conception, la décision : pourquoi l'agent ou l'application entourant a choisi d'agir sur cette sortie, quels éléments de preuve et quelle politique il a pesés, et qui est responsable du résultat.

Considérez un agent qui rédige et envoie une réponse client. L'observabilité LLM enregistrera fidèlement l'invite, les jetons, le coût et le texte généré. Mais elle ne préservera pas, par elle-même, la raison — une politique de remboursement a-t-elle été appliquée correctement ? des alternatives ont-elles été considérées ? — sous une forme que l'auditeur peut faire confiance. Cela appartient à la couche de décision : la traçabilité de l'IA et une traçabilité de l'audit de l'IA qui, ensemble, transforment les appels bruts en décisions responsables sous la gouvernance de l'IA. L'appel est le mécanisme ; la décision est celle pour laquelle vous êtes responsable.