Was ist AI Observability?

AI-Beobachtbarkeit borgt von der Software-Beobachtbarkeit: Anstatt den internen Zustand eines Systems zu erraten, leiten Sie ihn aus den Daten ab, die das System emittiert. Für AI-Systeme ruht diese Daten auf drei Säulen:

• Metriken — numerische, aggregierte Signale über die Zeit: Anfragevolumen, Latenzpercentile, Fehlerraten, Token-Nutzung und Kosten. Metriken sagen Ihnen dass sich etwas geändert hat.
• Protokolle — diskrete, zeitgestempelte Aufzeichnungen einzelner Ereignisse: Eine Anfrage wurde empfangen, ein Werkzeug wurde aufgerufen, eine Ausnahme wurde ausgelöst. Protokolle sagen Ihnen was zu einem bestimmten Zeitpunkt passiert ist.
• Ablaufverfolgungen — der End-to-End-Pfad einer einzelnen Anfrage, wenn sie durch Modelle, Werkzeuge und Dienste verläuft, unterteilt in Spans. Ablaufverfolgungen sagen Ihnen wo Zeit aufgewendet wurde und wo ein Fehler entstanden ist.

Zusammen ermöglichen diese es Teams, Probleme in einem Live-AI-System zu erkennen, zu diagnostizieren und zu lösen, ohne es neu bereitzustellen oder zu erraten.

Überwachung und Beobachtbarkeit sind verwandt, aber nicht dasselbe. Überwachung beobachtet bekannte Fehlermodi — Sie definieren einen Schwellenwert oder eine Dashboard im Voraus und erhalten eine Warnung, wenn es ausgelöst wird. Es beantwortet Fragen, die Sie bereits kannten.

Beobachtbarkeit ist breiter: Es instrumentiert das System reichhaltig genug, dass Sie neue Fragen nachträglich stellen können, einschließlich solcher, die Sie nicht vorhergesehen haben. Dies ist für AI wichtig, da Fehler selten ein sauberer Absturz sind — ein Modell kann sich subtil verschlechtern, eine Änderung der Eingabe kann die Ausgabqualität beeinflussen oder ein Agent kann in einem Werkzeug feststecken. Sie können den Fehlermodus oft nicht vorhersagen, daher benötigen Sie die rohen Ablaufverfolgungen, um ihn zu untersuchen. Siehe AI-Agenten-Überwachung für die Beobachtungs- und Warnseite dieses Bildes.

Dies ist der Unterschied, der die meisten Teams verwirrt. Beobachtbarkeit erfasst wie ein System lief: die Eingaben, die Token, die Latenz, die Werkzeugaufrufe, die Fehler. Das ist für die Zuverlässigkeit unerlässlich — aber es ist nicht dasselbe wie die Kenntnis warum eine Entscheidung getroffen wurde.

Wenn ein AI-Agent eine Rückerstattung genehmigt, einen Anspruch leitet oder einen Kandidaten filtert, ist die verantwortliche Frage nicht „Wie schnell wurde die Anfrage ausgeführt?“ Es ist: Welche Begründung, Beweise und Richtlinie führten zu diesem Ergebnis und können wir es verteidigen? Eine Ablaufverfolgung zeigt die Mechanik der Ausführung; sie bewahrt die Entscheidungsbegründung nicht von sich aus in einer Form, die ein Auditor oder Regulator vertrauen kann. Diese Begründung gehört in die Entscheidungsebene — eine strukturierte, manipulationsfeste AI-Audit-Trail jeder Entscheidung, die das Herzstück der AI-Governance ist. Einfach ausgedrückt: Protokolle sagen Ihnen, was ausgeführt wurde; Entscheidungsprotokolle sagen Ihnen, was entschieden wurde und warum.

Für autonome, mehrstufige Agenten geht die nützliche AI-Beobachtbarkeit über einen einzelnen Modellanruf hinaus. Mindestens instrumentieren Sie:

• Jeden Modellanruf — Eingabe, Modellversion, Token, Latenz und Ausgabe (der Schwerpunkt der LLM-Beobachtbarkeit).
• Jeden Werkzeugaufruf — welches Werkzeug, die Argumente, das Ergebnis und ob es erfolgreich war oder wiederholt wurde.
• Die Plan- und Schleifenstruktur des Agents — Schritte, die ausgeführt wurden, Verzweigungen, die gewählt wurden, und ob es feststeckte oder wiederholt wurde (siehe AI-Agenten-Beobachtbarkeit).
• End-to-End-Ablaufverfolgungen, die all dies in einer Anfrage zusammenfügen, sodass eine einzelne Entscheidung Schritt für Schritt rekonstruiert werden kann.

Instrumentieren Sie die Ausführung für die Zuverlässigkeit — dann erfassen Sie die Begründung darüber hinaus für die Rechenschaftspflicht.