Co to jest obserwowalność AI?

Obserwowalność AI korzysta z obserwowalności oprogramowania: zamiast zgadywać stan wewnętrzny systemu, wnioskujesz go z danych, które system emituje. Dla systemów AI te dane opierają się na trzech filarach:

• Metryki — numeryczne, agregowane sygnały w czasie: objętość żądań, percentyle opóźnień, wskaźniki błędów, użycie tokenów i koszt. Metryki mówią ci co się zmieniło.
• Dzienniki — dyskretne, oznaczone czasem rekordy indywidualnych zdarzeń: otrzymanie żądania, wywołanie narzędzia, wyrzucenie wyjątku. Dzienniki mówią ci co się wydarzyło w danym momencie.
• Ślady — ścieżka końca do końca jednego żądania, gdy przechodzi przez modele, narzędzia i usługi, podzielona na fragmenty. Ślady mówią ci gdzie czas został spędzony i gdzie awaria się zaczęła.

Wszystkie te elementy pozwalają zespołom wykrywać, diagnozować i rozwiązywać problemy w żywym systemie AI bez ponownego wdrożenia lub zgadywania.

Monitorowanie i obserwowalność są powiązane, ale nie są tym samym. Monitorowanie obserwuje znane tryby awarii — definiujesz próg lub pulpit nawigacyjny z wyprzedzeniem i otrzymujesz alert, gdy zostanie on wyzwolony. Odpowiada na pytania, które już wiesz zadać.

Obserwowalność jest szersza: instrumentuje system wystarczająco bogato, abyś mógł zadać nowe pytania po fakcie, w tym te, których nie przewidziałeś. To ma znaczenie dla AI, ponieważ awarie rzadko są czystym awarią — model może stopniowo się pogarszać, zmiana promtu może zmienić jakość wyjścia, lub agent może zapętlić się w narzędziu. Często nie możesz przewidzieć trybu awarii, więc potrzebujesz surowych śladów, aby ją zbadac. Zobacz monitorowanie agenta AI po stronie obserwacyjnej tego obrazu.

To jest różnica, która wprowadza w błąd większość zespołów. Obserwowalność ujmuje to, jak system działał: prompty, tokeny, opóźnienia, wywołania narzędzi, błędy. To jest niezbędne dla niezawodności — ale nie jest to samo co wiedza dlaczego podjęto decyzję.

Gdy agent AI zatwierdza zwrot, kieruje roszczeniem lub sprawdza kandydata, odpowiedzialne pytanie nie brzmi: „Jak szybko żądanie zostało wykonane?” To jest: jaki powód, dowody i polityka doprowadziły do tego wyniku i czy możemy go obronić? Ślad pokazuje mechanikę wykonania; sam w sobie nie zachowuje uzasadnienia decyzji w formie, której mógłby zaufać audytor lub regulator. Ten powód należy do warstwy decyzyjnej — ustrukturyzowanego, niezmiennego śladu audytowego AI każdej decyzji, który jest sercem zarządzania AI. Prosto mówiąc: dzienniki mówią ci, co się wykonało; rekordy decyzji mówią ci, co zostało zdecydowane i dlaczego.

Dla autonomicznych, wieloetapowych agentów, przydatna obserwowalność AI wykracza poza pojedyncze wywołanie modelu. Co najmniej zinstrumentuj:

• Każde wywołanie modelu — prompty, wersja modelu, tokeny, opóźnienia i wyjście (zobacz obserwowalność LLM).
• Każde wywołanie narzędzia — które narzędzie, argumenty, wynik i czy się powiodło czy zostało ponowione.
• Strukturę planu i pętli agenta — kroki podjęte, gałęzie wybrane i czy zatrzymał się lub powtórzył (zobacz obserwowalność agenta AI).
• Ślady końca do końca, które łączą wszystko powyższe w jednym żądaniu, aby można było odtworzyć jedną decyzję krok po kroku.

Zinstrumentuj wykonanie dla niezawodności — a następnie przechwyć uzasadnienie na jego podstawie dla odpowiedzialności.