Cos'è la tracciabilità LLM?

Tracciabilità LLM significa che quando una richiesta utente attiva una sequenza di chiamate al modello, puoi ricostruire l'intera sequenza come una storia connessa anziché una dispersione di voci di log non correlate. Il meccanismo standard è la traccia: a una singola richiesta viene assegnato un ID di traccia e ogni unità di lavoro al suo interno — una prompt, un recupero, una chiamata a uno strumento, un passaggio di un sub-agente — diventa uno span che porta lo stesso ID di traccia più il proprio ID di span.

Perché gli span sono collegati da questi identificatori condivisi, puoi vedere la richiesta come un albero: quale prompt è stato eseguito per primo, cosa ha recuperato, quale strumento ha chiamato, cosa ha restituito e come gli output intermedi sono fluiti nella risposta finale. Ciò è strettamente legato alla osservabilità LLM — la traccia è la struttura di dati che rende leggibile un flusso di lavoro LLM a più passaggi.

Un singolo completamento LLM è facile da ispezionare — un input, un output. La difficoltà arriva con le catene e gli agenti. Una richiesta moderna potrebbe ramificarsi attraverso il recupero, diversi passaggi di ragionamento, più chiamate a strumenti e anche sub-agenti, con l'output di ogni passaggio che alimenta il successivo. Senza una traccia condivisa, quelle chiamate atterrano come record non connessi e il filo causale si perde.

Gli agenti lo rendono ancora più difficile: fanno loop, si ramificano e decidono quali strumenti chiamare in fase di esecuzione, quindi nessuna due tracce sono uguali e il percorso è conoscibile solo dopo il fatto. Questo è la sfida principale del monitoraggio degli agenti AI — e il motivo per cui una robusta correlazione tra traccia e span è un prerequisito, non un lusso, per comprendere il comportamento degli agenti.

La tracciabilità LLM ti dice come una risposta è stata assemblata — ogni prompt e chiamata a uno strumento lungo la strada. Ma per la responsabilità, la domanda più importante è di solito perché: su quale prova, contro quale politica e con quali alternative considerate l'agente ha stabilito il suo esito? Quella è un altro livello.

Questo è il ponte dall'esecuzione al livello di decisione. La tracciabilità AI ricostruisce la linea di discendenza completa di un output e la tracciabilità delle decisioni cattura il ragionamento dietro la scelta stessa — distinto dalla traccia di esecuzione prompt-per-prompt. Entrambi sono importanti, ma è il record della decisione che si difende a un revisore o a un cliente.