Cos'è l'osservabilità LLM?

L'osservabilità LLM risponde a una domanda focalizzata: cosa sta succedendo all'interno delle chiamate al modello linguistico che la mia applicazione effettua? Poiché gli LLM sono non deterministici, costosi per token e sensibili alla formulazione del prompt, i segnali che contano sono diversi da quelli di un tipico servizio web. Le squadre di solito tracciano:

• Prompt e versioni di prompt — l'input esatto inviato al modello e quale versione di un modello di prompt lo ha prodotto, in modo che una regressione possa essere ricondotta a un cambiamento del prompt.
• Token e costo — contatori di token di input e output per chiamata, riassunti nel costo, poiché il costo scala direttamente con i token.
• Latenza — tempo di primo token e tempo di completamento totale, che guidano la risposta percepita dall'utente.
• Qualità dell'output — valutazioni, punteggi o feedback umani su se la generazione era corretta, rilevante e sicura.

Questo è il livello di chiamata del modello di una più ampia osservabilità AI.

L'osservabilità LLM è cresciuta fino a diventare una propria categoria di software, distinta dal monitoraggio delle prestazioni delle applicazioni in generale. Strumenti come LangSmith, Langfuse, Arize Phoenix e Helicone sono esempi che si concentrano sulla cattura di prompt, completamenti, utilizzo di token, costo, latenza e punteggi di valutazione, e sulla loro visualizzazione su molte chiamate.

Ciò che questa categoria condivide è un'unità di analisi: la chiamata LLM (o una catena di esse). Quel framing è esattamente giusto per il debug di un prompt o per il controllo della spesa. È anche dove si trova il confine naturale della categoria — che la prossima sezione analizza.

L'osservabilità LLM cattura la chiamata: cosa è stato inserito nel modello e cosa ne è uscito. Non cattura, per design, la decisione: perché l'agente o l'applicazione circostante ha scelto di agire su quel output, quale evidenza e politica ha valutato e chi è responsabile del risultato.

Considera un agente che redige e invia una risposta al cliente. L'osservabilità LLM registrerà fedelmente il prompt, i token, il costo e il testo generato. Ma non preserverà, di per sé, la motivazione — è stata applicata correttamente una politica di rimborso? sono state considerate alternative? — in una forma che un revisore possa fidarsi. Ciò appartiene al livello di decisione: tracciabilità AI e un registro di audit AI tamper-evidente, che insieme trasformano le chiamate grezze in decisioni responsabili sotto governance AI. La chiamata è il meccanismo; la decisione è ciò per cui si è responsabili.