La domanda che affonda la maggior parte dei progetti di IA davanti al comitato di direzione non è «funziona?». È «come sapete che funziona?». Senza una risposta fatta di numeri, l’IA in produzione è un atto di fede che prima o poi qualcuno ritirerà.
Perché non basta provarla
Un sistema di IA non si guasta come il software tradizionale. Non va in blocco: comincia a rispondere un po’ peggio. Una modifica alle istruzioni che migliora un caso ne rovina altri tre. Un aggiornamento del modello da parte del fornitore cambia il comportamento senza che nessuno abbia toccato nulla. E il team che lo prova a mano prova sempre gli stessi cinque esempi, cioè proprio quelli che già funzionano.
Servono un banco di prova proprio e un modo per osservare ciò che accade davvero in produzione.
I quattro elementi
Set di valutazione proprio. Tra 50 e 300 casi reali dell’azienda con il risultato atteso, compresi quelli difficili e quelli che una volta sono andati male. Si costruisce a partire dallo storico e cresce a ogni incidente. È l’asset più prezioso del progetto e nessun fornitore può fornirlo.
Giudici automatici. Per ciò che non ha una risposta unica (un riassunto, una risposta a un cliente) si definisce che cosa rende valida una risposta e si usa un modello come valutatore con quei criteri, confrontandolo con il giudizio umano su un campione. Non è perfetto; è ciò che permette di passare da cinque prove a duecento.
Rilevamento delle regressioni. Ogni modifica (istruzioni, modello, strumenti) viene fatta passare sull’intero set prima del rilascio. Se il punteggio scende, non si rilascia. È la pratica che trasforma un progetto pilota in un sistema manutenibile.
Tracce in produzione. Che cosa ha chiesto l’utente, che cosa ha deciso l’agente, quali strumenti ha usato, che cosa hanno restituito, quanto tempo ha impiegato e quanto è costato. Senza tracce non è possibile alcuna diagnosi quando qualcosa va storto, né alcuna difesa di fronte a un reclamo o a un audit.
Che cosa si misura
Oltre alla qualità, tre indicatori che spesso vengono dimenticati: tasso di completamento (quante attività l’agente porta a termine senza aiuto), tasso di escalation (quante finiscono a una persona) e costo per attività risolta, collegato alla tokeneconomics. Un agente con un’ottima qualità e un 70% di escalation non sta risolvendo il problema.
Per i sistemi che rientrano nell’AI Act europeo, buona parte di questo materiale (tracce, metriche, registro delle modifiche) è anche la documentazione richiesta dalla norma. I dettagli sono in conformità e governance dell’IA.
Quando predisporlo
Prima di costruire l’agente, non dopo. L’ordine corretto è: definire come si misurerà il successo, preparare il set di valutazione e solo allora sviluppare. Un progetto che arriva in produzione senza valutazione non si può migliorare: si può solo rifare.
Non serve quando il sistema è a uso interno, occasionale e privo di conseguenze: in quel caso basta la revisione umana.
Il nostro approccio
Costruiamo il set di valutazione con il team che oggi svolge il lavoro a mano, perché è chi sa quale risposta è buona, e fissiamo la soglia prima di scrivere codice. Le tracce vengono strumentate fin dal primo giorno. Il risultato è una dashboard con l’andamento di qualità, escalation e costi: il materiale con cui, in comitato, si difende o si cancella l’investimento.
Domande frequenti
Quanti casi servono per iniziare? Con 50 casi ben scelti si rilevano già le regressioni più rilevanti. L’importante è che siano casi reali e che includano quelli difficili, non che siano tanti.
Un modello può giudicare un altro modello? Con criteri espliciti e un confronto con il giudizio umano su un campione, sì, ed è ciò che rende possibile la valutazione su larga scala. Senza quel confronto, no.
Le piattaforme del fornitore non offrono già tutto questo? Offrono la strumentazione. I casi, i criteri di qualità e la soglia appartengono all’azienda, e sono la parte che decide davvero.