Fase 4 della strategia di adozione dell’IA
Mettere in produzione un modello di IA non è la fine del progetto: è l’inizio della fase più lunga. I modelli di IA non sono software tradizionale che, una volta installato, funziona sempre allo stesso modo: apprendono dai dati disponibili in un dato momento, e i dati cambiano. Il mondo cambia. Il comportamento del modello peggiora se non viene monitorato e aggiornato.
La Fase 4 della strategia di adozione dell’IA definisce i processi di monitoraggio, valutazione ed evoluzione che assicurano che l’investimento continui a generare ritorno nel tempo, e non solo nei primi mesi dopo l’avvio.
Che cosa si monitora in produzione
Prestazioni del modello. Le metriche tecniche del modello in produzione: precision, recall, F1, MAPE; quelle appropriate dipendono dal tipo di modello. Le prestazioni tecniche si confrontano con quelle misurate durante lo sviluppo e con la soglia minima definita prima della messa in produzione. Un peggioramento che supera la soglia fa scattare una revisione.
Metriche di business. Le prestazioni tecniche sono un indicatore, non l’obiettivo. Sono le metriche di business (rotazione delle scorte, tasso di abbandono dei clienti, OEE, tasso di difettosità) a misurare se il sistema di IA sta producendo l’impatto atteso. Il legame tra metriche tecniche e metriche di business non è sempre diretto e va monitorato attivamente.
Adozione da parte del team. Con quale frequenza il team utilizza il sistema? Su quali decisioni influisce? Ci sono schemi di mancato utilizzo che segnalano problemi di usabilità o di fiducia? L’adozione è il ponte tra le prestazioni tecniche e l’impatto sul business.
Distribuzione dei dati in ingresso. Se i dati che il modello riceve in produzione si discostano in modo significativo da quelli su cui è stato addestrato, le prestazioni possono peggiorare senza che le metriche tecniche lo rilevino subito. Il monitoraggio della distribuzione dei dati è un ulteriore livello di allerta precoce.
Quando riaddestrare e quando riprogettare
Il riaddestramento periodico con dati recenti è il modo più comune per mantenere le prestazioni di un modello. Ci sono però situazioni in cui non basta: quando il fenomeno che il modello prevede è cambiato strutturalmente (cambio di mercato, di prodotto o di processo), quando si aggiungono nuove fonti di dati che non erano disponibili nell’addestramento originario, oppure quando le prestazioni sono scese sotto la soglia accettabile e il riaddestramento non le recupera.
In questi casi la decisione corretta è riprogettare il modello, e la nuova progettazione si avvale di tutta l’esperienza accumulata nella fase di produzione.
Revisione trimestrale della strategia
Oltre al monitoraggio operativo dei modelli in produzione, la Fase 4 comprende revisioni periodiche della strategia di IA dell’azienda. In queste revisioni si valuta l’avanzamento rispetto alla roadmap, si integrano gli insegnamenti dei progetti implementati, si aggiornano le priorità delle iniziative in sospeso e si individuano nuovi casi d’uso non presenti nella mappa originaria.
La strategia di IA di un’azienda non è un documento che si scrive una volta e si esegue: è un processo iterativo che evolve con l’esperienza e con il contesto.
La differenza tra mantenere e far evolvere
Mantenere un sistema di IA significa che continua a funzionare correttamente. Farlo evolvere significa adattarlo alle esigenze mutevoli dell’azienda e allo stato dell’arte tecnologico.
Le aziende che si limitano a mantenere i propri sistemi di IA perdono gradualmente vantaggio competitivo: le capacità tecnologiche disponibili avanzano, i concorrenti introducono miglioramenti e il sistema originario diventa obsoleto. Una Fase 4 ben progettata comprende sia la manutenzione operativa sia l’evoluzione continua.
Il percorso completo
Monitoraggio ed evoluzione costituiscono la Fase 4 e la condizione permanente di qualsiasi programma di adozione dell’IA. Si basano sui progetti implementati nella Fase 3 e, con quanto si è appreso, alimentano le fasi di diagnosi e progettazione delle iniziative successive.