Il problema di cui nessuno parla: i modelli che non arrivano mai in produzione
Secondo le stime raccolte da RAND, oltre l’80% dei progetti di IA fallisce, il doppio rispetto ai progetti tecnologici che non usano l’IA (RAND). Non perché i modelli siano tecnicamente scadenti: molti hanno ottime metriche nei notebook di prova. Il motivo è che nessuno ha risolto come integrarli nei sistemi reali, come mantenerli quando i dati cambiano o come capire perché, qualche settimana dopo il lancio, iniziano a dare risultati peggiori.
L’MLOps, la disciplina che applica i principi del DevOps al ciclo di vita del machine learning, esiste proprio per risolvere questo problema.
Perché i modelli di ML falliscono in produzione
Model drift e data drift
Un modello addestrato con dati di sei mesi fa può dare buoni risultati il primo giorno in produzione e poi peggiorare progressivamente, senza che nessuno se ne accorga finché il danno non diventa visibile nel business. I dati reali cambiano: il comportamento dei clienti evolve, i prezzi delle materie prime oscillano, compare una nuova categoria di prodotti. Il modello non apprende questi cambiamenti se non viene riaddestrato.
Differenze tra ambiente di sviluppo e di produzione
Il modello funziona sul portatile del data scientist con dati perfettamente preparati. In produzione i dati arrivano in ritardo, con campi mancanti, con formati leggermente diversi. Queste differenze tra l’ambiente di sperimentazione e quello di produzione sono la causa più frequente dei fallimenti nel deployment.
Assenza di monitoraggio
Un modello in produzione senza monitoraggio è una scatola nera che può fallire in silenzio. Senza alert sulla distribuzione dei dati in ingresso, sulla distribuzione delle previsioni e sulle metriche di business legate al modello, non c’è modo di rilevare il peggioramento prima che abbia un impatto reale.
I componenti dello stack MLOps che implementiamo
Tracciamento degli esperimenti
Strumenti come MLflow, Weights & Biases o Neptune registrano ogni esperimento di addestramento: quali dati, quali iperparametri, quali metriche. Si elimina così il problema del «non so come ho addestrato il modello migliore» e si può riprodurre qualsiasi risultato.
Pipeline di addestramento automatizzate
Il riaddestramento del modello non dovrebbe essere un processo manuale che dipende dal fatto che qualcuno si ricordi di eseguirlo. Le pipeline automatizzate riaddestrano il modello secondo un calendario o quando si rileva drift, eseguono le verifiche di qualità e, se il nuovo modello supera il precedente, lo mettono in produzione automaticamente.
CI/CD per il machine learning
Applicare i principi di integrazione e consegna continua al codice di ML fa sì che ogni modifica al modello o alla pipeline passi attraverso test automatici prima di arrivare in produzione. Si riduce così il rischio che una modifica fatta in buona fede peggiori le prestazioni in produzione senza che nessuno se ne accorga.
Monitoraggio in produzione
Dashboard che mostrano in tempo reale se la distribuzione dei dati in ingresso è cambiata (data drift), se le previsioni del modello si stanno allontanando dalla distribuzione attesa (prediction drift) e se le metriche di business legate al modello vanno nella direzione giusta.
Quando investire in MLOps
L’MLOps non serve per un prototipo o una proof of concept. Diventa necessario nel momento in cui il modello inizia a influire su decisioni di business reali. Se un modello di previsione del churn alimenta le decisioni del team di retention, ha bisogno di monitoraggio. Se un modello di credit scoring approva o respinge richieste, ha bisogno di audit e di un riaddestramento controllato.
Domande frequenti
Serve un team MLOps dedicato?
Per le aziende che mantengono in produzione più di due o tre modelli contemporaneamente, ha senso disporre di almeno una persona con profilo MLOps o ML Engineer. Per le aziende con un solo modello o con progetti iniziali, gli strumenti gestiti (MLflow, piattaforme cloud di ML) riducono il carico operativo a un livello sostenibile per il team esistente.
Come si rileva il model drift prima che causi danni?
Il monitoraggio statistico confronta la distribuzione dei dati attuali con quella dei dati di addestramento tramite test statistici (PSI, divergenza KL). Quando la differenza supera una soglia definita, scatta un alert. Il punto chiave è stabilire quanto drift sia tollerabile prima di riaddestrare, e questo dipende dalla velocità con cui cambia il business.
Quanto tempo richiede l’implementazione di un’infrastruttura MLOps di base?
I progetti che progettano l’MLOps fin dall’inizio dello sviluppo del modello sono più efficienti di quelli che cercano di aggiungerlo a posteriori. Portata e tempi dipendono dall’infrastruttura esistente.