Nel mondo dei dati c’è un’espressione che riassume con precisione il problema più frequente nei progetti di IA: «garbage in, garbage out». Un modello di intelligenza artificiale è, in sostanza, un sistema che apprende schemi dai dati con cui viene addestrato. Se quei dati sono errati, incompleti o non rappresentativi, il modello apprende schemi sbagliati, e le sue previsioni o classificazioni saranno errate pur con la massima sicurezza.
Per le aziende che stanno valutando o avviando progetti di IA, la qualità dei dati è il fattore che più spesso fa la differenza tra un progetto che genera valore e uno che non arriva in produzione.
Perché nessuno vuole guardare prima i dati
C’è una ragione pratica per cui molti progetti di IA partono dalla parte più visibile (il modello, l’interfaccia, la demo) invece che dai dati: sono i dati a rivelare più di ogni altra cosa i problemi di fondo dell’organizzazione.
Quando si fa un censimento serio dei dati di un’azienda emergono aspetti scomodi: record duplicati che nessuno aveva mai ripulito, campi obbligatori che in pratica nessuno compilava, sistemi che in teoria erano integrati ma usano chiavi diverse e non si possono incrociare, storici registrati correttamente solo da poco e preceduti da anni di dati incompleti.
Questa diagnosi è scomoda perché porta alla luce investimenti in pulizia e governance dei dati che non erano previsti nel budget iniziale. Ma farla all’inizio, prima di impegnare il budget di sviluppo del modello, è molto più efficiente che scoprire il problema a metà progetto.
I problemi di qualità più frequenti nelle aziende
Valori nulli o mancanti nelle variabili chiave. Se la variabile che il modello deve prevedere, o quelle che usa per prevederla, presentano un’alta percentuale di valori mancanti, il modello fatica ad apprendere schemi solidi. In alcuni casi i valori mancanti hanno un significato proprio: un campo vuoto in un ordine può indicare che il cliente non ha espresso una preferenza, non che il dato sia un errore. Trattare correttamente i valori mancanti richiede di capire il business, non solo il dato.
Record duplicati. I gestionali aziendali accumulano duplicati nel tempo: lo stesso cliente con due anagrafiche distinte, lo stesso fornitore con varianti del nome, lo stesso prodotto con codici diversi in epoche diverse. Nei modelli di machine learning, i duplicati distorcono gli schemi appresi.
Incoerenze tra sistemi. Un’azienda può avere ERP, CRM, sistema di produzione e sistema qualità che lavorano su dati che in teoria descrivono le stesse entità (clienti, prodotti, ordini) ma che non si possono incrociare perché usano chiavi o formati diversi. L’integrazione di queste fonti è spesso il lavoro più lungo di un progetto sui dati.
Dati storici che non rispecchiano il presente. Le aziende cambiano: cambiano il portafoglio prodotti, il mercato, i processi. Uno storico delle vendite di diversi anni fa può non essere rappresentativo della domanda attuale. Usare dati storici troppo vecchi può portare il modello ad apprendere schemi non più validi.
Distorsioni nei dati di addestramento. I dati riflettono le decisioni passate dell’azienda. Se in passato il credito veniva concesso solo a clienti con un certo profilo, i dati riflettono quella distorsione e il modello può perpetuarla. Individuare e correggere le distorsioni nei dati di addestramento è un aspetto della progettazione etica dei sistemi di IA che rientra anche nei requisiti del regolamento europeo sull’IA (AI Act).
Come valutare la qualità dei dati prima di cominciare
Un censimento della qualità dei dati ben fatto risponde a quattro domande fondamentali.
I dati esistono e sono accessibili? Non tutti i dati che in teoria esistono in un’azienda sono accessibili in modo programmatico. I dati contenuti in PDF non strutturati, in fogli Excel frammentati o in sistemi legacy privi di API richiedono un lavoro aggiuntivo di estrazione.
I dati sono completi? Per ogni variabile rilevante per il caso d’uso: quale percentuale di record ha un valore? I valori mancanti seguono uno schema (certi periodi, certi prodotti, certi clienti) che potrebbe introdurre distorsioni?
I dati sono coerenti? Gli stessi concetti sono codificati allo stesso modo in record e sistemi diversi? Le unità di misura sono omogenee? I formati delle date sono uniformi?
Lo storico è sufficiente e rappresentativo? Copre abbastanza cicli completi del fenomeno da modellare? Include eventi eccezionali correttamente etichettati?
Che cosa fare quando la qualità non è sufficiente
Una diagnosi che rivela problemi di qualità dei dati non è una condanna per il progetto. Le opzioni esistono.
Pulizia dei dati storici. Per molti problemi di qualità la soluzione è una pulizia sistematica dello storico. A seconda del volume e della complessità, può trattarsi di un progetto a sé o di una fase del progetto di IA.
Ridimensionare il perimetro del primo progetto. Se i dati di qualità sufficiente coprono solo una parte del caso d’uso originale, può avere senso partire da quel sottoinsieme, quello con dati puliti, e ampliare il perimetro quando la qualità del resto dei dati sarà migliorata.
Cominciare subito a raccogliere i dati in modo corretto. Se il dato necessario non esiste con una qualità sufficiente, il momento di iniziare a registrarlo bene è adesso. In alcuni casi il progetto di IA comincia con una fase di predisposizione della raccolta dati, e il modello si costruisce quando esiste uno storico di qualità sufficiente.
Domande frequenti
Esistono strumenti per valutare automaticamente la qualità dei dati? Sì. Esistono strumenti di data profiling e data quality che analizzano automaticamente completezza, coerenza, univocità e distribuzione dei dati. Accelerano la diagnosi ma non la sostituiscono: l’esperto di business resta necessario per interpretarne i risultati.
La data governance coincide con la qualità dei dati? Sono concetti collegati ma distinti. La qualità dei dati è lo stato attuale dei dati (completi, coerenti, corretti). La data governance comprende i processi, le politiche e le responsabilità che garantiscono il mantenimento della qualità nel tempo. Senza governance, la qualità si degrada; senza dati di qualità, la governance non ha oggetto. I progetti di IA ben progettati affrontano entrambi gli aspetti.
Quanto tempo serve per migliorare la qualità dei dati di un’azienda? Dipende dalla situazione di partenza e dal perimetro. I progetti di pulizia dei dati mirati a un caso d’uso specifico possono concludersi in poche settimane. I progetti di miglioramento della qualità dei dati a livello aziendale sono iniziative di lungo periodo. La strategia più pratica è partire dai dati necessari per il primo caso d’uso di maggior valore.