Il limite dei team dati centralizzati
Nell’ultimo decennio il modello prevalente per gestire i dati in azienda è stato la centralizzazione: un unico team dati che riceve richieste da tutta l’organizzazione, acquisisce i dati da tutti i sistemi e fornisce analisi a tutti i reparti. Il modello funziona quando l’organizzazione è piccola e i dati non sono critici per il business.
Quando l’azienda cresce, i dati diventano un asset strategico e le richieste di analisi si moltiplicano, il team centrale diventa un collo di bottiglia. Le richieste si accumulano, i tempi si allungano e i team di business finiscono per creare soluzioni proprie a silos, aggravando il problema di partenza.
Data Mesh è la risposta architetturale e organizzativa a questo problema.
Che cos’è il Data Mesh
Il Data Mesh, concetto formalizzato da Zhamak Dehghani, si fonda su quattro principi:
-
Responsabilità dei dati per dominio: ogni area di business (vendite, produzione, finanza, logistica) è responsabile dei propri dati come se fossero un prodotto. Il team vendite non aspetta che il team dati centrale elabori i suoi dati: li governa, li pubblica e li mantiene in prima persona.
-
I dati come prodotto: ogni dominio pubblica i propri dati con la stessa cura per qualità, documentazione e accessibilità che dedicherebbe a un prodotto software. I consumatori interni possono fidarsi di quei dati.
-
Infrastruttura self-service: una piattaforma dati centralizzata fornisce gli strumenti, le pipeline e le capacità di archiviazione di cui i domini hanno bisogno, senza che debbano costruirla da zero.
-
Governance federata: esiste un insieme di standard comuni (sicurezza, privacy, interoperabilità) che tutti i domini applicano, con autonomia all’interno di quegli standard.
Che cos’è il Data Fabric e in che cosa si differenzia
Il Data Fabric è un approccio architetturale complementare che parte da una premessa diversa: invece di riorganizzare la responsabilità dei dati per domini, collega fonti eterogenee tramite metadati attivi e grafi di conoscenza, creando un livello di integrazione intelligente.
Se il Data Mesh è soprattutto un cambiamento organizzativo e di responsabilità, il Data Fabric è soprattutto un cambiamento tecnologico: usa cataloghi di metadati, motori di integrazione e una semantica condivisa per rendere accessibili e utilizzabili i dati di sistemi diversi senza spostarli.
I due approcci non si escludono: molte organizzazioni adottano i principi del Data Mesh nel modello operativo e le tecnologie del Data Fabric per risolvere l’integrazione tecnica.
Quando ha senso ciascun approccio
Il Data Mesh è adatto quando:
- l’azienda ha più divisioni o business unit con team tecnici propri;
- il team dati centrale non riesce a soddisfare la crescente domanda di analisi;
- i domini di business hanno una maturità tecnica sufficiente per gestire i propri dati.
Il Data Fabric è adatto quando:
- l’azienda deve integrare dati provenienti da molti sistemi eterogenei senza una riorganizzazione strutturale;
- i dati sono molto distribuiti geograficamente o su più cloud;
- la priorità è l’accessibilità e l’individuazione dei dati più che la loro responsabilità.
Per i gruppi con più società o divisioni, un’architettura Data Mesh può cambiare il rapporto tra i team dati e il business. Per le aziende con una grande varietà di sistemi legacy, il Data Fabric può essere il ponte verso una piattaforma dati più coerente.
Un’adozione graduale: non è tutto o niente
Né il Data Mesh né il Data Fabric richiedono una trasformazione radicale fin dal primo giorno. Il percorso più pragmatico parte dall’individuazione dei domini di dati più maturi e più richiesti, definisce con loro il modello del dato come prodotto ed estende gradualmente i principi al resto dell’organizzazione.
Lavoriamo con le aziende per valutare quale approccio si adatti alla loro struttura organizzativa, alla maturità dei dati e agli obiettivi di business, e progettiamo una roadmap che riduca al minimo i rischi della transizione.
Domande frequenti
Il Data Mesh è solo per le grandi aziende? No, anche se è più diffuso nelle grandi organizzazioni. Il principio della responsabilità per dominio è applicabile in qualsiasi azienda con più di due o tre aree di business distinte; ciò che cambia è la complessità dell’implementazione. Una media impresa può adottare i principi del Data Mesh in modo pragmatico, senza bisogno di una piattaforma infrastrutturale complessa.
Che cosa succede alla governance quando i dati sono distribuiti? La governance federata è uno dei pilastri del Data Mesh proprio per evitare che la decentralizzazione diventi caos. Si definiscono standard comuni di qualità, sicurezza, formato e documentazione che tutti i domini devono rispettare e si istituisce un organo di governance snello che vigila sull’applicazione senza microgestione.
Quanto tempo richiede la transizione al Data Mesh? Una transizione completa in un’organizzazione medio-grande è un progetto in più fasi. I primi benefici (maggiore autonomia dei domini, riduzione del backlog del team centrale, migliore qualità dei dati più critici) sono visibili al completamento dei primi domini, se le priorità sono definite correttamente.