Les données sont le préalable de l’IA : sans fondations, pas d’édifice
Avant de parler de modèles d’IA, d’algorithmes ou de cas d’usage, il faut répondre à une question plus fondamentale : les données sont-elles en état d’être utilisées ? Dans la plupart des entreprises, la réponse honnête est non. Soit elles sont dispersées dans des systèmes qui ne communiquent pas entre eux, soit leur qualité est incertaine, soit personne ne sait précisément ce qui est disponible ni où cela se trouve.
L’architecture de données pour l’IA n’a rien d’une spécialité technique exotique : c’est l’ingénierie des fondations sur lesquelles reposera tout projet d’intelligence artificielle. La concevoir correctement dès le départ évite l’échec de projets qui produisent des modèles techniquement corrects mais fondés sur des données erronées.
Les modèles d’architecture actuels
Data warehouse
L’entrepôt de données classique consolide les données de plusieurs sources dans un référentiel structuré, optimisé pour les requêtes analytiques. Les entrepôts de données modernes dans le cloud (BigQuery, Snowflake, Redshift, Synapse) sont très évolutifs et permettent d’exécuter des modèles de machine learning directement sur les données stockées, sans avoir à les déplacer. Ils constituent la meilleure option lorsque les données sont principalement structurées et que le cas d’usage relève de l’analyse et du reporting.
Data lake
Le data lake stocke des données de tout format (structurées, semi-structurées, non structurées) sous leur forme brute, sans qu’il soit nécessaire de définir le schéma avant l’ingestion. Il convient donc particulièrement aux cas d’usage de l’IA qui exploitent des images, de l’audio, du texte libre ou des journaux, qui n’entrent pas dans les tables d’un entrepôt de données. En contrepartie, il exige une gestion plus rigoureuse pour ne pas devenir un marécage de données inexploitable.
Lakehouse
L’architecture lakehouse réunit le meilleur des deux approches : la souplesse du data lake pour stocker tout type de données et les capacités de gestion, de contrôle qualité et d’interrogation de l’entrepôt de données. Des plateformes comme Delta Lake, Apache Iceberg ou Databricks mettent en œuvre ce modèle, devenu le standard de fait des architectures de données de nouvelle génération orientées IA.
Les pipelines de données : de la source au modèle
Les données sont rarement prêtes à être exploitées par un modèle d’IA telles qu’elles arrivent des systèmes sources. Les pipelines de données sont l’ingénierie qui transforme les données brutes pour leur donner le format, la structure et la qualité dont les modèles ont besoin :
Ingestion : extraction des données des sources (ERP, CRM, capteurs, API externes), de façon périodique ou en temps réel.
Transformation : traitement des valeurs manquantes et des valeurs aberrantes, harmonisation des formats, jointure des tables liées, création de variables dérivées.
Validation : vérification automatique que les données répondent aux attentes définies avant qu’elles n’atteignent le modèle.
Mise à disposition : exposition des données traitées au modèle en entraînement, au pipeline d’inférence ou au tableau de bord d’analyse.
Des outils comme Apache Airflow, dbt, Prefect ou Dagster orchestrent ces pipelines : ils garantissent que chaque étape s’exécute dans le bon ordre et que les défaillances sont détectées et signalées avant de propager des données erronées.
Les erreurs d’architecture les plus fréquentes
La première erreur consiste à construire l’entrepôt de données parfait avant d’avoir un cas d’usage clair. L’architecture doit suivre les cas d’usage, et non les précéder. La deuxième consiste à ignorer la qualité des données jusqu’à ce que le modèle donne de mauvais résultats. La troisième consiste à ne pas documenter la sémantique des données (ce que signifie exactement chaque champ, comment il est calculé, quelles exceptions il comporte), ce qui conduit à des interprétations divergentes d’une équipe à l’autre.
Questions fréquentes
Faut-il un entrepôt de données avant de se lancer dans l’IA ?
Pas toujours. Pour des projets d’IA ciblés qui exploitent une ou deux sources de données, un pipeline direct peut suffire. L’entrepôt de données ou le lakehouse prend tout son sens lorsque plusieurs cas d’usage d’IA et d’analyse ont besoin des mêmes sources de données, avec une qualité garantie. Mieux vaut commencer par une architecture simple qui fonctionne que par une architecture parfaite qui demande des mois de mise en œuvre.
Cloud ou sur site pour l’architecture de données ?
Pour la plupart des ETI, les plateformes cloud offrent un meilleur rapport coût-capacité qu’une infrastructure propre, en particulier pour des charges de travail variables. Une solution sur site se justifie en cas d’exigences réglementaires strictes sur la localisation des données, ou lorsque les volumes sont si prévisibles et continus que le cloud revient comparativement cher.
Combien de temps faut-il pour construire une architecture de données pour un premier projet d’IA ?
Une architecture complète peut être conçue pour être livrée par étapes, avec de la valeur dès les premières phases. Le périmètre et le calendrier sont convenus avant de commencer.