Il existe une large variété de technologies, d’outils et de techniques pouvant être utilisés pour le Data Management. Citons tout d’abord les systèmes de gestion de base de données (DBMS) permettant lestockage et l’organisation des données. On distingue les bases de données relationnelles données » NoSQL « .
Pour la gestion du Big Data, on utilise généralement des environnements conçus autour de technologies open source comme le framework de traitement distribué Hadoop. D’autres outils comme le moteur de traitement Spark ou les plateformes de traitement en streaming Kafka, Flink et Storm viennent compléter le tableau. Les services Cloud de stockage objet comme Amazon S3 sont aussi utilisés.
Parmi les outils de Data Management, on peut aussi citer les Data Warehouses et les Data Lakes. De telles plateformes de dépôt de données peuvent être utilisées pour la gestion et l’analyse de données. On peut effectuer des requêtes pour interroger les données, ou encore procéder à l’analyse grâce à des modèles de Machine Learning.
Pour l’intégration de données, la technique la plus couramment employée est celle de l’ETL : extraction, transformation et chargement. Cette méthode consiste à extraire les données de leurs sources, à les convertir dans un format exploitable et à les charger vers une Data Warehouse ou autre système.
La Data Governance repose quant à elles sur différentes techniques. Il s’agit notamment de superviser les ensembles de données pour vérifier leur conformité. Pour assurer la qualité des données, on vérifie qu’elles ne comportent pas d’erreurs. Le Data Cleansing permet de corriger les éventuelles erreurs et de supprimer les données corrompues ou erronées.
Enfin, la modélisation de données consiste à créer des modèles conceptuels, logiques et physiques pour servir de documentation visuelle sur les ensembles de données et à les cartographier pour répondre aux besoins en traitement et en analyse. Il peut s’agir par exemple de diagrammes et de schémas.
Il existe des solutions entièrement dédiées au Data Management, regroupant de nombreuses fonctionnalités pour prendre en charge tous les différents aspects. En guise d’exemples, on peut citer SAS Data Management, Adobe Data Management Platform, Salesforce Audience Studio, IBM Data Management ou Oracle BlueKai.
Pour la gestion du Big Data, on utilise généralement des environnements conçus autour de technologies open source comme le framework de traitement distribué Hadoop. D’autres outils comme le moteur de traitement Spark ou les plateformes de traitement en streaming Kafka, Flink et Storm viennent compléter le tableau. Les services Cloud de stockage objet comme Amazon S3 sont aussi utilisés.
Parmi les outils de Data Management, on peut aussi citer les Data Warehouses et les Data Lakes. De telles plateformes de dépôt de données peuvent être utilisées pour la gestion et l’analyse de données. On peut effectuer des requêtes pour interroger les données, ou encore procéder à l’analyse grâce à des modèles de Machine Learning.
Pour l’intégration de données, la technique la plus couramment employée est celle de l’ETL : extraction, transformation et chargement. Cette méthode consiste à extraire les données de leurs sources, à les convertir dans un format exploitable et à les charger vers une Data Warehouse ou autre système.
La Data Governance repose quant à elles sur différentes techniques. Il s’agit notamment de superviser les ensembles de données pour vérifier leur conformité. Pour assurer la qualité des données, on vérifie qu’elles ne comportent pas d’erreurs. Le Data Cleansing permet de corriger les éventuelles erreurs et de supprimer les données corrompues ou erronées.
Enfin, la modélisation de données consiste à créer des modèles conceptuels, logiques et physiques pour servir de documentation visuelle sur les ensembles de données et à les cartographier pour répondre aux besoins en traitement et en analyse. Il peut s’agir par exemple de diagrammes et de schémas.
Il existe des solutions entièrement dédiées au Data Management, regroupant de nombreuses fonctionnalités pour prendre en charge tous les différents aspects. En guise d’exemples, on peut citer SAS Data Management, Adobe Data Management Platform, Salesforce Audience Studio, IBM Data Management ou Oracle BlueKai.
Source: Newsletter
Commentaires
Enregistrer un commentaire