4 A propos de l'architecture Medallion
L'architecture Medallion est un modèle de conception en couches pour l'organisation et le traitement des données dans un environnement de data lakehouse.
- Données fiables et de haute qualité
- Traçabilité et auditabilité
- Pipelines modulaires et efficaces
AI Data Platform Workbench vous fournit les outils nécessaires pour établir vos étapes de bronze, d'argent et d'or et automatiser le nettoyage, la validation et l'enrichissement de vos données via chaque couche de médaillon.
La couche bronze stocke les données brutes ingérées à partir de vos systèmes source, en conservant les données dans leur forme d'origine. Il agit comme votre source unique d'informations fiables et prend en charge la traçabilité et l'auditabilité. Les données sont extraites directement vers la plate-forme de données d'IA, en préservant la structure de données d'origine et en prenant en charge l'extraction rapide et évolutive pour le traitement en aval. Les données sont ensuite ingérées dans la couche de bronze et sont prêtes à être traitées.
Les données de la couche de bronze sont traitées et envoyées à la couche d'argent. Les workflows, les agents et d'autres fonctions d'automatisation vous aident à nettoyer, à supprimer les doublons et à transformer vos données afin qu'elles soient prêtes pour l'analyse. Les données de la couche Silver sont souvent jointes entre les sources pour fournir des informations standardisées et cohérentes.
Dans la couche Silver, les analystes de données gèrent et développent les données nettoyées pour les préparer à la consommation dans les tableaux de bord de données, les analyses avancées et les modèles de machine learning. Les données ainsi préparées sont stockées dans la couche d'or, et les données de la couche d'or sont traitées comme les plus fiables et les mieux adaptées à l'entraînement de modèles et au développement de visualisations de données, de tableaux de bord, etc.