4 Acerca de la Arquitectura de Medallion
La arquitectura de medallón es un patrón de diseño en capas para organizar y procesar datos en un entorno de data lakehouse.
- Datos fiables y de alta calidad
- Trazabilidad y auditabilidad
- Pipelines modulares y eficientes
AI Data Platform Workbench le proporciona las herramientas para establecer sus etapas de bronce, plata y oro y automatizar la limpieza, la validación y el enriquecimiento de sus datos a través de cada capa de medallón.
La capa de bronce almacena los datos no procesados que se ingieren desde los sistemas de origen, conservando los datos en su formato original. Actúa como su única fuente de datos y respalda la trazabilidad y la auditabilidad. Los datos se extraen directamente en AI Data Platform, conservando la estructura de datos original y soportando una recuperación rápida y escalable para el procesamiento descendente. A continuación, los datos se ingieren en la capa de bronce y están listos para su procesamiento.
Los datos de la capa de bronce se procesan y envían a la capa de plata. Los flujos de trabajo, los agentes y otros tipos de automatización te ayudan a limpiar, eliminar duplicados y transformar tus datos para que estén listos para el análisis. Los datos en la capa de plata a menudo se unen a través de fuentes para proporcionar información estandarizada y consistente.
En la capa de plata, los analistas de datos gestionan y desarrollan los datos limpios para prepararlos para su consumo en paneles de datos, análisis avanzados y modelos de aprendizaje automático. Los datos preparados de esta manera se almacenan en la capa de oro, y los datos en la capa de oro se tratan como los más confiables y adecuados para entrenar modelos y desarrollar visualizaciones de datos, paneles de control y más.