4 Sobre a Arquitetura Medallion
A arquitetura Medallion é um padrão de design em camadas para organizar e processar dados em um ambiente de data lakehouse.
- Dados confiáveis e de alta qualidade
- Rastreabilidade e auditabilidade
- Pipelines modulares e eficientes
O AI Data Platform Workbench fornece as ferramentas necessárias para estabelecer seus estágios de bronze, prata e ouro e automatizar a limpeza, validação e enriquecimento de dados por meio de cada camada de medalhão.
A camada bronze armazena dados brutos ingeridos de seus sistemas de origem, preservando os dados em sua forma original. Ele atua como sua única fonte de verdade e suporta rastreabilidade e auditabilidade. Os dados são extraídos diretamente para a Plataforma de Dados de IA, preservando a estrutura de dados original e oferecendo suporte a recuperação rápida e escalável para processamento downstream. Os dados são então ingeridos na camada de bronze e estão prontos para processamento.
Os dados da camada de bronze são processados e enviados para a camada de prata. Fluxos de trabalho, agentes e outras automatizações ajudam a limpar, remover duplicatas e transformar seus dados para que estejam prontos para análise. Os dados na camada de prata são frequentemente unidos entre as fontes para fornecer informações padronizadas e consistentes.
Na camada de prata, os analistas de dados gerenciam e desenvolvem os dados limpos para prepará-los para consumo em painéis de dados, análises avançadas e modelos de machine learning. Os dados preparados dessa maneira são armazenados na camada de ouro e os dados na camada de ouro são tratados como os mais confiáveis e mais adequados para treinar modelos e desenvolver visualizações de dados, painéis e muito mais.