4 关于 Medallion 体系结构
Medallion 架构是一种分层设计模式,用于在数据湖仓一体环境中组织和处理数据。
在奖牌体系结构中,数据分为三个渐进阶段的管道:青铜、白银和黄金。奖章体系结构的主要优点如下:
- 可信、高质量的数据
- 可跟踪性和可审计性
- 模块化、高效的管道
AI Data Platform Workbench 提供各种工具,帮助您建立青铜、白银和黄金阶段,并通过每个奖牌层自动清理、验证和扩充数据。
青铜层存储从源系统摄取的原始数据,以原始形式保留数据。它可作为单一信息源,并支持可追溯性和可审计性。数据直接提取到 AI 数据平台中,以保留原始数据结构,并支持快速、可扩展的检索来进行下游处理。然后将数据摄取到青铜层并准备好进行处理。
来自青铜层的数据被处理并发送到银层。工作流、座席和其他自动化功能可帮助您清理、删除重复项并转换数据,从而为分析做好准备。银色层中的数据通常跨源联接,以提供标准化、一致的信息。
在银色层中,数据分析师管理和开发经过清理的数据,以便为数据仪表盘、高级分析和机器学习模型中的使用做好准备。以这种方式准备的数据存储在金层中,金层中的数据被视为最值得信赖的,最适合训练模型和开发数据可视化、仪表盘等。