4 關於 Medallion 架構
Medallion 架構是一種分層設計模式,可用於組織及處理資料湖庫環境中的資料。
在冥想架構中,資料分為三個漸進階段的管線:銅、銀和金。獎牌架構的主要優點如下:
- 值得信賴的高品質資料
- 可追溯性與可稽核性
- 模組化、高效管線
AI Data Platform Workbench 提供您建立銅級、銀級和金級階段的工具,並透過每個牌照層自動清理、驗證和豐富資料。
銅層儲存從來源系統擷取的原始資料,並以其原始形式保留資料。它可作為單一事實來源,並支援可追蹤性與可稽核性。資料會直接提取至 AI 資料平台,保留原始資料結構,並支援快速、可擴展的擷取,以進行下游處理。接著,資料會擷取至銅層,並準備好進行處理。
銅層的資料會處理並傳送至銀層。工作流程、專員和其他自動化可協助您清理、移除重複項目,以及轉換資料,讓資料可供分析使用。銀層中的資料通常會跨來源結合,以提供標準化且一致的資訊。
在銀層中,資料分析師會管理和開發乾淨的資料,以準備在資料儀表板、進階分析和機器學習模型中使用。以這種方式準備的資料會儲存在黃金層,而黃金層的資料則被視為最值得信任的資料,最適合用於訓練模型及開發資料視覺化、儀表板等。