4 Informationen zur Medallion-Architektur
Die Medallion-Architektur ist ein geschichtetes Designmuster für die Organisation und Verarbeitung von Daten in einer Data Lakehouse-Umgebung.
- Vertrauenswürdige, hochwertige Daten
- Rückverfolgbarkeit und Auditierbarkeit
- Modulare, effiziente Rohrleitungen
AI Data Platform Workbench bietet Ihnen die Tools, mit denen Sie Ihre Bronze-, Silber- und Goldphasen einrichten und die Reinigung, Validierung und Anreicherung Ihrer Daten über jede Medaillonschicht automatisieren können.
Die Bronze-Schicht speichert Rohdaten, die aus den Quellsystemen aufgenommen wurden, und behält die Daten in ihrer ursprünglichen Form bei. Es fungiert als Ihre Single Source of Truth und unterstützt die Rückverfolgbarkeit und Auditierbarkeit. Die Daten werden direkt in die AI Data Platform übernommen, wobei die ursprüngliche Datenstruktur beibehalten wird und ein schneller, skalierbarer Abruf für die nachgelagerte Verarbeitung unterstützt wird. Die Daten werden dann in die Bronzeschicht aufgenommen und können verarbeitet werden.
Daten aus der Bronzeschicht werden verarbeitet und an die Silberschicht gesendet. Workflows, Agents und andere Automatisierung helfen Ihnen dabei, Duplikate zu bereinigen, zu entfernen und Ihre Daten so zu transformieren, dass sie analysefähig sind. Daten in der Silberschicht werden häufig quellenübergreifend verknüpft, um standardisierte, konsistente Informationen bereitzustellen.
Auf der Silberschicht verwalten und entwickeln Datenanalysten die bereinigten Daten, um sie auf den Verbrauch in Daten-Dashboards, erweiterten Analysen und Modellen für maschinelles Lernen vorzubereiten. Auf diese Weise vorbereitete Daten werden in der Goldschicht gespeichert, und Daten in der Goldschicht werden als die vertrauenswürdigsten behandelt und eignen sich am besten für das Training von Modellen und die Entwicklung von Datenvisualisierungen, Dashboards und mehr.