4 Medallion 구조 정보
메달리온 아키텍처는 데이터 레이크하우스 환경에서 데이터를 구성 및 처리하기 위한 계층형 설계 패턴입니다.
메달 아키텍처에서 데이터는 청동, 은, 금의 세 가지 점진적 단계에 대한 파이프라인으로 나뉩니다. 주요 이점은 메달 아키텍처입니다.
- 신뢰할 수 있는 고품질 데이터
- 추적 및 감사 기능
- 모듈식, 효율적인 파이프라인
AI 데이터 플랫폼 워크벤치는 청동, 은, 금 단계를 설정하고 각 메달 계층을 통해 데이터를 청소, 검증 및 보강하는 데 사용할 수 있는 도구를 제공합니다.
청동 레이어는 소스 시스템에서 수집된 원시 데이터를 저장하여 데이터를 원래 형식으로 유지합니다. 신뢰성 있는 단일 소스 역할을 하며 추적성 및 감사 기능을 지원합니다. 데이터는 AI Data Platform으로 직접 풀링되어 원래의 데이터 구조를 보존하고 다운스트림 처리를 위한 빠르고 확장 가능한 검색을 지원합니다. 그런 다음 데이터가 청동 레이어로 수집되어 처리할 준비가 되었습니다.
청동층의 데이터가 처리되어 은층으로 전송됩니다. 워크플로우, 에이전트 및 기타 자동화를 통해 중복된 데이터를 정리, 제거 및 변환하여 분석이 가능하도록 할 수 있습니다. Silver 계층의 데이터는 표준화되고 일관된 정보를 제공하기 위해 소스 간에 결합되는 경우가 많습니다.
실버 계층에서 데이터 분석가는 정리된 데이터를 관리 및 개발하여 데이터 대시보드, 고급 분석 및 머신 러닝 모델에서 사용할 수 있도록 준비합니다. 이러한 방식으로 준비된 데이터는 골드 레이어에 저장되며 골드 레이어의 데이터는 가장 신뢰할 수 있는 것으로 취급되며 모델 교육 및 데이터 시각화, 대시보드 개발에 가장 적합합니다.