4 Medallionアーキテクチャについて

Medallionアーキテクチャは、データレイクハウス環境でデータを編成および処理するための階層化された設計パターンです。

メダリオン・アーキテクチャでは、データはブロンズ、シルバーおよびゴールドの3つの進行段階のパイプラインに分割されます。Medallionアーキテクチャの主なメリットは次のとおりです。

• 信頼性の高い高品質のデータ
• トレーサビリティと監査可能性
• モジュラーで効率的なパイプライン

AI Data Platform Workbenchには、ブロンズ、シルバー、ゴールドの各ステージを確立し、各メダリオン・レイヤーを通じてデータのクリーニング、検証、エンリッチを自動化するためのツールが用意されています。

ブロンズ・レイヤーには、ソース・システムから取り込まれたRAWデータが格納され、データは元の形式で保持されます。信頼できる唯一の情報源として機能し、トレーサビリティと監査可能性をサポートします。データはAI Data Platformに直接取り込まれ、元のデータ構造を維持し、ダウンストリーム処理のための高速でスケーラブルな取得をサポートします。その後、データはブロンズ層に取り込まれ、処理の準備が整います。

ブロンズ層のデータが処理され、シルバー層に送信されます。ワークフロー、エージェント、その他の自動化により、データのクレンジング、重複の削除、変換が可能になり、分析が容易になります。シルバー層のデータは、標準化された一貫性のある情報を提供するために、複数のソースにわたって結合されることがよくあります。

シルバー・レイヤーでは、データ・アナリストがクリーン・データを管理および開発して、データ・ダッシュボード、高度な分析および機械学習モデルで使用できるように準備します。このように準備されたデータはゴールド・レイヤーに格納され、ゴールド・レイヤーのデータは最も信頼性が高く、モデルのトレーニングやデータ・ビジュアライゼーション、ダッシュボードなどの開発に最適です。