4 マスター・カタログを使用した管理
この章では、マスター・カタログ、標準および外部のカタログ、スキーマ、表およびボリュームを使用および理解するのに役立ちます。
マスター・カタログ
AIデータ・プラットフォーム・ワークベンチのマスター・カタログは、一元化されたビューを提供することでデータおよびメタデータを管理できる最上位エンティティです。
マスター・カタログは、標準カタログと外部カタログの両方のコンテナです。データ・アセットを含むカタログは、Oracle Autonomous AI Lakehouse、OCI Object StorageおよびKafkaで作成します。マスター・カタログでは、子オブジェクトに対する権限を適用できます。
標準カタログと外部カタログには、様々な機能とユース・ケースがあります。
- 標準カタログ:標準カタログはスキーマ(データベース)の論理コンテナで、ユーザーはスキーマに表、ビューおよびボリュームを作成できます。標準カタログは、すべての子オブジェクトのメタデータのライフサイクルを管理します。
- 外部カタログ:外部カタログは、Oracle Autonomous AI Lakehouse、Kafkaなどの外部データ・ソースに支えられています。外部カタログの場合、メタデータは外部ソースから同期され、ユーザーはcatalog_name.schema_name.table_nameのような3つの部分からなる名前を使用して外部ソース内のデータを問い合せることができます。外部カタログの場合、メタデータ・ライフサイクルは外部ソースによって管理され、マスター・カタログはメタデータのコピーを保持します。
マスター・カタログのユースケース
マスター・カタログは、データの準備と分析、非構造化データの格納などに役立つように活用できます。
SQL構文を使用したデータの問合せおよび分析
標準カタログに管理対象表または外部表を作成して、使い慣れたSQLのような構文を使用してデータの問合せと分析を行い、AIデータ・プラットフォームに格納されたデータの探索と理解を容易にします。
データ準備
マネージド/外部表に格納された構造化データのフォーマットを活用して、機械学習モデルのデータを準備し、クリーン、変換およびフィーチャ・エンジニアのデータを容易にします。これにより、機能エンジニアリングとモデル・トレーニングのための効率的なデータ・アクセスと処理が容易になります
時間移動
オープン表形式は、スキーマの展開をサポートします。データの構造は、データセット全体を書き換えることなく、時間の経過とともに変化することがあります。これらの表をバージョニングでき、ユーザーはタイム・トラベル問合せを実行して、データの履歴バージョンを問い合せることができるため、遡及分析およびデータ・リカバリが容易になります。
ACIDトランザクション・サポート
オープン表形式では、完全な作成、読取り、更新および削除(CRUD)操作がサポートされるため、データの一貫性が確保され、データの更新が可能になります。表を使用してトランザクション・データを格納および管理できるため、アプリケーションでデータの変更を追跡できます。
データの効率的な読取りおよび書込み
AI Data Platform Workbenchの表はパーティション化できるため、特に大規模なデータセットに対する効率的なデータ・アクセスおよび処理が可能になります。
非構造化データの格納および処理
非構造化データを格納する管理対象ボリュームまたは外部ボリュームを作成して、Apache Sparkを使用して処理できるようにします。