4 マスター・カタログを使用した管理
この章では、マスター・カタログ、標準および外部のカタログ、スキーマ、表およびボリュームを使用および理解するのに役立ちます。
マスター・カタログ
AIデータ・プラットフォーム・ワークベンチのマスター・カタログは、一元化されたビューを提供することでデータおよびメタデータを管理できる最上位エンティティです。
マスター・カタログは、標準カタログと外部カタログの両方のコンテナです。データ・アセットを含むカタログは、Oracle Autonomous AI Lakehouse、OCI Object StorageおよびKafkaで作成します。マスター・カタログでは、子オブジェクトに対する権限を適用できます。
標準カタログと外部カタログには、様々な機能とユース・ケースがあります。
- 標準カタログ:標準カタログはスキーマ(データベース)の論理コンテナで、ユーザーはスキーマに表、ビューおよびボリュームを作成できます。標準カタログは、すべての子オブジェクトのメタデータのライフサイクルを管理します。
- 外部カタログ:外部カタログは、Oracle Autonomous AI Lakehouse、Kafkaなどの外部データ・ソースに支えられています。外部カタログの場合、メタデータは外部ソースから同期され、ユーザーはcatalog_name.schema_name.table_nameのような3つの部分からなる名前を使用して外部ソース内のデータを問い合せることができます。外部カタログの場合、メタデータ・ライフサイクルは外部ソースによって管理され、マスター・カタログはメタデータのコピーを保持します。
マスター・カタログのユースケース
マスター・カタログは、データの準備と分析、非構造化データの格納などに役立つように活用できます。
SQL構文を使用したデータの問合せおよび分析
標準カタログに管理対象表または外部表を作成して、使い慣れたSQLのような構文を使用してデータの問合せと分析を行い、AIデータ・プラットフォームに格納されたデータの探索と理解を容易にします。
データ準備
マネージド/外部表に格納された構造化データのフォーマットを活用して、機械学習モデルのデータを準備し、クリーン、変換およびフィーチャ・エンジニアのデータを容易にします。これにより、機能エンジニアリングとモデル・トレーニングのための効率的なデータ・アクセスと処理が容易になります
時間移動
オープン表形式は、スキーマの展開をサポートします。データの構造は、データセット全体を書き換えることなく、時間の経過とともに変化することがあります。これらの表をバージョニングでき、ユーザーはタイム・トラベル問合せを実行して、データの履歴バージョンを問い合せることができるため、遡及分析およびデータ・リカバリが容易になります。
ACIDトランザクション・サポート
オープン表形式では、完全な作成、読取り、更新および削除(CRUD)操作がサポートされるため、データの一貫性が確保され、データの更新が可能になります。表を使用してトランザクション・データを格納および管理できるため、アプリケーションでデータの変更を追跡できます。
データの効率的な読取りおよび書込み
AI Data Platform Workbenchの表はパーティション化できるため、特に大規模なデータセットに対する効率的なデータ・アクセスおよび処理が可能になります。
非構造化データの格納および処理
非構造化データを格納する管理対象ボリュームまたは外部ボリュームを作成して、Apache Sparkを使用して処理できるようにします。
クロステナンシの外部表およびボリューム
クロステナンシの外部表およびボリュームを使用すると、複雑なETLパイプラインや手動データ移動を必要とせずに、異なるテナンシに格納されているデータに安全にアクセスして問合せできます。
AI Data Platform Workbenchを使用すると、ユーザーはクロステナンシの外部表およびボリュームを作成できます。これは、データのサイロを排除し、コラボレーションを合理化するために設計された強力な機能です。
- ゼロ・データ複製:ライブ・データが存在する場所にアクセスすることで、ストレージ・コストを節約し、「信頼できる唯一の情報源」の整合性を確保できます。
- シンプルなガバナンス: IAMポリシーとAI Data Platform Workbenchアクセス制御を使用して、境界を越えた権限を管理します。
クロス・テナンシ・アクセス要件
外部表およびボリュームのクロステナンシ・アクセスを設定するには、プロバイダ・テナンシおよびコンシューマ・テナンシで構成された特定のIAMポリシーが必要です。
プロバイダ・テナンシでは、特定のAI Data Platform Workbenchリソースをメンバーとして含むIAM動的グループをOracle Cloud Infrastructure (OCI)コンソールで作成する必要があります。詳細は、動的グループの管理を参照してください。
- コンシューマ・テナンシ、ユーザー・グループおよび動的グループのリソースをIAMで定義します
- コンシューマ・テナンシ・リソースのadmit IAMポリシーを記述します
define tenancy <consumer_tenancy_name1> as <consumer tenancy OCID>
define group <group_name1> as <consumer user group>
define dynamic-group <dynamic_group_name1> as <consumer dynamic group OCID>
admit dynamic-group <dynamic_group_name1> of tenancy <consumer_tenancy_name1> to manage object-family in tenancy
admit dynamic-group <dynamic_group_name1> of tenancy <consumer_tenancy_name1> to { OBJECTSTORAGE_NAMESPACE_READ } in tenancy
admit group <group_name1> of tenancy <consumer_tenancy_name1> to manage object-family in tenancy- プロバイダ・テナンシのIAMでのリソースの定義
- ローカル・コンシューマ・テナンシ・リソースのendorse IAMポリシーの記述
define tenancy <provider_tenancy_name1> as <provider tenancy OCID>
endorse dynamic-group <dynamic_group_name> to manage object-family in tenancy <provider_tenancy_name1>
endorse dynamic-group <dynamic_group_name> to { OBJECTSTORAGE_NAMESPACE_READ } in tenancy <provider_tenancy_name1>
endorse group <group_name> to manage object-family in tenancy <provider_tenancy_name1>プロバイダ・テナンシとコンシューマ・テナンシのIAMポリシーの両方を構成したら、SQL文法を使用してクロステナンシの外部表およびボリュームを作成できます。詳細は、SQL文法を参照してください。
例: SQLを使用したクロス・テナンシ表の作成
CREATE EXTERNAL TABLE [IF NOT EXISTS] <catalog_name>.<schema-name>.<table-name>
[ ( <column1-name><column1-type> [comment <column1-comment>], ... ) ]
USING [HIVE|DELTA, CSV, TXT, ORC, JDBC, PARQUET, etc.]
LOCATION 'oci://my-bucket@mytenancynamespace/my-folder/'
[TBLPROPERTIES ( DESCRIPTION = 'some-description', '<property-name>'='<property-value>'[, ...]) ]制限事項
AIデータ・プラットフォーム・ワークベンチでは、UIからのクロス・テナンシの外部表または外部ボリュームの作成はサポートされていません。