27 Gérer avec le catalogue maître
Ce chapitre vous aide à utiliser et à comprendre le catalogue maître, les catalogues, schémas, tables et volumes standard et externes dans Oracle AI Data Platform.
Rubriques :
Catalogue principal
Dans Oracle AI Data Platform, le catalogue maître est l'entité de premier niveau qui vous permet de gérer vos données et métadonnées en fournissant une vue centralisée.
Le catalogue principal est un conteneur pour les catalogues standard et externes. Vous créez des catalogues avec leurs ressources de données dans Oracle Autonomous AI Lakehouse, OCI Object Storage et Kafka. Le catalogue maître vous permet d'appliquer des autorisations sur ses objets enfant.
Les catalogues standard et externes ont des fonctions et des cas d'utilisation différents :
- Catalogue standard : un catalogue standard est un conteneur logique pour les schémas (bases de données). Les utilisateurs peuvent créer des tables, des vues et des volumes dans un schéma. Le catalogue standard gère le cycle de vie des métadonnées de tous les objets enfant.
- Catalogue externe : un catalogue externe est soutenu par des sources de données externes telles qu'Oracle Autonomous AI Lakehouse ou Kafka. Avec un catalogue externe, les métadonnées sont synchronisées à partir de la source externe et les utilisateurs peuvent interroger les données de la source externe à l'aide du nom en 3 parties, tel que catalog_name.schema_name.table_name. Le cycle de vie des métadonnées est géré par la source externe et le catalogue maître conserve une copie des métadonnées.
Pour créer, modifier et supprimer des catalogues standard et externes, vous devez disposer de certaines autorisations. Reportez-vous à Autorisations de catalogue maître.
Cas d'utilisation pour le catalogue principal
Vous pouvez utiliser le catalogue maître pour faciliter la préparation et l'analyse des données, le stockage de données non structurées, etc.
Interroger et analyser des données à l'aide de la syntaxe SQL
Créez des tables gérées ou externes dans un catalogue standard pour interroger et analyser les données à l'aide d'une syntaxe de type SQL familière, ce qui facilite l'exploration et la compréhension des données stockées dans Oracle AI Data Platform.
Préparer les données pour l'apprentissage automatique
Tirez parti du format structuré des données stockées dans des tables externes gérées pour préparer les données pour les modèles de machine learning, ce qui facilite le nettoyage, la transformation et l'ingénierie des fonctionnalités des données. Cela facilite l'accès aux données et leur traitement efficaces pour l'ingénierie des fonctionnalités et l'entraînement des modèles.
Rechercher des données historiques avec les déplacements dans le temps
Les formats de table ouverts prennent en charge l'évolution des schémas. La structure des données peut changer au fil du temps sans réécrire l'ensemble de données. Créez une version de ces tables et exécutez des requêtes de déplacement de temps pour interroger les versions historiques des données. Cela facilite l'analyse rétrospective et la récupération des données.
Prise en charge des transactions ACID
Les formats de table ouverts prennent en charge les opérations complètes de création, de lecture, de mise à jour et de suppression (CRUD), ce qui garantit la cohérence des données et active les mises à jour de données. Utiliser des tables pour stocker et gérer les données transactionnelles afin que les applications puissent suivre les modifications apportées aux données.
Lecture et écriture efficaces des données
Partitionnez les tables de la plate-forme de données AI pour permettre un accès et un traitement efficaces des données, en particulier pour les ensembles de données volumineux.
Stocker et traiter des données non structurées
Créez des volumes gérés ou externes pour stocker des données non structurées afin qu'elles puissent être traitées à l'aide d'Apache Spark.
Tables et volumes externes inter-location
Les volumes et les tables externes inter-locations vous permettent d'accéder aux données stockées dans des locations disparates et de les interroger en toute sécurité, sans avoir besoin de pipelines ETL complexes ni de déplacement manuel de données.
Oracle AI Data Platform vous permet de créer des tables et des volumes externes inter-locations, une fonctionnalité puissante conçue pour éliminer les silos de données et rationaliser la collaboration.
- Duplication zéro des données : vous accédez aux données en direct où elles résident, ce qui vous permet d'économiser sur les coûts de stockage et de garantir l'intégrité d'une source unique d'informations fiables.
- Gouvernance simplifiée : vous gérez les droits d'accès au-delà des frontières à l'aide de stratégies Identity and Access Management (IAM) et de contrôles d'accès AI Data Platform.
Exigences en matière d'accès inter-location
La configuration de l'accès inter-location pour les tables et les volumes externes nécessite des stratégies IAM spécifiques configurées dans une location de fournisseur et une location de consommateur.
Dans la location de fournisseur, vous devez créer un groupe dynamique IAM dans la console Oracle Cloud Infrastructure (OCI) qui inclut votre ressource AI Data Platform spécifique en tant que membre. Pour plus d'informations, reportez-vous à Gestion des groupes dynamiques.
- Définir des ressources dans IAM pour la location de destinataire, le groupe d'utilisateurs et les groupes dynamiques
- Ecrire une stratégie IAM admit pour les ressources de location de destinataire
define tenancy <consumer_tenancy_name1> as <consumer tenancy OCID>
define group <group_name1> as <consumer user group>
define dynamic-group <dynamic_group_name1> as <consumer dynamic group OCID>
admit dynamic-group <dynamic_group_name1> of tenancy <consumer_tenancy_name1> to manage object-family in tenancy
admit dynamic-group <dynamic_group_name1> of tenancy <consumer_tenancy_name1> to { OBJECTSTORAGE_NAMESPACE_READ } in tenancy
admit group <group_name1> of tenancy <consumer_tenancy_name1> to manage object-family in tenancy- Définition de la ressource dans IAM pour la location de fournisseur
- Ecrire une stratégie IAM endorse pour les ressources de location de consommateur local
define tenancy <provider_tenancy_name1> as <provider tenancy OCID>
endorse dynamic-group <dynamic_group_name> to manage object-family in tenancy <provider_tenancy_name1>
endorse dynamic-group <dynamic_group_name> to { OBJECTSTORAGE_NAMESPACE_READ } in tenancy <provider_tenancy_name1>
endorse group <group_name> to manage object-family in tenancy <provider_tenancy_name1>Une fois les stratégies IAM de location de fournisseur et de consommateur configurées, vous pouvez créer des volumes et des tables externes inter-locations à l'aide de la grammaire SQL. Pour plus d'informations, reportez-vous à Grammaire SQL.
Exemple : création d'une table de location croisée avec SQL
CREATE EXTERNAL TABLE [IF NOT EXISTS] <catalog_name>.<schema-name>.<table-name>
[ ( <column1-name><column1-type> [comment <column1-comment>], ... ) ]
USING [HIVE|DELTA, CSV, TXT, ORC, JDBC, PARQUET, etc.]
LOCATION 'oci://my-bucket@mytenancynamespace/my-folder/'
[TBLPROPERTIES ( DESCRIPTION = 'some-description', '<property-name>'='<property-value>'[, ...]) ]Limitation
La plate-forme de données d'IA ne prend pas en charge la création de tables externes inter-locations ou de volumes externes dans l'interface utilisateur.