Gérer les catalogues

Vous pouvez désormais activer plusieurs catalogues à l'aide de l'outil de catalogue.

Vous pouvez monter des catalogues supplémentaires à partir d'une autre base de données d'intelligence artificielle autonome dans la même location, afin de pouvoir rechercher des données dans plusieurs bases de données.

Monter la base de données IA autonome en tant que catalogue

Vous utiliserez une base de données d'intelligence artificielle autonome existante pour créer un lien de base de données et fournir un nom de catalogue pour la monter.

Note

Pour monter une base de données d'intelligence artificielle autonome en tant que catalogue, vous devez disposer des privilèges système CREATE DATABASE LINK et CREATE ANY DIRECTORY. Les privilèges système CREATE DATABASE LINK et CREATE ANY DIRECTORY sont accordés à l'utilisateur ADMIN. L'utilisateur ADMIN peut accorder des privilèges système CREATE DATABASE LINK et CREATE ANY DIRECTORY à d'autres utilisateurs.

Pour ajouter une base de données d'intelligence artificielle autonome en tant que catalogue, vous devez effectuer les opérations suivantes :
  • Stocker vos données d'identification pour le stockage d'objets dans votre base de données Autonomous AI Database
  • Créer un lien de base de données ou utiliser un lien de base de données existant
  • Monter le lien de base de données en tant que catalogue
  1. Dans la page Catalogue, sélectionnez Gérer le catalogue. Cliquez sur +Add.

  2. Dans la page Ajouter un catalogue, sélectionnez Base de données autonome d'IA comme source de catalogue.



  3. Sélectionnez le nom de la base de données dans la liste déroulante. Par exemple, TESTING (TEST).
  4. Vous pouvez afficher les champs suivants après avoir sélectionné le nom de la base de données. Spécifiez les valeurs de champ suivantes :



    • Nom du catalogue : Entrez le nom du catalogue dans lequel vous voulez monter le lien de base de données. Par exemple, TESTING (TEST).
    • Nom du lien de base de données : Entrez le nom du lien de base de données créé par l'outil à l'aide de la base de données existante. Par exemple, TESTING_LINK.
    • Données d'identification de base de données : Sélectionnez les données d'identification dans la liste déroulante qui est requise pour créer le lien de base de données. Par exemple, AWSGLUE_CRED.

      Cliquez sur Créer des données d'identification si aucune donnée d'identification n'existe.

    • Sous Afficher les options avancées, sélectionnez le nom du répertoire du portefeuille dans la liste déroulante. Vous devez être autorisé à accéder au répertoire. Par exemple, WALLET_DIR-TESTING.
      Note

      Le fichier de portefeuille, ainsi que l'ID utilisateur et le mot de passe de la base de données, permettent d'accéder aux données dans Oracle Autonomous AI Database cible.
    • Cliquez sur Tester pour tester la création du lien de base de données.

    Cliquez sur Créer pour créer la base de données de l'IA autonome en tant que catalogue.

Une fois la création réussie, vous pouvez voir la base de données IA autonome répertoriée sous Gérer le catalogue.

Monter un lien de base de données existant en tant que catalogue

Vous pouvez instancier un schéma de catalogue en tant qu'utilisateur de base de données local. Si un lien de base de données a déjà été configuré, vous pouvez monter un catalogue sur la base de données liée afin de rechercher et de détecter des jeux de données dans cette base.

Le montage d'un catalogue nécessite les informations suivantes :
  • Nom du lien de base de données
  • Données d'identification en nuage requises pour accéder aux données

Vous pouvez ajouter un lien de base de données à l'une des bases de données et monter ses métadonnées en tant que nouveau catalogue.

  1. Dans la page Catalogue, sélectionnez Gérer le catalogue.
  2. Cliquez sur +Add.
  3. Dans la page Ajouter un catalogue, sélectionnez Lien de base de données dans la source du catalogue.



  4. Sélectionnez l'onglet Lien de base de données.



  5. Sélectionnez le nom du lien de base de données dans la liste déroulante. Par exemple, AA-TESTING_LINK.
  6. Entrez le nom du catalogue dans le champ Nom du catalogue. Par exemple, AA-TESTING_LINK.
  7. Cliquez sur Créer.

    Vous pouvez voir le catalogue nouvellement monté dans la boîte de dialogue Gérer les catalogues.

    Après avoir monté avec succès un nouveau catalogue sur une base de données connectée à l'aide d'un lien de base de données, vous pouvez sélectionner le catalogue dans l'explorateur de catalogues et y rechercher des données.

Montez Live Share ou Delta Share Provider en tant que catalogue

Vous pouvez monter des catalogues à partir de partages de données enregistrés. Cela permet aux consommateurs d'accéder aux tables définies par d'autres fournisseurs dans d'autres bases de données. Les tables externes doivent être définies une seule fois.

  1. Dans la page Catalogue, sélectionnez Gérer le catalogue. Cliquez sur +Add.
  2. Dans la page Ajouter un catalogue, sélectionnez Partage de données dans la source du catalogue.



  3. Cliquez sur Suivant pour passer à l'onglet Paramètres du fournisseur de partage.
    Sous Share Source, sélectionnez l'une des options disponibles :
    • Sélectionner dans les fournisseurs de partage en direct
    • JSON du fournisseur de partage Delta

    Dans cet exemple, vous allez sélectionner la source de partage dans Live Share Providers.

    Sous Partager les détails du fournisseur, spécifiez les détails suivants :

    • Nom du fournisseur : Entrez le nom du fournisseur de partages. Par exemple, TEST-PROVIDER.
    • Description : Entrez une description. Ce champ est facultatif.



  4. Cliquez sur Suivant pour passer à l'onglet Sélectionner des partages.
  5. Dans l'onglet Paramètres du fournisseur de partage, glissez-déposez le partage à monter en tant que catalogue à partir des partages disponibles vers les partages sélectionnés.
  6. Cliquez sur Suivant pour passer à l'onglet Détails du catalogue. Dans l'onglet Détails du catalogue, spécifiez les détails suivants :
    • Nom du catalogue : Entrez le nom du catalogue de votre choix.
    • Description du catalogue : Entrez une description.
  7. Sélectionnez Créer pour monter un partage en direct ou un partage Delta en tant que catalogue.

Après avoir monté avec succès un nouveau catalogue sur un partage, vous pouvez sélectionner le catalogue dans l'explorateur de catalogues et y rechercher des données.

Monter la colle Amazon en tant que catalogue

Vous pouvez monter des catalogues à partir de connexions de données AWS Glue enregistrées.

  1. Dans la page Catalogue, sélectionnez Gérer le catalogue.
  2. Cliquez sur +Add.
  3. Dans la page Ajouter un catalogue, sélectionnez Glue Amazon dans la source du catalogue.



  4. Cliquez sur Suivant pour passer à l'onglet Catalogue de colle Amazon.
  5. Dans l'onglet Amazon Glue Catalog, spécifiez les détails suivants :
    • Données d'identification pour la connexion au catalogue de données : Sélectionnez des données d'identification dans la liste déroulante.
    • Région : Sélectionnez une région dans la liste déroulante.
  6. Cliquez sur Next (Suivant) pour passer à l'onglet Catalog details (Détails du catalogue). Spécifiez les valeurs de champ suivantes dans l'onglet Détails du catalogue :
    • Nom du catalogue : Entrez le nom à utiliser dans Data Studio pour faire référence au catalogue.
    • Description du catalogue : Entrez une description du catalogue.
  7. Cliquez sur Créer pour monter la région Catalogue de données de colle AWS en tant que catalogue.

Une fois que vous avez monté avec succès un nouveau catalogue sur une région AWS Glue Data Catalog, vous pouvez sélectionner le catalogue dans l'explorateur de catalogues et y rechercher des données.

Monter le catalogue de données OCI en tant que catalogue

Vous pouvez monter des catalogues à partir d'un catalogue de données OCI enregistré.

  1. Dans la page Catalogue, sélectionnez Gérer le catalogue. Cliquez sur +Add.
  2. Dans la page Ajouter un catalogue, sélectionnez Catalogue de données OCI dans la source du catalogue.



  3. Cliquez sur Suivant pour passer à l'onglet Catalogue de données OCI.
  4. Dans l'onglet Catalogue de données OCI, spécifiez les valeurs de champ suivantes :
    • Données d'identification pour la connexion au catalogue de données : Sélectionnez des données d'identification dans la liste déroulante. Ce champ est obligatoire. Par exemple, BASICOCICRED.

    • Région : Sélectionnez une région dans la liste déroulante. Ce champ est obligatoire. Par exemple, us-phoenix-1.

    • ID catalogue de données : Sélectionnez un ID catalogue de données dans la liste déroulante. Un ID catalogue de données est l'ID du compte auquel appartient le catalogue de données. Par exemple, catalog1.

      Sélectionnez Utiliser des données d'identification distinctes pour le stockage d'objets pour utiliser des données d'identification différentes de celles sélectionnées.



  5. Cliquez sur Next (Suivant) pour passer à l'onglet Catalog details (Détails du catalogue).
  6. Dans l'onglet Détails du catalogue, spécifiez les valeurs de champ suivantes :
    • Nom du catalogue : Entrez le nom à utiliser dans Data Studio pour faire référence au catalogue. Par exemple, TEST_CATALOG.
    • Description du catalogue : Entrez une description du catalogue.



  7. Cliquez sur Créer pour monter le catalogue de données OCI en tant que catalogue.

Après avoir monté avec succès un nouveau catalogue sur un catalogue de données OCI, vous pouvez sélectionner le catalogue dans l'explorateur de catalogues et y rechercher des données.

Monter un catalogue sur un catalogue de données Iceberg

Vous pouvez ajouter un catalogue sur un catalogue de données Iceberg. L'intégration d'un catalogue avec des données Iceberg implique la connexion avec des catalogues pris en charge tels que Unity et Polaris. Pour intégrer les catalogues de données Iceberg via Data Studio, vous devez vous assurer que vos catalogues Iceberg sont correctement configurés et accessibles.

Pour configurer votre catalogue Iceberg et y accéder, vous devez disposer des éléments suivants :
  1. Point d'extrémité Iceberg : Configurez Polaris ou Unity Catalog à l'aide de l'API REST Iceberg. Il s'agit de spécifier le type de catalogue, l'URI et l'emplacement de l'entrepôt avec lac de données. Vous aurez besoin du point d'extrémité REST pour votre catalogue Iceberg externe. Il s'agit de l'URL qui donne accès aux métadonnées Iceberg.

    Exemple : https://your-iceberg-catalog.com/api/v1/iceberg

  2. Point d'extrémité de jeton : Le point d'extrémité /v1/oauth/tokens est fourni par les catalogues REST Iceberg pour émettre un jeton de porteur.
  3. ID client et clé secrète client : Il s'agit des données d'identification fournies par le serveur OAuth pour identifier votre application (dans ce cas, l'intégration du catalogue Unity et Polaris). Vous utiliserez ces données d'identification pour générer un jeton de porteur.
  4. Jeton de porteur : Pour authentifier les demandes vers le point d'extrémité REST Iceberg, vous utiliserez OAuth avec les données d'identification de client. L'outil Catalogue appelle le point d'extrémité du jeton pour recevoir le jeton du porteur.
  5. Espace de noms : Un espace de noms est équivalent à un schéma dans une base de données. Cet emplacement servira de référentiel pour vos tables Iceberg dans le catalogue. Les catalogues Iceberg regroupent les tables en espaces de noms, qui peuvent être imbriqués dans d'autres espaces de noms. La spécification Iceberg prend en charge des niveaux arbitraires de nidification.

    Par exemple, une table SALES peut être définie dans un espace de noms STORES, qui est défini dans un espace de noms RETAIL, qui est lui-même défini dans un espace de noms CORPORATE. L'emplacement de l'iceberg d'une telle table serait CORPORATE.RETAIL.STORES.SALES.

Voici un exemple de configuration pour créer une intégration de catalogue REST qui utilise OAuth pour se connecter aux tables Apache Iceberg :
CREATE OR REPLACE CATALOG INTEGRATION tabular_catalog_int
  CATALOG_SOURCE = ICEBERG_REST
  TABLE_FORMAT = ICEBERG
  CATALOG_NAMESPACE = 'default'
  REST_CONFIG = (
    CATALOG_URI = 'https://api.tabular.io/ws'
    CATALOG_NAME = '<tabular_lakehouse_name>'
  )
  REST_AUTHENTICATION = (
    TYPE = OAUTH
    OAUTH_TOKEN_URI = 'https://api.tabular.io/ws/v1/oauth/tokens'
    OAUTH_CLIENT_ID = '<oauth_client_id>'
    OAUTH_CLIENT_SECRET = '<oauth_secret>'
    OAUTH_ALLOWED_SCOPES = ('catalog')
  )
  ENABLED = TRUE;

Ici, CATALOG_URI est le point d'extrémité REST pour accéder à l'entrepôt avec lac de données.

La procédure REST_AUTHENTICATION se compose de tous les paramètres dont vous avez besoin pour créer BEARER TOKEN et l'utiliser pour créer les données d'identification.

Pour plus d'informations à ce sujet, voir Configurer une intégration de catalogue pour les catalogues REST Apache Iceberg™.

Pour monter un catalogue Polaris sur un catalogue de données Iceberg :
  1. Dans la page Catalogue, sélectionnez Gérer le catalogue. Cliquez sur +Add.
  2. Dans la boîte de dialogue Ajouter un catalogue, sélectionnez Catalogue Iceberg dans l'onglet Source de catalogue.



    Cliquez sur Suivant.

  3. Spécifiez les valeurs de champ suivantes dans l'onglet Source du catalogue de la boîte de dialogue Ajouter un catalogue :
    • Nom du catalogue : Entrez le nom du catalogue dans lequel vous voulez monter le catalogue Iceberg.

      Par exemple, Polaris.

    • Type de catalogue Iceberg : Sélectionnez Polaris dans le champ déroulant.

    • Point d'extrémité du catalogue Iceberg : Il spécifie l'URL de votre compte du catalogue Polaris. Le point d'extrémité du catalogue Polaris de Snowflake est généralement au format https ://<account_locator>.snowflakecomputing.com/polaris/api/catalog. Pour plus d'informations sur les formats d'identificateur de compte, consultez la documentation de Snowflake.
    • Données d'identification du catalogue Iceberg : Sélectionnez des données d'identification dans la liste déroulante des données d'identification disponibles. Si vous n'avez pas de données d'identification, vous pouvez en créer une. Sélectionnez Créer des données d'identification. Dans la boîte de dialogue Create Credential, spécifiez les valeurs de champ suivantes :
      • Nom des données d'identification : Entrez le nom de vos données d'identification. Par exemple, POLARIS_CRED.
        Sous Obtenir un nouveau jeton de porteur,
        • Point d'extrémité de jeton d'accès : Entrez le point d'extrémité de spécification REST Iceberg. Cela génère un jeton d'accès à l'aide de OAuth2 défini comme /v1/oauth/tokens.

          Ce point d'extrémité a été conçu pour faciliter l'authentification en échangeant les données d'identification du client (ID client et clé secrète client) pour un jeton d'accès.

          Note

          Le point d'extrémité /v1/oauth/tokens est obsolète dans Iceberg version 1.6.0 et sera supprimé dans la version 2.0. Nous vous encourageons à vous fier plutôt à des fournisseurs OAuth2 externes. Pour plus de détails, voir Authentification OAuth.
        • Type d'octroi : Sélectionnez Données d'identification du client.
        • ID client : Spécifiez l'ID client.
        • Clé secrète client : Spécifiez la clé secrète client.
        • Portée : PRINCIPAL_ROLE:ALL.

          Cliquez sur Obtenir le jeton.

          Le champ Jeton du porteur est alimenté.

        Cliquez sur Créer des données d'identification.

        POLARIS_CRED est affiché en tant que données d'identification du catalogue Iceberg.



        Note

        Les données d'identification sont stockées à l'aide de la procédure DBMS_CLOUD.CREATE_CREDENTIAL dans le serveur dorsal.

        Pour l'exemple fourni ci-dessus, la procédure serait la suivante :
        BEGIN
          dbms_cloud.create_credential( 
            credential_name  =>  'POLARIS_CRED',
            username         =>  'BEARER_TOKEN',
            password         =>  '<BEARER_TOKEN_VALUE This is generated using token endpoint, client id, client secret>'
          );
        END;



      Ces données d'identification permettent à Oracle Autonomous AI Database d'accéder à la table Iceberg.

    • Données d'identification de seau : Ces données d'identification stockent un volume de stockage en nuage pour stocker vos tables Iceberg au format Parquet. Ce champ est obligatoire pour les catalogues Polaris.

      Cliquez sur Suivant pour passer à l'onglet Catalogue Iceberg.

  4. Dans l'onglet Catalogue Iceberg, vous pouvez spécifier les valeurs de champ suivantes :

    • Espaces de noms de catalogue Iceberg : Ce champ affiche l'organisation hiérarchique des tables. Le point d'extrémité du catalogue Iceberg se compose de l'espace de noms racine. Sélectionnez l'espace de noms sur lequel le catalogue doit être monté.
    • Style de séparateur d'espace de noms : Sélectionnez Style Polaris. Il s’agit de la valeur par défaut. Sélectionnez une valeur en fonction de la configuration de votre catalogue.
      Note

      Il est préférable de conserver la valeur par défaut.
    • Région du seau : Entrez la région du seau. Par exemple, us-west-2.

      Les points d'extrémité du catalogue Iceberg servent d'interfaces pour la gestion des tables Iceberg stockées dans le stockage en nuage comme S3. La région du seau fait référence à l'emplacement géographique où le seau S3 est hébergé.

      Ce champ est obligatoire pour les catalogues Polaris.



    Cliquez sur Ajouter.

    Après avoir monté avec succès un nouveau catalogue sur un catalogue Iceberg, vous pouvez voir le catalogue Polaris dans la page Gérer les catalogues. Vous pouvez désactiver et supprimer le catalogue à partir de cette page.



Afficher le catalogue Polaris monté dans l'explorateur de catalogues

Une fois que vous avez monté le nouveau catalogue, vous pouvez charger des tables à partir du catalogue monté. Pour rechercher dans le catalogue :
  1. Dans l'outil Catalogue, cliquez sur Sélectionner des catalogues....
  2. Cliquez sur le filtre POLARIS _CATALOG dans l'assistant Catalogs and Schemas pour afficher les catalogues POLARIS_CATALOG.
  3. Cliquez sur Appliquer pour voir les résultats dans la page Catalogue.





Pour monter un catalogue Unity sur un catalogue de données Iceberg :
  1. Dans la page Catalogue, sélectionnez Gérer le catalogue. Cliquez sur +Add.
  2. Dans la boîte de dialogue Ajouter un catalogue, sélectionnez Iceberg Catalog.



  3. Cliquez sur Suivant.
  4. Spécifiez les valeurs de champ suivantes dans l'onglet Source du catalogue de la boîte de dialogue Ajouter un catalogue :
    • Nom du catalogue : Entrez le nom du catalogue dans lequel vous voulez monter le catalogue Iceberg.

      Par exemple, Unité.

    • Type de catalogue Iceberg : Sélectionnez Unité dans le champ déroulant.
    • Point d'extrémité du catalogue Iceberg :

      Pour Unity Catalog, vous utilisez généralement l'API REST Databricks. Le point d'extrémité pour accéder aux tables Iceberg au moyen du catalogue Unity est généralement au format https ://<databricks-instance-url>/api/2.1/unity-catalog/iceberg.

      Note

      Pour plus d'informations, voir https://docs.databricks.com/aws/en/external-access/iceberg.
    • Données d'identification du catalogue Iceberg : Sélectionnez des données d'identification dans la liste déroulante des données d'identification disponibles. Si vous n'avez pas de données d'identification, vous pouvez en créer une. Sélectionnez Créer des données d'identification.
      Dans la boîte de dialogue Create Credential, indiquez les valeurs suivantes :
      • Nom des données d'identification : Entrez le nom de vos données d'identification. Par exemple, UNITY_CRED.
      • Jeton du porteur : Collez la valeur du jeton du porteur.

        Sélectionnez Créer des données d'identification.

        UNITY_CRED est affiché sous Données d'identification du catalogue Iceberg.



      Cliquez sur Suivant pour passer à l'onglet Catalogue Iceberg.

      Dans l'onglet Catalogue Iceberg, vous pouvez spécifier les valeurs de champ suivantes :

    • Espaces de noms de catalogue Iceberg : Sélectionnez l'un des schémas auxquels vous devez accéder.
    • Style de séparateur d'espace de noms : Le style de séparateur d'espace de noms fait généralement référence à la façon dont les espaces de noms sont structurés et séparés dans le catalogue. Par défaut, Style des liens de données est sélectionné.
    • Région de seau : Ce champ n'est pas obligatoire.



      Cliquez sur Ajouter.



    Après avoir monté avec succès un nouveau catalogue sur un catalogue Iceberg, vous pouvez voir le catalogue Unity dans la page Gérer les catalogues. Vous pouvez désactiver et supprimer le catalogue à partir de cette page.

Voir le catalogue Unity monté dans l'outil Catalogue

Une fois que vous avez monté le nouveau catalogue, vous pouvez charger des tables à partir du catalogue monté. Pour rechercher dans le catalogue :
  1. Dans l'outil Catalogue, cliquez sur Sélectionner des catalogues….
  2. Cliquez sur le filtre UNITY _CATALOG de l'assistant Catalogs and Schemas pour afficher les catalogues UNITY_CATALOG.



  3. Cliquez sur Appliquer pour voir les résultats dans la page Catalogue.