Gérer les catalogues

Vous pouvez désormais activer plusieurs catalogues à l'aide de l'outil Catalogue.

Vous pouvez monter des catalogues supplémentaires à partir d'autres bases de données AI autonomes dans la même location, afin de pouvoir rechercher des données dans plusieurs bases de données. Sélectionnez l'onglet Gérer dans la boîte de dialogue Catalogues.

Description de l'exemple manage-catalogs.png

Montage d'une base de données d'IA autonome en tant que catalogue

Vous allez utiliser une base de données Autonomous AI existante pour créer un lien de base de données et fournir le nom de catalogue pour le monter.

Remarques :

Pour monter une base de données AI autonome en tant que catalogue, vous devez disposer des privilèges système CREATE DATABASE LINK et CREATE ANY DIRECTORY. L'utilisateur ADMIN dispose des privilèges système CREATE DATABASE LINK et CREATE ANY DIRECTORY. L'utilisateur ADMIN peut accorder des privilèges système CREATE DATABASE LINK et CREATE ANY DIRECTORY à d'autres utilisateurs.

Pour ajouter une base de données AI autonome en tant que catalogue, vous devez effectuer les opérations suivantes :

• Stockez vos informations d'identification de stockage d'objets dans votre base de données d'IA autonome
• Créer un lien de base de données ou utiliser un lien existant
• Monter le lien de base de données en tant que catalogue

Reportez-vous à la section Connexions pour visualiser les connexions établies entre Data Studio et le cloud, les catalogues et les partages.

1. Sur la page Catalogue, sélectionnez Gérer le catalogue. Cliquez sur + Ajouter.

2. Sur la page Ajouter un catalogue, sélectionnez Base de données AI autonome en tant que source de catalogue.
   
   
   
   Description de l'image catalog-source-adb.png
   
   
3. Sélectionnez le nom de base de données dans la liste déroulante. Par exemple, TESTING.
4. Vous pouvez afficher les champs suivants après avoir sélectionné le nom de la base de données. Indiquez les valeurs de champ suivantes :
   
   
   
   Description de l'image add-catalog-adb.png
   
   
   • Nom du catalogue : entrez le nom du catalogue sous lequel monter le lien de base de données. Par exemple, TESTING.

     Remarques :

     Lors de la création ou de la mise à jour d'un catalogue, utilisez uniquement des lettres, des chiffres et des traits de soulignement pour spécifier ces propriétés : nom de catalogue, nom de lien de base de données, nom de schéma, nom de table et nom de colonne. Ces caractères ne tiennent pas compte de la casse et ne prennent pas en charge les caractères multioctets.

   • Nom du lien de base de données : entrez le nom du lien de base de données créé par l'outil à l'aide de la base de données existante. Par exemple, TESTING_LINK.
   • Informations d'identification de base de données : sélectionnez les informations d'identification dans la liste déroulante requise pour créer le lien de base de données. Par exemple, AWSGLUE_CRED.

     Cliquez sur Créer des informations d'identification en l'absence d'informations d'identification existantes.

   • Sous Afficher les options avancées, sélectionnez le nom du répertoire de portefeuille dans la liste déroulante. Vous devez être autorisé à accéder au répertoire. Par exemple, WALLET_DIR-TESTING.

     Remarques :

     Le fichier de portefeuille, ainsi que l'ID utilisateur et le mot de passe de la base de données, permettent d'accéder aux données dans Oracle Autonomous AI Database cible.
   • Cliquez sur Tester pour tester la création du lien de base de données.

   Cliquez sur Créer pour créer la base de données AI autonome en tant que catalogue.

Une fois la création terminée, vous pouvez visualiser la base de données d'IA autonome répertoriée sous Gérer le catalogue.

Montage d'un lien de base de données existant en tant que Catalogue

Vous pouvez instancier un schéma de catalogue en tant qu'utilisateur de base de données local. Si un lien de base de données a déjà été configuré, vous pouvez monter un catalogue sur la base de données liée afin de rechercher et de repérer des ensembles de données dans cette base.

Le montage d'un catalogue nécessite les informations suivantes :

• Nom de la base de données de liaison
• Informations d'identification cloud requises pour accéder aux données

Vous pouvez ajouter un lien de base de données à l'une des bases de données et monter ses métadonnées en tant que nouveau catalogue.

1. Sur la page Catalogue, sélectionnez Gérer le catalogue.
2. Cliquez sur + Ajouter.
3. Sur la page Ajouter un catalogue, sélectionnez Lien de base de données dans Source de catalogue.
   
   
   
   Description de l'image catalog-source-dblink.png
   
   
4. Sélectionnez l'onglet Lien de base de données.
   
   
   
   Description de l'image add-catalog-dblink.png
   
   
5. Sélectionnez le nom du lien de base de données dans la liste déroulante. Par exemple, AA-TESTING_LINK.
6. Entrez le nom du catalogue dans le champ Nom du catalogue. Par exemple, AA-TESTING_LINK.
7. Cliquez sur Créer.

   Vous pouvez afficher le catalogue nouvellement monté dans la boîte de dialogue Gérer les catalogues.

   Une fois que vous avez monté un nouveau catalogue sur une base de données connectée à l'aide d'un lien de base de données, vous pouvez sélectionner le catalogue dans l'explorateur de catalogues et y rechercher des données.

Monter un fournisseur de partage en direct ou Delta en tant que catalogue

Vous pouvez monter des catalogues à partir de partages de données enregistrés. Cela permet aux consommateurs d'accéder aux tables définies par d'autres fournisseurs dans d'autres bases de données. Les tables externes doivent être définies une seule fois.

1. Sur la page Catalogue, sélectionnez Gérer le catalogue. Cliquez sur + Ajouter.
2. Sur la page Ajouter un catalogue, sélectionnez Partage de données dans Source de catalogue.
   
   
   
   Description de l'image catalog-source-share.png
   
   
3. Cliquez sur Suivant pour accéder à l'onglet Paramètres du fournisseur de partage.
   Sous Partager la source, sélectionnez l'une des options disponibles :

   • Choisir parmi les fournisseurs de partage en direct
   • Fichier JSON de fournisseur Delta Share

   Dans cet exemple, vous allez sélectionner la source de partage à partir des fournisseurs de partage en direct.

   Sous Partager les détails du fournisseur, indiquez les détails suivants :

   • Nom du fournisseur : entrez le nom du fournisseur de partage. Par exemple, TEST-PROVIDER.
   • Description : Entrez une description. Ce champ est optionnel.
   
   
   
   Description de l'image add-catalog-share-settings.png
   
   
4. Cliquez sur Suivant pour accéder à l'onglet Sélectionner des partages.
5. Dans l'onglet Paramètres du fournisseur de partage, glissez-déplacez le partage que vous souhaitez monter en tant que catalogue des partages disponibles vers les partages sélectionnés.
6. Cliquez sur Suivant pour accéder à l'onglet Détails du catalogue. Dans l'onglet Détails du catalogue, indiquez les détails suivants :
   • Nom de catalogue : entrez le nom de catalogue de votre choix.
   • Description du catalogue : entrez une description.
7. Sélectionnez Créer pour monter un partage en direct ou un partage delta en tant que catalogue.

Après avoir monté un nouveau catalogue sur un partage, vous pouvez le sélectionner dans l'explorateur de catalogues et y rechercher des données.

Monter Amazon Glue en tant que Catalogue

Vous pouvez monter des catalogues à partir de connexions de données AWS Glue enregistrées.

1. Sur la page Catalogue, sélectionnez Gérer le catalogue.
2. Cliquez sur + Ajouter.
3. Sur la page Ajouter un catalogue, sélectionnez Amazon Glue dans Source de catalogue.
   
   
   
   Description de l'illustration catalog-source-amazon-glue.png
   
   
4. Cliquez sur Suivant pour accéder à l'onglet Catalogue Amazon Glue.
5. Dans l'onglet Catalogue Amazon Glue, indiquez les détails suivants :
   • Informations d'identification pour la connexion Data Catalog : sélectionnez des informations d'identification dans la liste déroulante.
   • Région : sélectionnez une région dans la liste déroulante.
6. Cliquez sur Suivant pour accéder à l'onglet Détails du catalogue. Indiquez les valeurs de champ suivantes dans l'onglet Détails du catalogue :
   • Nom du catalogue : entrez le nom que vous souhaitez utiliser dans Data Studio pour faire référence au catalogue.
   • Description du catalogue : Entrez une description du catalogue.
7. Cliquez sur Créer pour monter la région AWS Glue Data Catalog en tant que catalogue.

Une fois que vous avez monté un nouveau catalogue sur une région AWS Glue Data Catalog, vous pouvez sélectionner le catalogue dans Catalog Explorer et y rechercher des données.

Monter OCI Data Catalog en tant que Catalogue

Vous pouvez monter des catalogues à partir d'un catalogue de données OCI inscrit.

1. Sur la page Catalogue, sélectionnez Gérer le catalogue. Cliquez sur + Ajouter.
2. Sur la page Ajouter un catalogue, sélectionnez Catalogue de données OCI dans Source de catalogue.
   
   
   
   Description de l'image catalog-source-oci.png
   
   
3. Cliquez sur Suivant pour accéder à l'onglet OCI Data Catalog.
4. Dans l'onglet OCI Data Catalog, indiquez les valeurs de champ suivantes :

   • Informations d'identification pour la connexion Data Catalog : sélectionnez des informations d'identification dans la liste déroulante. Ce champ est obligatoire. BASICOCICRED, par exemple.

   • Région : sélectionnez une région dans la liste déroulante. Ce champ est obligatoire. us-phoenix-1 par exemple.

   • ID de catalogue de données : sélectionnez un ID de catalogue de données dans la liste déroulante. Un ID de catalogue de données est l'ID du compte auquel appartient le catalogue de données. catalog1, par exemple.

     Sélectionnez Utiliser des informations d'identification distinctes pour Object Storage afin d'utiliser des informations d'identification différentes de celles sélectionnées.

     
     
     
     Description de l'image oci-data-catalog.png
     
     
5. Cliquez sur Suivant pour accéder à l'onglet Détails du catalogue.
6. Dans l'onglet Détails du catalogue, indiquez les valeurs de champ suivantes :
   • Nom du catalogue : entrez le nom que vous souhaitez utiliser dans Data Studio pour faire référence au catalogue. Par exemple, TEST_CATALOG.
   • Description du catalogue : Entrez une description du catalogue.
   
   
   
   Description de l'image catalog-details.png
   
   
7. Cliquez sur Créer pour monter le catalogue de données OCI en tant que catalogue.

Une fois que vous avez monté un nouveau catalogue sur un catalogue de données OCI, vous pouvez le sélectionner dans l'explorateur de catalogues et y rechercher des données.

Montage d'un catalogue sur un catalogue REST Iceberg

Vous pouvez monter différents types de catalogues REST Iceberg, par exemple Polaris, Databricks Unity et Snowflake Horizon. Pour intégrer des catalogues REST Iceberg via Data Studio, assurez-vous que votre catalogue Iceberg est correctement configuré et accessible.

Offre d'Oracle pour Iceberg Catalog

Depuis Data Studio, vous pouvez également vous connecter à Oracle AI Data Catalog, qui est un service de catalogue REST Iceberg géré par Oracle. Avant le montage, assurez-vous que le catalogue de données AI est activé et configuré. Pour plus d'informations, reportez-vous à Oracle AI Data Catalog.

Pour configurer le catalogue Iceberg et y accéder, indiquez le type de catalogue, l'URI et l'emplacement de l'entrepôt :

1. Adresse Iceberg : entrez l'URL du service de catalogue REST Iceberg jusqu'à la racine du catalogue. L'ajout de /namespaces à l'URL doit identifier l'adresse d'espace de noms de liste.

   Exemple :

   https://your-iceberg-catalog.com/api/v1/iceberg

2. Catalog Credentials (Informations d'identification de catalogue) : vous pouvez indiquer ces valeurs.

   • Adresse de jeton : l'adresse /v1/oauth/tokens est fournie par les catalogues REST Iceberg pour émettre un jeton de support.

   • ID client et clé secrète client : le serveur OAuth fournit ces valeurs pour identifier votre application. Vous pouvez utiliser ces informations d'identification pour générer un jeton Bearer.

   • Jeton de porteur : pour authentifier les demandes auprès de l'adresse REST Iceberg, utilisez OAuth avec les informations d'identification client. L'outil Catalogue appelle l'adresse de jeton pour recevoir le jeton de support.

Voici un exemple de configuration permettant de créer une intégration de catalogue REST qui utilise OAuth pour se connecter aux tables Apache Iceberg :

CREATE OR REPLACE CATALOG INTEGRATION tabular_catalog_int
  CATALOG_SOURCE = ICEBERG_REST
  TABLE_FORMAT = ICEBERG
  CATALOG_NAMESPACE = 'default'
  REST_CONFIG = (
    CATALOG_URI = 'https://api.tabular.io/ws'
    CATALOG_NAME = '<tabular_warehouse_name>'
  )
  REST_AUTHENTICATION = (
    TYPE = OAUTH
    OAUTH_TOKEN_URI = 'https://api.tabular.io/ws/v1/oauth/tokens'
    OAUTH_CLIENT_ID = '<oauth_client_id>'
    OAUTH_CLIENT_SECRET = '<oauth_secret>'
    OAUTH_ALLOWED_SCOPES = ('catalog')
  )
  ENABLED = TRUE;

Ici, CATALOG_URI est l'adresse REST permettant d'accéder à l'entrepôt.

La procédure REST_AUTHENTICATION comprend tous les paramètres dont vous avez besoin pour créer l'élément BEARER TOKEN et l'utiliser pour créer les informations d'identification.

Pour monter un catalogue Polaris sur un catalogue REST Iceberg :

1. Sur la page Catalogue, sélectionnez Gérer le catalogue. Cliquez sur + Ajouter.
2. Dans la boîte de dialogue Ajouter un catalogue, sélectionnez Catalogue d'iceberg dans l'onglet Source de catalogue.
   
   
   
   Description de l'image add-catalog-iceberg.png
   
   

   Cliquez sur Suivant.

3. Indiquez les valeurs de champ suivantes dans l'onglet Source du catalogue de la boîte de dialogue Ajouter un catalogue :

   • Nom du catalogue : entrez le nom du catalogue sous lequel monter le catalogue Iceberg.

     Par exemple, Polaris.

   • Type de catalogue Iceberg : sélectionnez le type de catalogue Iceberg. Les options prises en charge sont Oracle, Unity, Polaris et Custom.

     Sélectionnez Oracle pour monter le catalogue de données AI en tant que catalogue Iceberg.

   • Adresse de catalogue Iceberg : indique l'URL de votre compte de catalogue Polaris. L'adresse du catalogue Polaris de Snowflake est généralement au format https ://<account_locator>.snowflakecomputing.com/polaris/api/catalog. Pour plus d'informations sur les formats d'identifiant de compte, reportez-vous à la documentation Snowflake.
   • Informations d'identification du catalogue Iceberg : sélectionnez des informations d'identification dans la liste déroulante des informations d'identification disponibles. Si vous ne disposez pas d'informations d'identification, vous pouvez en créer une. Sélectionnez Créer des informations d'identification. Dans la boîte de dialogue Créer des informations d'identification, indiquez les valeurs de champ suivantes :
     • Nom des informations d'identification : entrez le nom des informations d'identification. Par exemple, POLARIS_CRED.
       Sous Obtenir un nouveau jeton de porteur,

       • Adresse de jeton d'accès : entrez l'adresse qui gère l'extraction de jeton de support. Cette adresse a été conçue pour faciliter l'authentification en échangeant des informations d'identification client (ID client et clé secrète) pour un jeton d'accès.

         Remarques :

         L'adresse /v1/oauth/tokens est obsolète dans la version 1.6.0 d'Iceberg et sera supprimée dans la version 2.0. Nous vous encourageons plutôt à vous fier à des fournisseurs OAuth2 externes. Pour plus de détails, reportez-vous à Authentification OAuth.
       • Type d'octroi : sélectionnez Informations d'identification client.
       • ID client : indiquez l'ID client.
       • Clé secrète client : indiquez la clé secrète client.
       • Portée : PRINCIPAL_ROLE:ALL.

         Cliquez sur Obtenir le jeton.

         Le champ Jeton Bearer est renseigné.

       Cliquez sur Créer des informations d'identification.

       POLARIS_CRED est affiché en tant qu'informations d'identification de catalogue Iceberg.

       
       
       
       Description de l'image create-credential-polaris.png
       
       

       Remarques :

       Les informations d'identification sont stockées à l'aide de la procédure DBMS_CLOUD.CREATE_CREDENTIAL du back-end.

       Pour l'exemple ci-dessus, la procédure serait la suivante :

       BEGIN
         dbms_cloud.create_credential( 
           credential_name  =>  'POLARIS_CRED',
           username         =>  'BEARER_TOKEN',
           password         =>  '<BEARER_TOKEN_VALUE This is generated using token endpoint, client id, client secret>'
         );
       END;

     
     
     
     Description de l'image add-polaris-catalog-source.png
     
     

     Ces informations d'identification permettent à Oracle Autonomous AI Database d'accéder à la table Iceberg.

   • Informations d'identification de bucket : ces informations stockent un volume de stockage cloud afin de stocker vos tables Iceberg au format Parquet. Ce champ est obligatoire pour les catalogues Polaris.

     Cliquez sur Suivant pour accéder à l'onglet Catalogue Iceberg.

4. Dans l'onglet Catalogue d'Iceberg, vous pouvez spécifier les valeurs de champ suivantes :

   • Espaces de noms de catalogue Iceberg : ce champ affiche l'organisation hiérarchique des tables. L'adresse de catalogue Iceberg est constituée de l'espace de noms racine. Sélectionnez l'espace de noms sur lequel vous souhaitez que le catalogue soit monté.
   • Style de séparateur d'espace de noms : sélectionnez Style Polaris. Il s'agit de la valeur par défaut. Sélectionnez une valeur en fonction de la configuration de votre catalogue.

     Remarques :

     Il est préférable de conserver la valeur par défaut.
   • Région de bucket : entrez la région de bucket. us-west-2, par exemple.

     Les adresses de catalogue Iceberg servent d'interfaces pour la gestion des tables Iceberg stockées dans le stockage cloud comme S3. La région de bucket fait référence à l'emplacement géographique où le bucket S3 est hébergé.

     Ce champ est obligatoire pour les catalogues Polaris.

     
     
     
     Description de l'image namespace-polaris.png
     
     

   Cliquez sur Ajouter.

   Une fois le nouveau catalogue monté, vous pouvez visualiser le catalogue Polaris sur la page Gérer les catalogues. Vous pouvez désactiver ou supprimer le catalogue de cette page.

   
   
   
   Description de l'illustration manage-polaris-catalogs.png ci-après
   
   

Affichage du catalogue Polaris monté dans l'explorateur de catalogues

Une fois que vous avez monté le nouveau catalogue, vous pouvez charger des tables à partir du catalogue monté. Pour rechercher le catalogue, procédez comme suit :

1. Dans l'outil Catalogue, cliquez sur Sélectionner des catalogues....
2. Cliquez sur le filtre POLARIS _CATALOG dans l'assistant Catalogues et schémas pour afficher les catalogues POLARIS_CATALOG.
3. Cliquez sur Appliquer pour afficher les résultats sur la page Catalogue.
   
   
   
   Description de l'illustration Catalogs-schemas-polaris-catalog.png
   
   

Description de l'illustration manage-catalogs-polaris.png ci-après

Pour monter un catalogue Unity sur un catalogue REST Iceberg, procédez comme suit :

1. Sur la page Catalogue, sélectionnez Gérer le catalogue. Cliquez sur + Ajouter.
2. Dans la boîte de dialogue Ajouter un catalogue, sélectionnez Catalogue Iceberg.
   
   
   
   Description de l'image add-catalog-iceberg.png
   
   
3. Cliquez sur Suivant.
4. Indiquez les valeurs de champ suivantes dans l'onglet Source du catalogue de la boîte de dialogue Ajouter un catalogue :
   • Nom du catalogue : entrez le nom du catalogue sous lequel monter le catalogue Iceberg.

     Par exemple, Unité.

   • Type de catalogue Iceberg : sélectionnez Unité dans le champ déroulant.
   • Adresse de catalogue Iceberg:

     Pour Unity Catalog, vous utilisez généralement l'API REST Databricks. L'adresse d'accès aux tables Iceberg via le catalogue Unity est généralement au format https ://<databricks-instance-url>/api/2.1/unity-catalog/iceberg.

     Remarques :

     Pour plus d'informations, reportez-vous à https://docs.databricks.com/aws/en/external-access/iceberg.
   • Informations d'identification du catalogue Iceberg : sélectionnez des informations d'identification dans la liste déroulante des informations d'identification disponibles. Si vous ne disposez pas d'informations d'identification, vous pouvez en créer une. Sélectionnez Créer des informations d'identification.
     Dans la boîte de dialogue Create Credential, indiquez les valeurs suivantes :

     • Nom d'informations d'identification : entrez le nom des informations d'identification. Par exemple, UNITY_CRED.
     • Jeton du porteur : collez la valeur du jeton du porteur.

       Sélectionnez Créer des informations d'identification.

       UNITY_CRED est affiché en tant qu'informations d'identification de catalogue Iceberg.

     
     
     
     Description de l'image add-unity-catalog.png
     
     

     Cliquez sur Suivant pour accéder à l'onglet Catalogue Iceberg.

     Dans l'onglet Catalogue d'Iceberg, vous pouvez spécifier les valeurs de champ suivantes :

   • Espaces de noms de catalogue Iceberg : sélectionnez l'un des schémas auxquels vous devez accéder.
   • Style de séparateur d'espace de noms : le style de séparateur d'espace de noms fait généralement référence à la façon dont les espaces de noms sont structurés et séparés au sein du catalogue. Par défaut, l'option Style de base de données est sélectionnée.
   • Région Regroupement : Ce champ n'est pas obligatoire.
     
     
     
     Description de l'image iceberg-unity-catalog.png
     
     

     Cliquez sur Ajouter.

     
     
     
     Description de l'exemple manage-unity-catalogs.png
     
     

   Après avoir monté un nouveau catalogue sur un catalogue Iceberg, vous pouvez visualiser le catalogue Unity sur la page Gérer les catalogues. Vous pouvez désactiver et supprimer le catalogue de cette page.

Afficher le catalogue Unity monté dans l'outil Catalogue

Une fois que vous avez monté le nouveau catalogue, vous pouvez charger des tables à partir du catalogue monté. Pour rechercher le catalogue, procédez comme suit :

1. Dans l'outil Catalogue, cliquez sur Sélectionner des catalogues….
2. Cliquez sur le filtre UNITY _CATALOG dans l'assistant Catalogues et schémas pour afficher les catalogues UNITY_CATALOG.
   
   
   
   Description de l'illustration Catalogs-schemas-unity-catalog.png
   
   
3. Cliquez sur Appliquer pour afficher les résultats sur la page Catalogue.
   
   
   
   Description de l'exemple manage-catalogs-unity.png
   
   

• Gestion du cache de catalogue
  Data Studio fournit des options de gestion du cache pour les catalogues distants montés.
• Chargement des données en ligne du partage delta à partir de l'outil Catalogue
  Vous pouvez charger un partage delta à partir de l'outil Catalogue sans quitter l'outil Catalogue pour le chargement.
• Requête de catalogues distants et de bases de données
  Vous pouvez accéder aux données externes et les interroger en les montant. Cette fonctionnalité utilise une syntaxe SQL simple qui est similaire à la façon dont vous interrogez les données à l'aide de liens de base de données.