Gérer les catalogues

Vous pouvez désormais activer plusieurs catalogues à l'aide de l'outil Catalogue.

Vous pouvez monter des catalogues supplémentaires à partir d'autres bases de données autonomes dans la même location, afin de pouvoir rechercher des données dans plusieurs bases de données.

Monter une base de données autonome en tant que catalogue

Vous utiliserez une instance Autonomous Database existante pour créer un lien de base de données et fournir un nom de catalogue pour le monter.

Remarque

Pour monter une instance Autonomous Database en tant que catalogue, vous devez disposer des privilèges système CREATE DATABASE LINK et CREATE ANY DIRECTORY. Les privilèges système CREATE DATABASE LINK et CREATE ANY DIRECTORY sont accordés à l'utilisateur ADMIN. L'utilisateur ADMIN peut accorder des privilèges système CREATE DATABASE LINK et CREATE ANY DIRECTORY à d'autres utilisateurs.

Pour ajouter une base de données autonome en tant que catalogue, vous devez effectuer les opérations suivantes :
  • Stockez vos informations d'identification de stockage d'objet dans votre instance Autonomous Database
  • Créer un lien de base de données ou utiliser un lien de base de données existant
  • Monter le lien de base de données en tant que catalogue
  1. Sur la page Catalogue, sélectionnez Gérer le catalogue. Cliquez sur +Add.

  2. Sur la page Ajouter un catalogue, sélectionnez Autonomous Database en tant que source de catalogue.



  3. Sélectionnez le nom de base de données dans la liste déroulante. Par exemple, TESTING.
  4. Vous pouvez afficher les champs suivants après avoir sélectionné le nom de la base de données. Indiquez les valeurs de champ suivantes :



    • Nom du catalogue : entrez le nom du catalogue sous lequel monter le lien de base de données. Par exemple, TESTING.
    • Nom du lien de base de données : entrez le nom du lien de base de données créé par l'outil à l'aide de la base de données existante. Par exemple, TESTING_LINK.
    • Informations d'identification de base de données : sélectionnez les informations d'identification dans la liste déroulante requise pour créer le lien de base de données. Par exemple, AWSGLUE_CRED.

      Cliquez sur Créer des informations d'identification en l'absence d'informations d'identification existantes.

    • Sous Afficher les options avancées, sélectionnez le nom du répertoire de portefeuille dans la liste déroulante. Vous devez être autorisé à accéder au répertoire. Par exemple, WALLET_DIR-TESTING.
      Remarque

      Le fichier de portefeuille, ainsi que l'ID utilisateur et le mot de passe de la base de données, permettent d'accéder aux données dans l'instance Oracle Autonomous Database cible.
    • Cliquez sur Tester pour tester la création du lien de base de données.

    Cliquez sur Créer pour créer la base de données autonome en tant que catalogue.

Une fois la création effectuée, vous pouvez visualiser la base de données autonome répertoriée sous Gérer le catalogue.

Monter un lien de base de données existant en tant que catalogue

Vous pouvez instancier un schéma de catalogue en tant qu'utilisateur de base de données local. Si un lien de base de données a déjà été configuré, vous pouvez monter un catalogue sur la base de données liée afin de rechercher et de repérer des ensembles de données dans cette base.

Le montage d'un catalogue nécessite les informations suivantes :
  • Nom du lien de base de données
  • Informations d'identification cloud requises pour accéder aux données

Vous pouvez ajouter un lien de base de données à l'une des bases de données et monter ses métadonnées en tant que nouveau catalogue.

  1. Sur la page Catalogue, sélectionnez Gérer le catalogue.
  2. Cliquez sur +Add.
  3. Sur la page Ajouter un catalogue, sélectionnez Lien de base de données dans Source de catalogue.



  4. Sélectionnez l'onglet Lien de base de données.



  5. Sélectionnez le nom du lien de base de données dans la liste déroulante. Par exemple, AA-TESTING_LINK.
  6. Entrez le nom du catalogue dans le champ Nom du catalogue. Par exemple, AA-TESTING_LINK.
  7. Cliquez sur Créer.

    Vous pouvez afficher le catalogue nouvellement monté dans la boîte de dialogue Gérer les catalogues.

    Une fois que vous avez monté un nouveau catalogue sur une base de données connectée à l'aide d'un lien de base de données, vous pouvez sélectionner le catalogue dans Catalog Explorer et y rechercher des données.

Monter un fournisseur de partage Delta Share ou Live Share en tant que catalogue

Vous pouvez monter des catalogues à partir de partages de données enregistrés. Cela permet aux consommateurs d'accéder aux tables définies par d'autres fournisseurs dans d'autres bases de données. Les tables externes doivent être définies une seule fois.

  1. Sur la page Catalogue, sélectionnez Gérer le catalogue. Cliquez sur +Add.
  2. Sur la page Ajouter un catalogue, sélectionnez Partage de données dans Source de catalogue.



  3. Cliquez sur Suivant pour passer à l'onglet Paramètres du fournisseur de partage.
    Sous Share Source, sélectionnez l'une des options disponibles :
    • Choisir parmi les fournisseurs de partage en direct
    • Fichier JSON de fournisseur Delta Share

    Dans cet exemple, vous sélectionnez la source de partage dans Fournisseurs de partage en direct.

    Sous Détails du fournisseur de partage, indiquez les détails suivants :

    • Nom du fournisseur : entrez le nom du fournisseur de partage. Par exemple : TEST-PROVIDER.
    • Description : entrez une description. Ce champ est facultatif.



  4. Cliquez sur Suivant pour passer à l'onglet Sélectionner des partages.
  5. Dans l'onglet Paramètres du fournisseur de partage, glissez-déplacez le partage à monter en tant que catalogue à partir des partages disponibles vers les partages sélectionnés.
  6. Cliquez sur Suivant pour passer à l'onglet Détails du catalogue. Dans l'onglet Détails du catalogue, indiquez les détails suivants :
    • Nom de catalogue : entrez le nom de catalogue de votre choix.
    • Description du catalogue : entrez une description.
  7. Sélectionnez Créer pour monter un partage en direct ou un partage delta en tant que catalogue.

Une fois que vous avez monté un nouveau catalogue sur un partage, vous pouvez le sélectionner dans l'explorateur de catalogues et y rechercher des données.

Monter Amazon Glue en tant que catalogue

Vous pouvez monter des catalogues à partir de connexions de données AWS Glue enregistrées.

  1. Sur la page Catalogue, sélectionnez Gérer le catalogue.
  2. Cliquez sur +Add.
  3. Sur la page Ajouter un catalogue, sélectionnez Colle Amazon dans Source de catalogue.



  4. Cliquez sur Suivant pour accéder à l'onglet Catalogue de colle Amazon.
  5. Dans l'onglet Catalogue de colle Amazon, indiquez les détails suivants :
    • Informations d'identification pour la connexion au catalogue de données : sélectionnez des informations d'identification dans la liste déroulante.
    • Région : sélectionnez une région dans la liste déroulante.
  6. Cliquez sur Suivant pour passer à l'onglet Détails du catalogue. Indiquez les valeurs de champ suivantes dans l'onglet Détails du catalogue :
    • Nom de catalogue : entrez le nom à utiliser dans Data Studio pour faire référence au catalogue.
    • Description du catalogue : entrez la description du catalogue.
  7. Cliquez sur Créer pour monter la région AWS Glue Data Catalog en tant que catalogue.

Une fois que vous avez monté un nouveau catalogue sur une région AWS Glue Data Catalog, vous pouvez sélectionner le catalogue dans Catalog Explorer et y rechercher des données.

Monter OCI Data Catalog en tant que catalogue

Vous pouvez monter des catalogues à partir d'un catalogue de données OCI inscrit.

  1. Sur la page Catalogue, sélectionnez Gérer le catalogue. Cliquez sur +Add.
  2. Sur la page Ajouter un catalogue, sélectionnez OCI Data Catalog dans Source de catalogue.



  3. Cliquez sur Suivant pour accéder à l'onglet OCI Data Catalog.
  4. Dans l'onglet OCI Data Catalog, indiquez les valeurs de champ suivantes :
    • Informations d'identification pour la connexion au catalogue de données : sélectionnez des informations d'identification dans la liste déroulante. Ce champ est obligatoire. Par exemple : BASICOCICRED.

    • Région : sélectionnez une région dans la liste déroulante. Ce champ est obligatoire. Par exemple, us-phoenix-1.

    • ID de catalogue de données : sélectionnez un ID de catalogue de données dans la liste déroulante. Un ID de catalogue de données est l'ID du compte auquel le catalogue de données appartient. Par exemple : catalog1.

      Sélectionnez Utiliser des informations d'identification distinctes pour Object Storage afin d'utiliser des informations d'identification différentes de celles sélectionnées.



  5. Cliquez sur Suivant pour passer à l'onglet Détails du catalogue.
  6. Dans l'onglet Détails du catalogue, indiquez les valeurs de champ suivantes :
    • Nom de catalogue : entrez le nom à utiliser dans Data Studio pour faire référence au catalogue. Par exemple, TEST_CATALOG.
    • Description du catalogue : entrez la description du catalogue.



  7. Cliquez sur Créer pour monter OCI Data Catalog en tant que catalogue.

Une fois que vous avez monté un nouveau catalogue sur OCI Data Catalog, vous pouvez le sélectionner dans Catalog Explorer et y rechercher des données.

Montage d'un catalogue sur un catalogue de données d'iceberg

Vous pouvez ajouter un catalogue sur un catalogue de données Iceberg. L'intégration d'un catalogue avec des données Iceberg implique la connexion à des catalogues pris en charge tels que Unity et Polaris. Pour intégrer les catalogues de données Iceberg via Data Studio, vous devez vous assurer que vos catalogues Iceberg sont correctement configurés et accessibles.

Pour configurer et accéder à votre catalogue Iceberg, vous devez disposer des éléments suivants :
  1. Adresse Iceberg : configurez Polaris ou Unity Catalog à l'aide de l'API REST Iceberg. Cela implique de spécifier le type de catalogue, l'URI et l'emplacement de l'entrepôt. Vous aurez besoin de l'adresse REST pour votre catalogue Iceberg externe. Il s'agit de l'URL qui permet d'accéder aux métadonnées de l'iceberg.

    Exemple : https://your-iceberg-catalog.com/api/v1/iceberg

  2. Adresse de jeton : l'adresse /v1/oauth/tokens est fournie par les catalogues REST Iceberg pour émettre un jeton de porteur.
  3. ID client et clé secrète client : informations d'identification fournies par le serveur OAuth pour identifier votre application (dans ce cas, l'intégration Unity et Polaris Catalog). Vous utiliserez ces informations d'identification pour générer un jeton de porteur.
  4. Jeton de porteur : pour authentifier les demandes auprès de l'adresse REST Iceberg, vous devez utiliser OAuth avec les informations d'identification client. L'outil Catalogue appelle l'adresse de jeton pour recevoir le jeton de porteur.
  5. Espace de noms : un espace de noms est équivalent à un schéma dans une base de données. Cet emplacement servira de référentiel pour vos tables Iceberg dans le catalogue. Iceberg catalogue les tables de groupe dans des espaces de noms, qui peuvent être imbriqués dans d'autres espaces de noms. La spécification Iceberg prend en charge des niveaux arbitraires d'imbrication.

    Par exemple, une table SALES peut être définie dans un espace de noms STORES, qui est défini dans un espace de noms RETAIL, qui est lui-même défini dans un espace de noms CORPORATE. L'emplacement de l'iceberg d'une telle table serait CORPORATE.RETAIL.STORES.SALES.

Voici un exemple de configuration permettant de créer une intégration de catalogue REST qui utilise OAuth pour se connecter aux tables Apache Iceberg :
CREATE OR REPLACE CATALOG INTEGRATION tabular_catalog_int
  CATALOG_SOURCE = ICEBERG_REST
  TABLE_FORMAT = ICEBERG
  CATALOG_NAMESPACE = 'default'
  REST_CONFIG = (
    CATALOG_URI = 'https://api.tabular.io/ws'
    CATALOG_NAME = '<tabular_warehouse_name>'
  )
  REST_AUTHENTICATION = (
    TYPE = OAUTH
    OAUTH_TOKEN_URI = 'https://api.tabular.io/ws/v1/oauth/tokens'
    OAUTH_CLIENT_ID = '<oauth_client_id>'
    OAUTH_CLIENT_SECRET = '<oauth_secret>'
    OAUTH_ALLOWED_SCOPES = ('catalog')
  )
  ENABLED = TRUE;

Ici, CATALOG_URI est l'adresse REST permettant d'accéder à l'entrepôt.

La procédure REST_AUTHENTICATION comprend tous les paramètres dont vous avez besoin pour créer BEARER TOKEN et l'utiliser pour créer les informations d'identification.

Pour plus d'informations, reportez-vous à Configuration d'une intégration de catalogue pour les catalogues REST Apache IcebergTM.

Pour monter un catalogue Polaris sur un catalogue de données Iceberg :
  1. Sur la page Catalogue, sélectionnez Gérer le catalogue. Cliquez sur +Add.
  2. Dans la boîte de dialogue Ajouter un catalogue, sélectionnez Catalogue Iceberg dans l'onglet Source de catalogue.



    Cliquez sur Suivant.

  3. Indiquez les valeurs de champ suivantes dans l'onglet source Catalogue de la boîte de dialogue Ajouter un catalogue :
    • Nom du catalogue : entrez le nom du catalogue sous lequel monter le catalogue Iceberg.

      Par exemple, Polaris.

    • Type de catalogue Iceberg : sélectionnez Polaris dans le champ déroulant.

    • Adresse de catalogue Iceberg : indique l'URL de votre compte de catalogue Polaris. L'adresse du catalogue Polaris de Snowflake est généralement au format https ://<account_locator>.snowflakecomputing.com/polaris/api/catalog. Pour plus d'informations sur les formats d'identificateur de compte, reportez-vous à la documentation Snowflake.
    • Informations d'identification de catalogue Iceberg : sélectionnez des informations d'identification dans la liste déroulante. Si vous n'avez pas d'informations d'identification, vous pouvez en créer une. Sélectionnez Créer des informations d'identification. Dans la boîte de dialogue Créer des informations d'identification, indiquez les valeurs de champ suivantes :
      • Nom des informations d'identification : Entrez le nom des informations d'identification. Par exemple, POLARIS_CRED.
        Sous Obtenir un nouveau jeton Bearer,
        • Adresse de jeton d'accès : entrez l'adresse de spécification REST Iceberg. Cela génère un jeton d'accès à l'aide de OAuth2 défini en tant que /v1/oauth/tokens.

          Cette adresse a été conçue pour faciliter l'authentification en échangeant des informations d'identification client (ID client et clé secrète) pour un jeton d'accès.

          Remarque

          L'adresse /v1/oauth/tokens est en phase d'abandon dans la version 1.6.0 d'Iceberg et sera enlevée dans la version 2.0. Nous vous encourageons plutôt à vous fier à des fournisseurs OAuth2 externes. Pour plus d'informations, reportez-vous à OAuth Authentication.
        • Type d'octroi : sélectionnez Informations d'identification client.
        • ID client : indiquez l'ID client.
        • Clé secrète client : indiquez la clé secrète client.
        • Portée : PRINCIPAL_ROLE:ALL.

          Cliquez sur Obtenir le jeton.

          Le champ Jeton de porteur est renseigné.

        Cliquez sur Créer des informations d'identification.

        POLARIS_CRED est affiché en tant qu'informations d'identification de catalogue Iceberg.



        Remarque

        Les informations d'identification sont stockées à l'aide de la procédure DBMS_CLOUD.CREATE_CREDENTIAL dans le back-end.

        Pour l'exemple donné ci-dessus, la procédure serait la suivante :
        BEGIN
          dbms_cloud.create_credential( 
            credential_name  =>  'POLARIS_CRED',
            username         =>  'BEARER_TOKEN',
            password         =>  '<BEARER_TOKEN_VALUE This is generated using token endpoint, client id, client secret>'
          );
        END;



      Ces informations d'identification permettent à Oracle Autonomous Database d'accéder à la table Iceberg.

    • Informations d'identification de bucket : ces informations d'identification stockent un volume de stockage cloud pour stocker les tables Iceberg au format Parquet. Ce champ est obligatoire pour les catalogues Polaris.

      Cliquez sur Suivant pour passer à l'onglet Catalogue Iceberg.

  4. Dans l'onglet Catalogue Iceberg, vous pouvez indiquer les valeurs de champ suivantes :

    • Espaces de noms de catalogue Iceberg : ce champ affiche l'organisation hiérarchique des tables. L'adresse de catalogue Iceberg est constituée de l'espace de noms racine. Sélectionnez l'espace de noms sur lequel le catalogue doit être monté.
    • Style de séparateur d'espace de noms : sélectionnez Style Polaris. Il s'agit de la valeur par défaut. Sélectionnez n'importe quelle valeur en fonction de la configuration de votre catalogue.
      Remarque

      Nous vous recommandons de conserver la valeur par défaut.
    • Région de bucket : entrez la région de bucket. Par exemple : us-west-2.

      Les adresses de catalogue Iceberg servent d'interfaces pour la gestion des tables Iceberg stockées dans le stockage cloud, comme S3. La région de bucket fait référence à l'emplacement géographique où le bucket S3 est hébergé.

      Ce champ est obligatoire pour les catalogues Polaris.



    Cliquez sur Ajouter.

    Une fois que vous avez monté un nouveau catalogue sur un catalogue Iceberg, vous pouvez visualiser le catalogue Polaris sur la page Gérer les catalogues. Vous pouvez désactiver et supprimer le catalogue de cette page.



Afficher le catalogue Polaris monté dans l'explorateur de catalogues

Une fois le nouveau catalogue monté, vous pouvez charger des tables à partir du catalogue monté. Pour rechercher le catalogue, procédez comme suit :
  1. Dans l'outil Catalogue, cliquez sur Sélectionner des catalogues....
  2. Cliquez sur le filtre POLARIS _CATALOG dans l'assistant Catalogues et schémas pour afficher les catalogues POLARIS_CATALOG.
  3. Cliquez sur Appliquer pour afficher les résultats sur la page Catalogue.





Pour monter un catalogue Unity sur un catalogue de données Iceberg :
  1. Sur la page Catalogue, sélectionnez Gérer le catalogue. Cliquez sur +Add.
  2. Dans la boîte de dialogue Ajouter un catalogue, sélectionnez Catalogue Iceberg.



  3. Cliquez sur Suivant.
  4. Indiquez les valeurs de champ suivantes dans l'onglet source Catalogue de la boîte de dialogue Ajouter un catalogue :
    • Nom du catalogue : entrez le nom du catalogue sous lequel monter le catalogue Iceberg.

      Par exemple, Unité.

    • Type de catalogue Iceberg : sélectionnez Unité dans le champ déroulant.
    • Adresse de catalogue Iceberg :

      Pour Unity Catalog, vous utilisez généralement l'API REST Databricks. L'adresse permettant d'accéder aux tables Iceberg via Unity Catalog est généralement au format https ://<databricks-instance-url>/api/2.1/unity-catalog/iceberg.

      Remarque

      Pour plus d'informations, reportez-vous à https://docs.databricks.com/aws/en/external-access/iceberg.
    • Informations d'identification de catalogue Iceberg : sélectionnez des informations d'identification dans la liste déroulante. Si vous n'avez pas d'informations d'identification, vous pouvez en créer une. Sélectionnez Créer des informations d'identification.
      Dans la boîte de dialogue Créer des informations d'identification, indiquez les valeurs suivantes :
      • Nom des informations d'identification : entrez le nom des informations d'identification. Par exemple, UNITY_CRED.
      • Jeton de porteur : collez la valeur du jeton de porteur.

        Sélectionnez Créer des informations d'identification.

        UNITY_CRED est affiché en tant qu'informations d'identification de catalogue Iceberg.



      Cliquez sur Suivant pour passer à l'onglet Catalogue Iceberg.

      Dans l'onglet Catalogue Iceberg, vous pouvez indiquer les valeurs de champ suivantes :

    • Espaces de noms de catalogue Iceberg : sélectionnez l'un des schémas auxquels vous avez besoin d'accéder.
    • Style de séparateur d'espace de noms : le style de séparateur d'espace de noms fait généralement référence à la façon dont les espaces de noms sont structurés et séparés dans le catalogue. Par défaut, l'option Style Databricks est sélectionnée.
    • Région de bucket : ce champ n'est pas obligatoire.



      Cliquez sur Ajouter.



    Une fois que vous avez monté un nouveau catalogue sur un catalogue Iceberg, vous pouvez visualiser le catalogue Unity sur la page Gérer les catalogues. Vous pouvez désactiver et supprimer le catalogue de cette page.

Afficher le catalogue Unity monté dans l'outil Catalogue

Une fois le nouveau catalogue monté, vous pouvez charger des tables à partir du catalogue monté. Pour rechercher le catalogue, procédez comme suit :
  1. Dans l'outil Catalogue, cliquez sur Sélectionner des catalogues....
  2. Cliquez sur le filtre UNITY _CATALOG dans l'assistant Catalogues et schémas pour afficher les catalogues UNITY_CATALOG.



  3. Cliquez sur Appliquer pour afficher les résultats sur la page Catalogue.