Ensemble DBMS_DCAT

Syntaxe

PROCEDURE DBMS_DCAT.SET_DATA_CATALOG_CREDENTIAL(
    credential_name VARCHAR2(128) DEFAULT NULL,
    dcat_con_id     VARCHAR2 DEFAULT NULL
  );

Paramètres

Syntaxe

Ces données d'identification doivent avoir les autorisations Gérer le catalogue de données; voir Politiques de catalogue de données. La valeur par défaut est le principal de ressource; voir Accéder aux ressources en nuage en configurant des politiques et des rôles.

Syntaxe

PROCEDURE DBMS_DCAT.SET_OBJECT_STORE_CREDENTIAL(
    credential_name  VARCHAR2(128),
    dcat_con_id      IN VARCHAR2 DEFAULT NULL
  );

Paramètres

Syntaxe

PROCEDURE DBMS_DCAT.SET_DATA_CATALOG_CONN (
   region         VARCHAR2 DEFAULT NULL,
   endpoint       VARCHAR2 DEFAULT NULL,
   catalog_id     VARCHAR2 DEFAULT NULL,
   dcat_con_id    VARCHAR2 DEFAULT NULL,
   catalog_type   VARCHAR2 DEFAULT NULL,
   token_endpoint VARCHAR2 DEFAULT Null
 );

Paramètres

Syntaxe

Vous n'avez besoin d'appeler cette procédure qu'une seule fois pour définir la connexion. Dans le cadre du processus de connexion, Autonomous AI Database ajoute des propriétés personnalisées au catalogue de données. Ces propriétés personnalisées sont accessibles aux utilisateurs du catalogue de données et vous permettent de remplacer les noms par défaut (pour les schémas, les tables et les colonnes) et les types de données de colonne.

Avant de créer une connexion, les données d'identification doivent être créées et définies. Pour une description du processus de connexion, voir Flux de travail type avec le catalogue de données pour les catalogues de données OCI et Flux de travail d'utilisateur pour l'interrogation avec le catalogue de données AWS Glue pour les catalogues de données AWS Glue.

Exemple : Connexion avec un OCID connu

Dans cet exemple, Autonomous AI Database se connecte au catalogue de données dans la région uk-london-1. Le paramètre catalog_id utilise l'identificateur Oracle Cloud (ocid) pour l'instance de catalogue de données. Le type de catalogue de données est déterminé automatiquement : Catalogue de données AWS Glue ou Catalogue de données OCI.

Exemple : Connexion à un catalogue de données AWS Glue

Une connexion est l'association entre une instance de base de données IA autonome et un catalogue de données AWS Glue. Après une connexion réussie, l'instance de base de données Autonomous AI Database peut se synchroniser avec AWS Glue. Chaque compte AWS dispose d'un catalogue de données AWS Glue par région et chaque catalogue est accessible à l'aide du point d'extrémité de service correspondant pour chaque région. Une instance de base de données d'intelligence artificielle autonome peut être associée à un catalogue de données de colle AWS en appelant l'API DBMS_DCAT.SET_DATA_CATALOG_CONN et en spécifiant le point d'extrémité pour la région où réside le catalogue.

Voir Points d'extrémité et quotas de la colle AWS.

Dans cet exemple, Autonomous AI Database se connecte à un catalogue de données de colle AWS dans la région uk-london-1. Comme il s'agit d'une connexion au catalogue de données AWS Glue, le paramètre catalog_id n'est pas nécessaire.

Exemples : Connexion à un catalogue REST Databricks Unity Iceberg

Dans cet exemple, Autonomous AI Database se connecte à un catalogue REST Databricks Unity Iceberg à l'aide d'un jeton d'accès personnel (de longue durée).

DBMS_CLOUD.create_credential('MY_DATABRICKS_CRED','username', '<personal access token>');
DBMS_DCAT.set_data_catalog_credential(dcat_con_id=>'ICEBERG_CATALOG',credential_name=>'MY_DATABRICKS_CRED');
DBMS_DCAT.set_object_store_credential(dcat_con_id=>'ICEBERG_CATALOG',credential_name=>'SOMECRED');
DBMS_DCAT.set_data_catalog_conn (
  dcat_con_id  => 'ICEBERG_CATALOG',
  catalog_type => 'ICEBERG_UNITY',
  endpoint     => 'https://adb-...azuredatabricks.net/api/2.1/unity-catalog/iceberg/v1/');

Dans cet exemple, Autonomous AI Database est connecté à un catalogue REST Databricks Unity Iceberg avec un principal de service à l'aide de OAuth.

DBMS_CLOUD.create_credential('MY_DATABRICKS_SP_CRED','<client id for the service principal>', '<client secret for the service principal>');
DBMS_DCAT.set_data_catalog_credential(dcat_con_id=>'ICEBERG_CATALOG',credential_name=>'MY_DATABRICKS_SP_CRED');
DBMS_DCAT.set_object_store_credential(dcat_con_id=>'ICEBERG_CATALOG',credential_name=>'MY_OS_CRED');
DBMS_DCAT.set_data_catalog_conn (
  dcat_con_id    => 'ICEBERG_CATALOG',
  catalog_type   => 'ICEBERG_UNITY',
  endpoint       => 'https://adb-...azuredatabricks.net/api/2.1/unity-catalog/iceberg/v1',
  token_endpoint => 'https://adb-...azuredatabricks.net/oidc/v1/token');

Exemple : Connexion à un catalogue REST Apache Polaris Iceberg

Dans cet exemple, Autonomous AI Database se connecte à un catalogue REST Apache Polaris Iceberg à l'aide de OAuth.

DBMS_CLOUD.create_credential('MY_POLARIS_CRED','<client id>', '<client secret>');
DBMS_DCAT.set_data_catalog_credential(dcat_con_id=>'ICEBERG_CATALOG',credential_name=>'MY_POLARIS_CRED');
DBMS_DCAT.set_object_store_credential(dcat_con_id=>'ICEBERG_CATALOG',credential_name=>'SOMECRED');
DBMS_DCAT.set_data_catalog_conn (
  dcat_con_id    => 'ICEBERG_CATALOG',
  catalog_type   => 'ICEBERG_POLARIS',
  endpoint       => 'https://dev-iceberg.subnet...vcn...oraclevcn.com/api/catalog/v1/quickstart_catalog',
  token_endpoint => 'https://dev-iceberg.subnet...vcn...oraclevcn.com/api/catalog/v1/oauth/tokens');

Syntaxe

PROCEDURE DBMS_DCAT.UNSET_DATA_CATALOG_CONN (
    dcat_con_id IN VARCHAR2 DEFAULT NULL
);

Paramètres

Le paramètre sync_option spécifie l'opération effectuée par la procédure RUN_SYNC : SYNC, DELETE ou REPLACE. L'opération est effectuée sur des entités dans la portée du paramètre synced_objects.

Chaque appel à la procédure RUN_SYNC retourne une valeur operation_id unique qui peut être utilisée pour interroger la vue USER_LOAD_OPERATIONS afin d'obtenir des informations sur le statut de la synchronisation et la valeur log_table correspondante. La vue DBMS_DCAT$SYNC_LOG peut être interrogée pour permettre un accès facile à log_table pour la dernière opération de synchronisation exécutée par l'utilisateur courant. Pour plus de détails, voir Vue DBMS_DCAT$SYNC_LOG et Surveillance et dépannage des chargements.

Synchronisation des entités logiques partitionnées ou des tables de colle

La procédure RUN_SYNC crée une table externe partitionnée pour chaque entité logique ou table de colle lorsque les trois éléments suivants s'appliquent :

Pour un exemple complet de synchronisation de bout en bout d'entités logiques partitionnées, voir Exemple : Scénario de données partitionnées.

Synchronisation incrémentielle des entités logiques partitionnées/tables de grue

Chaque appel à la procédure RUN_SYNC spécifie un jeu d'entités logiques de catalogue de données OCI ou de tables AWS Glue à synchroniser avec la base de données. Lorsqu'une entité logique ou une table de colle est présente dans deux appels RUN_SYNC, le deuxième appel conserve et modifie éventuellement les tables externes existantes. Le tableau suivant indique les modifications d'entité logique ou de table de colle prises en charge lorsque l'entité logique ou la table de colle est partitionnée :

Syntaxe

PROCEDURE DBMS_DCAT.RUN_SYNC (
    synced_objects   IN  CLOB,
    sync_option      IN VARCHAR2 DEFAULT 'SYNC',
    error_semantics  IN VARCHAR2 DEFAULT 'SKIP_ERRORS',
    log_level        IN VARCHAR2 DEFAULT 'INFO',
    grant_read       IN VARCHAR2 DEFAULT NULL,
    dcat_con_id      IN VARCHAR2 DEFAULT NULL
 );
PROCEDURE DBMS_DCAT.RUN_SYNC (
    synced_objects   IN  CLOB,
    sync_option      IN VARCHAR2 DEFAULT 'SYNC',
    error_semantics  IN VARCHAR2 DEFAULT 'SKIP_ERRORS',
    log_level        IN VARCHAR2 DEFAULT 'INFO',
    grant_read       IN VARCHAR2 DEFAULT NULL,
    operation_id     OUT NOCOPY NUMBER,
    dcat_con_id      IN VARCHAR2 DEFAULT NULL
 );

Paramètres

Exemple : Synchroniser toutes les entités du catalogue de données OCI

Dans l'exemple suivant, toutes les entités du catalogue de données sont synchronisées.

Exemple : Paramètre synced_objects pour synchroniser toutes les ressources de données du catalogue de données OCI

Voici un exemple de paramètre synced_objects pour synchroniser toutes les ressources de données (stockage d'objets) du catalogue de données.

Exemple : Paramètre synced_objects pour synchroniser des ressources de données de catalogue de données OCI spécifiques

Voici un exemple de paramètre synced_objects pour synchroniser deux ressources de données.

Exemple : Paramètre synced_objects pour synchroniser des entités de catalogue de données OCI spécifiques dans une ressource de données

Ce qui suit présente un exemple de paramètre synced_objects pour synchroniser deux entités au sein de la ressource de données.

Exemple : Paramètre synced_objects pour synchroniser des dossiers et des entités de catalogue de données OCI spécifiques dans une ressource de données

Voici un exemple de paramètre synced_objects pour synchroniser deux dossiers et deux entités au sein de la ressource de données.

Exemple : Paramètre synced_objects pour synchroniser toutes les bases de données du catalogue de données de colle AWS

Voici un exemple de paramètre synced_objects pour synchroniser toutes les bases de données dans le catalogue de données AWS Glue.

Exemple : Paramètre synced_objects pour synchroniser deux bases de données de catalogue de données de colle AWS

Voici un exemple de paramètre synced_objects pour la synchronisation de deux bases de données AWS Glue Data Catalog.

Exemple : Paramètre synced_objects pour la synchronisation de trois bases de données de catalogue de données de colle AWS

Voici un exemple de paramètre synced_objects pour synchroniser trois tables à partir d'une base de données AWS Glue Data Catalog.

Exemple : Appelez DBMS_DCAT.run_sync pour synchroniser tous les espaces de noms d'un catalogue Iceberg

Pour un catalogue Iceberg, cet exemple d'appel synchronise tous les espaces de noms :

DBMS_DCAT.run_sync(
  dcat_con_id     => 'MY_ICEBERG_CON',
  synced_objects  => '{"namespace_list" : ["*"]}',
  sync_option     => 'SYNC',     
  error_semantics => 'STOP_ON_ERROR,     
  log_level       => 'DEBUG',     
  grant_read      => 'DB_USER');

Exemple : Appelez DBMS_DCAT.run_sync pour synchroniser toutes les tables d'un espace de noms Iceberg et quelques tables d'un autre espace de noms Iceberg

Pour un catalogue Iceberg, cet exemple d'appel synchronise toutes les tables de l'espace de noms warehouse et trois tables de l'espace de noms ["bigdata","tpcdsparquet"] :

DBMS_DCAT.run_sync(
  dcat_con_id     => 'MY_ICEBERG_CON',
  synced_objects  => '{"namespace_list": [
                          { "namespace": ["warehouse"] },
                          { "namespace": ["bigdata", "tpcdsparquet"],
                                "table_list": [ "tpcdsparquet_customer",
                                                "tpcdsparquet_item",
                                                "tpcdsparquet_web_sales" ] } ]}',
  sync_option     => 'SYNC',    
  error_semantics => 'STOP_ON_ERROR,    
  log_level       => 'DEBUG',    
  grant_read      => 'DB_USER');

Il prend en entrée l'ensemble des objets à synchroniser, la sémantique d'erreur, le niveau de journal et un intervalle de répétition. Voir DBMS_DCAT RUN_SYNC Procédure pour plus de détails sur le fonctionnement de la synchronisation.

Il ne peut y avoir qu'une seule tâche de synchronisation. La procédure CREATE_SYNC_JOB échoue si une autre tâche est déjà spécifiée, sauf si le paramètre force est réglé à TRUE. Si force est réglée à TRUE, la tâche précédente est supprimée.

Si un travail du programmateur tente de s'exécuter alors qu'une autre synchronisation est en cours, le travail du programmateur échoue.

Syntaxe

PROCEDURE DBMS_DCAT.CREATE_SYNC_JOB (
    synced_objects   IN CLOB,
    error_semantics  IN VARCHAR2 DEFAULT 'SKIP_ERRORS',
    log_level        IN VARCHAR2 DEFAULT 'INFO',
    repeat_interval  IN VARCHAR2,
    force            IN VARCHAR2 DEFAULT 'FALSE',
    grant_read       IN VARCHAR2 DEFAULT NULL,
    sync_option      IN VARCHAR2 DEFAULT 'SYNC',
    dcat_con_id      IN VARCHAR2 DEFAULT NULL
);

Paramètres

Syntaxe

PROCEDURE DBMS_DCAT.DROP_SYNC_JOB (
    dcat_con_id IN VARCHAR2 DEFAULT NULL
  );

Paramètres

Syntaxe

PROCEDURE DBMS_DCAT.DROP_SYNCED_SCHEMAS (
    dcat_con_id IN VARCHAR2 DEFAULT NULL
  );

Paramètres

Exemple

Chaque appel à la procédure RUN_SYNC est journalisé dans une nouvelle table de journaux, pointée par le champ LOGFILE_TABLE de USER_LOAD_OPERATIONS. Les tables de journaux sont automatiquement supprimées après 2 jours et les utilisateurs peuvent effacer tous les journaux de synchronisation à l'aide de la procédure DELETE_ALL_OPERATIONS dont le type est DCAT_SYNC.

La vue DBMS_DCAT$SYNC_LOG identifie automatiquement la dernière table de journaux. Le schéma de la vue DBMS_DCAT$SYNC_LOG est décrit ci-dessous et les autorisations d'accès sont identiques à celles des tables de journaux individuelles. Par défaut, READ est accordé au rôle dbms_dcat et à l'utilisateur ADMIN.

Les tables de journalisation ont le format suivant :