Pacchetto DBMS_DCAT

Il pacchetto DBMS_DCAT fornisce funzioni e procedure per aiutare gli utenti di Autonomous Database a utilizzare il sistema di ricerca automatica dei dati e gestione centralizzata dei metadati di OCI Data Catalog.

Data Catalog raccoglie i metadati dagli asset di storage degli oggetti di un data lake. Il processo di raccolta crea entità logiche, che possono essere considerate come tabelle con colonne e tipi di dati associati. Le procedure e le funzioni DBMS_DCAT connettono Autonomous Database a Data Catalog e quindi sincronizzano gli asset con il database, creando schemi protetti e tabelle esterne. È quindi possibile eseguire query sull'area di memorizzazione degli oggetti utilizzando tali tabelle esterne, unendo facilmente i dati esterni ai dati memorizzati in Autonomous Database. Ciò semplifica notevolmente il processo di gestione; esiste un'unica area di memorizzazione dei metadati gestita a livello centrale condivisa tra più servizi OCI (inclusi i database autonomi). Esistono anche viste del dizionario di Autonomous Database che consentono di ispezionare il contenuto di Data Catalog utilizzando SQL e di mostrare come queste entità di Data Catalog vengono mappate agli schemi e alle tabelle di Autonomous Database.

Utenti e ruoli di Data Catalog

Il pacchetto DBMS_DCAT supporta utenti/schemi sincronizzati, utenti dcat_admin e utenti locali. Per poter utilizzare questo pacchetto, gli utenti devono disporre del ruolo dcat_sync.

Utenti Data Catalog

  • Utenti/schemi sincronizzati

    Le tabelle esterne sincronizzate sono organizzate in schemi di database corrispondenti alle combinazioni di asset dati/bucket o in base alle proprietà personalizzate impostate dall'utente. Gli schemi sincronizzati vengono creati/eliminati automaticamente durante la sincronizzazione di Data Catalog. Vengono creati come utenti di autenticazione senza il privilegio CREATE SESSION. Gli schemi sincronizzati vengono creati anche utilizzando la clausola protetta, in modo che non possano essere modificati dagli utenti locali (nemmeno dall'amministratore PDB) e possano essere modificati solo tramite la sincronizzazione.

  • Utente dcat_admin

    L'utente dcat_admin è un utente di database locale in grado di eseguire una sincronizzazione e concedere il privilegio READ sulle tabelle sincronizzate ad altri utenti o ruoli. L'utente viene creato come utente senza autenticazione senza il privilegio CREATE SESSION.

  • Utenti locali

    Agli utenti del database che eseguono query sulle tabelle esterne devono essere concessi in modo esplicito i privilegi READ sulle tabelle esterne sincronizzate dagli utenti dcat_admin o ADMIN. Per impostazione predefinita, una volta completata la sincronizzazione, solo gli utenti dcat_admin e ADMIN possono accedere alle tabelle esterne sincronizzate.

Ruoli Data Catalog

  • dcat_sync

    Il ruolo dcat_sync dispone di tutti i privilegi necessari per l'uso del pacchetto DBMS_DCAT. Gli utenti devono disporre di questo ruolo per poter utilizzare l'API per navigare nel Data Catalog ed eseguire la sincronizzazione.

Credenziali e criteri IAM necessari

Questo argomento descrive le credenziali utente e i criteri di Oracle Cloud Infrastructure Identity and Access Management (IAM) necessari per concedere agli utenti di Autonomous Database l'autorizzazione per gestire un Data Catalog e leggere dallo storage degli oggetti.

Requisiti delle credenziali e dei criteri di OCI Data Catalog:

Requisiti delle credenziali e dei criteri di AWS Glue Data Catalog

Le credenziali utente e i criteri riportati di seguito sono necessari per concedere agli utenti di Autonomous Database l'autorizzazione ad accedere ai Data Catalog di colla di Amazon Web Services (AWS) e a leggere dallo storage degli oggetti S3.
  • È necessario un oggetto credenziale con autorizzazione per accedere a un AWS Glue Data Catalog. Per informazioni sulla gestione delle credenziali, vedere DBMS_CLOUD per la gestione degli accessi.

    Per accedere a un AWS Glue Data Catalog sono necessari i seguenti privilegi: colla:GetDatabases , colla:GetTables e colla:GetTable.

    Inoltre, il privilegio s3:GetBucketLocation è necessario durante la sincronizzazione per la generazione di URL https risolvibili che puntano agli oggetti S3 sottostanti.
  • È necessario un oggetto credenziale con autorizzazione per accedere ai file memorizzati in S3 in modo che Autonomous Database possa eseguire query sui file di dati.
  • Le credenziali AWS sono supportate. Le credenziali dei nomi delle risorse AWS Amazon (ARN) non sono supportate.

Esempio: creazione di un oggetto credenziale di autenticazione nativa OCI

In questo esempio, creiamo una credenziale di autenticazione nativa OCI che può essere utilizzata quando si crea un Data Catalog o un oggetto credenziale dell'area di memorizzazione degli oggetti. Per ulteriori informazioni, vedere rispettivamente DBMS_DCAT SET_DATA_CATALOG_CREDENTIAL Procedura e DBMS_DCAT SET_OBJECT_STORE_CREDENTIAL Procedura.

Nell'autenticazione nativa OCI, la procedura DBMS_CLOUD.CREATE_CREDENTIAL include i parametri seguenti: credential_name, user_ocid, tenancy_ocid, private_key e fingerprint. Per una descrizione completa di questa procedura, vedere DBMS_CLOUD CREATE_CREDENTIAL Procedura.

credential_name è il nome dell'oggetto credenziale. I parametri user_ocid e tenancy_ocid corrispondono rispettivamente agli OCID dell'utente e della tenancy.

Il parametro private_key specifica la chiave privata generata in formato PEM. Le chiavi private create con una passphrase non sono supportate. Pertanto, dobbiamo assicurarci di generare una chiave senza passphrase. Per ulteriori informazioni su come creare una chiave privata senza passphrase, vedere Come generare una chiave di firma API. Inoltre, la chiave privata fornita per questo parametro deve contenere solo la chiave stessa senza alcuna intestazione o piè di pagina (ad esempio '-----BEGIN RSA PRIVATE KEY-----', '-----END RSA PRIVATE KEY-----').

Il parametro fingerprint specifica l'impronta digitale ottenuta dopo aver caricato la chiave pubblica nella console o utilizzando i comandi OpenSSL. Per ulteriori dettagli su come ottenere l'impronta digitale, vedere Come caricare la chiave pubblica e Come ottenere l'impronta digitale della chiave.

Una volta raccolte tutte le informazioni necessarie e generata la chiave privata, siamo pronti per eseguire la seguente procedura CREATE_CREDENTIAL:

BEGIN
  DBMS_CLOUD.CREATE_CREDENTIAL (
    credential_name => 'OCI_NATIVE_CRED',
    user_ocid              => 'ocid1.user.oc1..aaaaaaaatfn77fe3fxux3o5lego7glqjejrzjsqsrs64f4jsjrhbsk5qzndq',
    tenancy_ocid           => 'ocid1.tenancy.oc1..aaaaaaaapwkfqz3upqklvmelbm3j77nn3y7uqmlsod75rea5zmtmbl574ve6a',
    private_key            => 'MIIEogIBAAKCAQEA...t9SH7Zx7a5iV7QZJS5WeFLMUEv+YbYAjnXK+dOnPQtkhOblQwCEY3Hsblj7Xz7o=',
    fingerprint            => '4f:0c:d6:b7:f2:43:3c:08:df:62:e3:b2:27:2e:3c:7a');
END;
/
Dopo aver creato l'oggetto credenziale, viene visualizzato nella tabella dba_credentials:
SELECT owner, credential_name
FROM dba_credentials 
WHERE credential_name LIKE '%NATIVE%';

OWNER CREDENTIAL_NAME
----- ---------------
ADMIN OCI_NATIVE_CRED

Esempio: uso del principal risorsa di Autonomous Database

In questo esempio viene creato un gruppo dinamico che include i membri risorsa appropriati, al gruppo dinamico viene concessa l'autorizzazione per gestire un Data Catalog e al gruppo dinamico viene concessa l'autorizzazione per la lettura dallo storage degli oggetti.

  1. Creare un gruppo dinamico denominato adb-grp-1. Aggiungere una regola di corrispondenza a adb-grp-1 che includa l'istanza di Autonomous Database con OCID ocid1.autonomousdatabase.oc1.iad.abuwcljr...fjkfe come membro risorsa.

    Regola di corrispondenza gruppo dinamico:

    resource.id = 'ocid1.autonomousdatabase.oc1.iad.abuwcljr...fjkfe'
  2. Definire un criterio che conceda al gruppo dinamico adb-grp-1 l'accesso completo alle istanze di Data Catalog nel compartimento mycompartment.

    allow dynamic-group adb-grp-1 to manage data-catalog-family in compartment mycompartment
  3. Definire un criterio che consenta al gruppo dinamico adb-grp-1 di leggere qualsiasi bucket nel compartimento denominato mycompartment.
    allow dynamic-group adb-grp-1 to read objects in compartment mycompartment

Esempio: utilizzo dei principal utente

In questo esempio, user1 è membro del gruppo adb-admins. A tutti i membri di questo gruppo viene concessa l'autorizzazione per gestire tutti i data catalog in mycompartment e per la lettura dall'object store in mycompartment.

  1. Consente agli utenti membri di adb-admins di gestire tutti i Data Catalog all'interno di mycompartment.
    allow group adb-admins to manage data-catalog-family in compartment mycompartment
  2. Consente agli utenti membri di adb-admins di leggere qualsiasi oggetto in qualsiasi bucket all'interno di mycompartment.
    allow group adb-admins to read objects in compartment mycompartment

Riepilogo dei sottoprogrammi di Connection Management

In questa tabella sono elencate le procedure del package DBMS_DCAT utilizzate per creare, eseguire query ed eliminare le connessioni al Data Catalog.

Sottoprogramma Descrizione
Procedura SET_DATA_CATALOG_CONN Creare una connessione al Data Catalog specificato
Procedura SET_DATA_CATALOG_CREDENTIAL Impostare la credenziale di accesso al Data Catalog utilizzata da una connessione specifica al Data Catalog
Procedura SET_OBJECT_STORE_CREDENTIAL Imposta la credenziale utilizzata dall'identificativo di connessione univoco specificato per accedere all'area di memorizzazione degli oggetti
Procedura UNSET_DATA_CATALOG_CONN Rimuovere una connessione Data Catalog esistente

Procedura SET_DATA_CATALOG_CREDENTIAL

Questa procedura imposta le credenziali di accesso al Data Catalog utilizzate da una connessione specifica al Data Catalog.

Sintassi

PROCEDURE DBMS_DCAT.SET_DATA_CATALOG_CREDENTIAL(
    credential_name VARCHAR2(128) DEFAULT NULL,
    dcat_con_id     VARCHAR2 DEFAULT NULL
  );

Parametri

Parametro Descrizione

credential_name

(Facoltativo) Credenziale utilizzata per accedere al Data Catalog.

dcat_con_id Identificativo di connessione Data Catalog univoco. Questa credenziale viene utilizzata per la connessione identificata da dcat_con_id. L'impostazione predefinita è Null.

Uso

Questa credenziale deve disporre delle autorizzazioni Gestisci Data Catalog; vedere Criteri Data Catalog. L'impostazione predefinita è il principal risorsa; vedere Accedi alle risorse cloud mediante la configurazione di criteri e ruoli.

Procedura SET_OBJECT_STORE_CREDENTIAL

Questa procedura imposta la credenziale utilizzata dall'identificativo di connessione univoco specificato per accedere all'area di memorizzazione degli oggetti. La modifica delle credenziali di accesso all'area di memorizzazione degli oggetti modifica tutte le tabelle sincronizzate esistenti per utilizzare la nuova credenziale.

Sintassi

PROCEDURE DBMS_DCAT.SET_OBJECT_STORE_CREDENTIAL(
    credential_name  VARCHAR2(128),
    dcat_con_id      IN VARCHAR2 DEFAULT NULL
  );

Parametri

Parametro Descrizione

credential_name

Credenziale utilizzata dalle tabelle esterne per accedere all'area di memorizzazione degli oggetti.

dcat_con_id Identificativo di connessione Data Catalog univoco. Il valore predefinito è NULL.

Procedura SET_DATA_CATALOG_CONN

Questa procedura crea una connessione al Data Catalog specificato. La connessione è necessaria per sincronizzare i metadati con Data Catalog. Un'istanza di Autonomous Database può connettersi a più istanze di Data Catalog e supporta la connessione a OCI Data Catalog e AWS Glue Data Catalogs.

Sintassi

PROCEDURE DBMS_DCAT.SET_DATA_CATALOG_CONN (
   region       VARCHAR2 DEFAULT NULL,
   endpoint     VARCHAR2 DEFAULT NULL,
   catalog_id   VARCHAR2 DEFAULT NULL,
   dcat_con_id  VARCHAR2 DEFAULT NULL,
   catalog_type VARCHAR2 DEFAULT NULL
 );

Parametri

Parametro Descrizione

region

Area Data Catalog. Se si specifica endpoint, region è facoltativo. Se vengono specificati sia endpoint che region, il valore endpoint ha la precedenza. Il valore predefinito è NULL.

endpoint

Endpoint Data Catalog. Se si specifica region, endpoint è facoltativo. Se vengono specificati sia endpoint che region, il valore endpoint ha la precedenza. Il valore predefinito è NULL.

catalog_id

L'OCID (Oracle Cloud Identifier) univoco per l'istanza di Data Catalog. Quando ci si connette ad AWS Glue Data Catalogs, catalog_id è facoltativo.

dcat_con_id Identificativo di connessione Data Catalog univoco. Questo identificativo è obbligatorio quando si esegue la connessione a più Data Catalog ed è facoltativo quando si esegue la connessione a uno solo. Viene utilizzato per fare riferimento alla connessione Data Catalog nelle chiamate successive o durante l'esecuzione di query sulle viste. Se non viene specificato alcun identificativo, questa procedura genera un identificativo di connessione NULL. Per dcat_con_id sono previste le limitazioni riportate di seguito:
  • Deve essere univoco all'interno dell'istanza di Autonomous Database.
  • Deve iniziare con una lettera.
  • Può contenere caratteri alfanumerici, caratteri di sottolineatura (_), simboli del dollaro ($) e simboli del cancelletto (#).
  • Deve avere una lunghezza minima di 16 caratteri.
catalog_type Tipo di Data Catalog da connettere. Valori consentiti:
  • OCI_DCAT - OCI Data Catalog
  • AWS_GLUE - Catalogo dati AWS Glue
  • NULL: il tipo di catalogo viene rilevato automaticamente dall'area o dall'endpoint forniti.

Uso

È necessario chiamare questa procedura solo una volta per impostare la connessione. Nell'ambito del processo di connessione, Autonomous Database aggiunge proprietà personalizzate a Data Catalog. Queste proprietà personalizzate sono accessibili agli utenti di Data Catalog e consentono di sostituire i nomi predefiniti (per schemi, tabelle e colonne) e i tipi di dati delle colonne.

Prima di creare una connessione, è necessario creare e impostare le credenziali. Per una descrizione del processo di connessione, vedere Workflow tipico con Data Catalog per OCI Data Catalog e Workflow utente per query con AWS Glue Data Catalog per AWS Glue Data Catalogs.

Esempio: connessione a un OCID noto

In questo esempio, Autonomous Database si sta connettendo a Data Catalog nell'area uk-london-1. Il parametro catalog_id utilizza l'identificativo Oracle Cloud (ocid) per l'istanza di Data Catalog. Il tipo di Data Catalog viene determinato automaticamente: AWS Glue Data Catalog o OCI Data Catalog.

BEGIN
  DBMS_DCAT.SET_DATA_CATALOG_CONN(
    region=>'uk-london-1',
    catalog_id=>'ocid1.datacatalog.oc1.uk-london-1...');
END;
/

Esempio: connessione a un AWS Glue Data Catalog

Una connessione è l'associazione tra un'istanza di Autonomous Database e un AWS Glue Data Catalog. Dopo una connessione riuscita, l'istanza di Autonomous Database è in grado di sincronizzarsi con AWS Glue. Ogni account AWS dispone di un AWS Glue Data Catalog per regione e è possibile accedere a ogni catalogo utilizzando l'endpoint del servizio corrispondente per ogni regione. Un'istanza di Autonomous Database può essere associata a un AWS Glue Data Catalog richiamando l'API DBMS_DCAT.SET_DATA_CATALOG_CONN e specificando l'endpoint per l'area in cui risiede il catalogo.

Vedere Endpoint e quote AWS Glue.

In questo esempio, Autonomous Database si sta connettendo a un AWS Glue Data Catalog nell'area uk-london-1. Poiché si tratta di una connessione AWS Glue Data Catalog, il parametro catalog_id non è necessario.

BEGIN
  DBMS_DCAT.SET_DATA_CATALOG_CONN(
    region=>'uk-london-1',
    catalog_type=>'AWS_GLUE'
END;
/

Procedura UNSET_DATA_CATALOG_CONN

Questa procedura rimuove una connessione al Data Catalog esistente.

Sintassi

Nota

Il richiamo di questa procedura comporta l'eliminazione di tutti gli schemi protetti e di tutte le tabelle esterne creati nell'ambito delle sincronizzazioni precedenti. Non influisce sui metadati in Data Catalog.
PROCEDURE DBMS_DCAT.UNSET_DATA_CATALOG_CONN (
    dcat_con_id IN VARCHAR2 DEFAULT NULL
);

Parametri

Parametro Descrizione
dcat_con_id Identificativo di connessione Data Catalog univoco. L'impostazione predefinita è Null.

Riepilogo dei sottoprogrammi di sincronizzazione

È possibile eseguire una sincronizzazione, la creazione e l'eliminazione di un job di sincronizzazione e di schemi sincronizzati con le procedure elencate in questa tabella.

Nota

Il 4 aprile 2022, i parametri sync_option e grant_read sono stati aggiunti alla procedura DBMS_DCAT.RUN_SYNC. Per garantire le prestazioni corrette dei job di sincronizzazione schedulati creati prima di tale data, è necessario eliminare e ricreare i job di sincronizzazione schedulati. Vedere DBMS_DCAT.DROP_SYNC_JOB Procedura e DBMS_DCAT.CREATE_SYNC_JOB Procedura.
Sottoprogramma Descrizione
Procedura CREATE_SYNC_JOB Creare un job scheduler per richiamare periodicamente RUN_SYNC
Procedura DROP_SYNC_JOB Elimina un job di sincronizzazione esistente per l'identificativo di connessione univoco specificato
Procedura DROP_SYNCED_SCHEMAS Elimina tutti gli schemi sincronizzati in precedenza per l'identificativo di connessione univoco specificato
Procedura RUN_SYNC Eseguire un'operazione di sincronizzazione

Procedura RUN_SYNC

Questa procedura esegue un'operazione di sincronizzazione ed è il punto di accesso alla sincronizzazione. Come input, acquisisce elenchi di asset, cartelle ed entità di Data Catalog selezionati e li materializza creando, eliminando e modificando tabelle esterne.

Il parametro sync_option specifica l'operazione eseguita dalla procedura RUN_SYNC: SYNC, DELETE o REPLACE. L'operazione viene eseguita su entità incluse nell'ambito del parametro synced_objects.

Ogni chiamata alla procedura RUN_SYNC restituisce un operation_id univoco che può essere utilizzato per eseguire una query sulla vista USER_LOAD_OPERATIONS per ottenere informazioni sullo stato della sincronizzazione e sul corrispondente log_table. È possibile eseguire query sulla vista DBMS_DCAT$SYNC_LOG per accedere facilmente a log_table per l'ultima operazione di sincronizzazione eseguita dall'utente corrente. Per ulteriori dettagli, vedere DBMS_DCAT$SYNC_LOG View e Monitoring and Troubleshooting Loads.

Nota

Il 4 aprile 2022, i parametri sync_option e grant_read sono stati aggiunti alla procedura RUN_SYNC. Per garantire le prestazioni corrette dei job di sincronizzazione schedulati creati prima di tale data, è necessario eliminare e ricreare i job di sincronizzazione schedulati. Vedere DBMS_DCAT.DROP_SYNC_JOB Procedura e DBMS_DCAT.CREATE_SYNC_JOB Procedura.

Sincronizzazione delle entità logiche partizionate o delle tabelle di colla

La procedura RUN_SYNC crea una tabella esterna partizionata per ogni entità logica o tabella Glue quando si applicano tutte e tre le condizioni riportate di seguito.

  1. L'entità logica o la tabella Colla di OCI Data Catalog dispone di uno o più attributi partizionati.
  2. Per i Data Catalog OCI, l'entità logica deriva da un pattern di nomi file basato su prefissi. Le entità logiche partizionate derivate da pattern basati su espressioni regolari non sono supportate.
  3. Per i Data Catalog OCI, l'entità logica si basa su dati partizionati che seguono il formato della cartella hive-style o non Beehive. Le entità logiche basate su dati partizionati che seguono il formato di stile non Beehive utilizzando i nomi oggetto non sono supportate.
    • Esempio1. Entità logiche basate su oggetti raccolti che seguono il formato di partizionamento di stile Hive con pattern di nomi file basati su prefissi.

      Considerare gli oggetti riportati di seguito.
      Bucket: MYBUCKET
      cluster1/db1.db/sales/country=USA/year=2020/month=01/sales1.csv
      cluster1/db1.db/sales/country=USA/year=2020/month=01/sales2.csv
      cluster1/db1.db/sales/country=USA/year=2020/month=02/sales1.csv

      La raccolta del bucket mediante un pattern di nomi file con un prefisso di cartella iniziale cluster1/db1.db genera un'entità logica denominata SALES con tre attributi di partizione: country, year e month. Il tipo per gli attributi partizionati è Partition mentre il tipo per gli attributi non partizionati è Primitive.

    • Esempio2. Entità logiche basate su oggetti raccolti che seguono il formato di partizionamento in stile non Hive con pattern di nomi file basati su prefissi.
      Considerare gli oggetti riportati di seguito.
      Bucket: MYBUCKET
      cluster2/db2.db/sales/USA/2020/01/sales1.csv
      cluster2/db2.db/sales/USA/2020/01/sales2.csv
      cluster2/db2.db/sales/USA/2020/02/sales1.csv

      La raccolta del bucket mediante un pattern di nomi file con un prefisso di cartella iniziale cluster2/db2.db genera un'entità logica denominata SALES con tre attributi di partizione: name0, name1 e name2. L'unica differenza tra l'entità logica generata rispetto all'esempio 1 è che i nomi degli attributi partizionati vengono generati automaticamente, mentre nell'esempio 1 vengono estratti dall'URL (rispettivamente country, year e month).

Per un esempio completo di sincronizzazione delle entità logiche partizionate, vedere Esempio: scenario di dati partizionati.

Sincronizzazione incrementale di entità logiche partizionate/tabelle Glue

Ogni chiamata alla procedura RUN_SYNC specifica un set di entità logiche del Data Catalog OCI o tabelle AWS Glue da sincronizzare con il database. Quando un'entità logica o una tabella Colla è presente in due chiamate RUN_SYNC, la seconda chiamata conserva ed eventualmente altera le tabelle esterne esistenti. La tabella riportata di seguito mostra quali modifiche all'entità logica o alla tabella Colla sono supportate quando l'entità logica o la tabella Colla è partizionata.

Modifica entità logica o tabella colla Azione

Aggiunta, rimozione o aggiornamento di una partizione

Tutte le partizioni della tabella partizionata esterna vengono aggiornate, indipendentemente dal fatto che sia stata rilevata una modifica dal Data Catalog.

Aggiunta di un attributo partizionato

L'aggiunta di una colonna partizionata a una tabella partizionata esterna non è supportata. Viene generata un'eccezione.

Eliminazione di un attributo di partizione

L'eliminazione di una colonna partizionata da una tabella partizionata esterna non è supportata. Viene generata un'eccezione.

Ridenominazione di un attributo partizionato

La ridenominazione di una colonna partizionata in una tabella partizionata esterna non è supportata. Viene generata un'eccezione.

Sintassi

PROCEDURE DBMS_DCAT.RUN_SYNC (
    synced_objects   IN  CLOB,
    sync_option      IN VARCHAR2 DEFAULT 'SYNC',
    error_semantics  IN VARCHAR2 DEFAULT 'SKIP_ERRORS',
    log_level        IN VARCHAR2 DEFAULT 'INFO',
    grant_read       IN VARCHAR2 DEFAULT NULL,
    dcat_con_id      IN VARCHAR2 DEFAULT NULL
 );
PROCEDURE DBMS_DCAT.RUN_SYNC (
    synced_objects   IN  CLOB,
    sync_option      IN VARCHAR2 DEFAULT 'SYNC',
    error_semantics  IN VARCHAR2 DEFAULT 'SKIP_ERRORS',
    log_level        IN VARCHAR2 DEFAULT 'INFO',
    grant_read       IN VARCHAR2 DEFAULT NULL,
    operation_id     OUT NOCOPY NUMBER,
    dcat_con_id      IN VARCHAR2 DEFAULT NULL
 );

Parametri

Parametro Descrizione

synced_objects

Questo parametro è un documento JSON che specifica gli oggetti Data Catalog da sincronizzare.

Per i Data Catalog OCI, il documento JSON specifica un set di entità con più granularità: asset di dati, cartelle (bucket dell'area di memorizzazione degli oggetti) o entità logiche. Contiene un asset_list che è un array di oggetti asset o un array contenente una singola stringa "*" che sta per 'sincronizza tutti gli asset dati (object store) nel catalogo'.

Per AWS Glue Data Catalogs, il documento JSON specifica un elenco di tabelle in più granularità: database, tabelle. Il documento specifica una lista di database. Gli utenti possono limitare il set di tabelle da sincronizzare specificando singole tabelle all'interno di un database.

sync_option (Opzionale) Sono disponibili tre opzioni:
  • SYNC (predefinito): questa opzione garantisce che gli elementi presenti nel Data Catalog, nell'ambito synced_objects, siano rappresentati nell'Autonomous Database. Se un'entità logica o una tabella di collegamento è stata eliminata dal Data Catalog, dopo l'ultima operazione di sincronizzazione, viene eliminata in Autonomous Database. Nell'ambito synced_objects vengono eseguite le operazioni riportate di seguito.
    • Aggiunge tabelle per nuove entità Data Catalog
    • Rimuove le tabelle per le entità Data Catalog eliminate
    • Aggiorna le proprietà (ad esempio nome, colonne e tipi di dati) per le tabelle esistenti
  • DELETE: elimina le tabelle all'interno dell'ambito synced_objects.
  • REPLACE: sostituisce tutti gli oggetti attualmente sincronizzati con gli oggetti inclusi nell'ambito synced_objects.

error_semantics

(Facoltativo) Questo parametro specifica il funzionamento dell'errore. Se impostato su SKIP_ERRORS, la sincronizzazione tenta di continuare nonostante gli errori rilevati per le singole entità. Se impostato su STOP_ON_ERROR, la procedura non riesce al primo errore rilevato. L'impostazione predefinita è SKIP_ERRORS.

log_level

(Facoltativo) Questo parametro specifica i valori riportati di seguito per aumentare il livello dei dettagli di log (OFF, FATAL, ERROR, WARN, INFO, DEBUG, TRACE, ALL). L'impostazione predefinita è INFO.
grant_read (Facoltativo) Questo parametro è un elenco di utenti/ruoli ai quali vengono concessi automaticamente i privilegi READ su tutte le tabelle esterne elaborate da questo richiamo di RUN_SYNC. A tutti gli utenti/ruoli della lista grant_read vengono assegnati privilegi READ su tutte le tabelle esterne nuove o già esistenti che corrispondono alle entità specificate dal parametro synced_objects. La procedura RUN_SYNC conserva i privilegi già concessi sulle tabelle esterne sincronizzate.

operation_id

(Facoltativo) Questo parametro viene utilizzato per trovare la voce corrispondente in USER_LOAD_OPERATIONS per la sincronizzazione e determinare il nome della tabella di log.

Nota: è disponibile una versione di RUN_SYNC che non restituisce un operation_id in modo che gli utenti possano eseguire una query su USER_LOAD_OPERATIONS per la sincronizzazione più recente.

dcat_con_id Questo parametro è l'identificativo di connessione di Data Catalog univoco specificato al momento della creazione della connessione al Data Catalog. Vedere DBMS_DCAT SET_DATA_CATALOG_CONN Procedura. Questo parametro identifica la connessione utilizzata per la sincronizzazione e diventa parte del nome dello schema derivato. Vedere Mapping sincronizzazione per una descrizione delle modalità di derivazione del nome dello schema. Il valore predefinito del parametro è NULL.

Esempio: sincronizzazione di tutte le entità di OCI Data Catalog

Nell'esempio seguente vengono sincronizzate tutte le entità di Data Catalog.

EXEC DBMS_DCAT.RUN_SYNC(synced_objects=>'{"asset_list":["*"]}');

Esempio: parametro synced_objects per la sincronizzazione di tutti gli asset dati di Data Catalog OCI

Di seguito è riportato un parametro synced_objects di esempio per la sincronizzazione di tutti gli asset dati (storage degli oggetti) nel Data Catalog.

{"asset_list" : ["*"]}

Esempio: parametro synced_objects per la sincronizzazione di asset dati OCI specifici di Data Catalog

Di seguito è riportato un parametro synced_objects di esempio per la sincronizzazione di due asset dati.

{"asset_list": [
        {
            "asset_id":"0b320de9-8411-4448-91fb-9e2e7f78fd5f"
        },
        {
            "asset_id":"0b320de9-8411-4448-91fb-9e2e7f74523"
        }
    ]}

Esempio: parametro synced_objects per la sincronizzazione di entità OCI Data Catalog specifiche all'interno di un asset dati

Di seguito è riportato un parametro synced_objects di esempio per la sincronizzazione di due entità all'interno dell'asset dati.

{"asset_list": [
        {
            "asset_id":"0b320de9-8411-4448-91fb-9e2e7f78fd5f",
            "folder_list":[
                "f1",         
                "f2" 
           ]
        }   
    ]}

Esempio: parametro synced_objects per la sincronizzazione di cartelle ed entità OCI specifiche di Data Catalog all'interno di un asset dati

Di seguito è riportato un parametro synced_objects di esempio per la sincronizzazione di due cartelle e due entità all'interno dell'asset dati.

{"asset_list":[
        {
            "asset_id":"0b320de9-8411-4448-91fb-9e2e7f78fd5f",
            "entity_list": [
                "entity1",     
                "entity2"
            ],
             "folder_list": [
                "f1",         
                "f2"
            ]
        }   
    ]}

Esempio: parametro synced_objects per la sincronizzazione di tutti i database AWS Glue Data Catalog

Di seguito è riportato un parametro synced_objects di esempio per la sincronizzazione di tutti i database in AWS Glue Data Catalog.

{"database_list":["*"]}

Esempio: parametro synced_objects per la sincronizzazione di due database AWS Glue Data Catalog

Di seguito è riportato un parametro synced_objects di esempio per la sincronizzazione di due database AWS Glue Data Catalog.

{"database_list":[
    {"database":"tpcdscsv"},
    {"database":"tpcdsparquet"} ]}

Esempio: parametro synced_objects per la sincronizzazione di tre database AWS Glue Data Catalog

Di seguito è riportato un parametro synced_objects di esempio per la sincronizzazione di tre tabelle da un database AWS Glue Data Catalog.

{"database_list":[
 {"database":"tpcdsparquet",
     "table_list": [ "tpcdsparquet_customer",
                     "tpcdsparquet_item",
                     "tpcdsparquet_web_sales" ] } ]}

Procedura CREATE_SYNC_JOB

Questa procedura crea un job scheduler per richiamare periodicamente RUN_SYNC.

Richiede come input il set di oggetti da sincronizzare, la semantica degli errori, il livello di log e un intervallo di ripetizione. Per ulteriori informazioni sul funzionamento della sincronizzazione, vedere DBMS_DCAT RUN_SYNC Procedure.

Può esistere un solo job di sincronizzazione. La procedura CREATE_SYNC_JOB non riesce se è già stato specificato un altro job, a meno che il parametro force non sia impostato su TRUE. Se la forza è impostata su TRUE, il job precedente viene eliminato.

Se un job scheduler tenta di essere eseguito mentre è in corso un'altra sincronizzazione, il job scheduler non riesce.

Nota

Il 4 aprile 2022, i parametri sync_option e grant_read sono stati aggiunti alla procedura RUN_SYNC. Per garantire le prestazioni corrette dei job di sincronizzazione schedulati creati prima di tale data, è necessario eliminare e ricreare i job di sincronizzazione schedulati. Vedere DBMS_DCAT.DROP_SYNC_JOB Procedura e DBMS_DCAT.CREATE_SYNC_JOB Procedura.

Sintassi

PROCEDURE DBMS_DCAT.CREATE_SYNC_JOB (
    synced_objects   IN CLOB,
    error_semantics  IN VARCHAR2 DEFAULT 'SKIP_ERRORS',
    log_level        IN VARCHAR2 DEFAULT 'INFO',
    repeat_interval  IN VARCHAR2,
    force            IN VARCHAR2 DEFAULT 'FALSE',
    grant_read       IN VARCHAR2 DEFAULT NULL,
    sync_option      IN VARCHAR2 DEFAULT 'SYNC',
    dcat_con_id      IN VARCHAR2 DEFAULT NULL
);

Parametri

Parametro Descrizione

synced_objects

Oggetto JSON che specifica gli oggetti da sincronizzare, come descritto nella procedura RUN_SYNC.

error_semantics

(Facoltativo) Funzionamento dell'errore, come specificato per RUN_SYNC. L'impostazione predefinita è SKIP_ERRORS.

log_level

(Facoltativo) Livello di registrazione, come specificato per RUN_SYNC. L'impostazione predefinita è INFO.

repeat_interval

Ripetere l'intervallo per il job, con la stessa semantica del parametro intervallo di ripetizione della procedura DBMS_SCHEDULER.CREATE_JOB. Per informazioni dettagliate su repeat_interval, vedere Panoramica sulla creazione di job.

force

(Facoltativo) Se TRUE, i job di sincronizzazione esistenti vengono eliminati per primi. Se FALSE, la procedura CREATE_SYNC_JOB non riesce se esiste già un job di sincronizzazione. L'impostazione predefinita è FALSE.

grant_read (Facoltativo) Elenco di utenti/ruoli a cui concedere READ sulle tabelle esterne sincronizzate, come descritto per la procedura RUN_SYNC. Vedere DBMS_DCAT.RUN_SYNC Procedura.
sync_option (Facoltativo) Comportamento relativo alle entità già sincronizzate tramite una precedente operazione RUN_SYNC, come descritto per la procedura RUN_SYNC. Vedere DBMS_DCAT.RUN_SYNC Procedura.
dcat_con_id Questo parametro è l'identificativo di connessione Data Catalog univoco specificato al momento della creazione della connessione a Data Catalog. Vedere DBMS_DCAT SET_DATA_CATALOG_CONN Procedura. Questo parametro identifica la connessione utilizzata per la sincronizzazione e diventa parte del nome dello schema derivato. Vedere Mapping sincronizzazione per una descrizione delle modalità di derivazione del nome dello schema. Il valore predefinito del parametro è NULL.

Procedura DROP_SYNC_JOB

Questa procedura elimina un job di sincronizzazione esistente per l'identificativo di connessione univoco specificato.

Sintassi

PROCEDURE DBMS_DCAT.DROP_SYNC_JOB (
    dcat_con_id IN VARCHAR2 DEFAULT NULL
  );

Parametri

Parametro Descrizione
dcat_con_id Identificativo di connessione Data Catalog univoco. Il valore predefinito è NULL.

Procedura DROP_SYNCED_SCHEMAS

Questa procedura elimina tutti gli schemi sincronizzati in precedenza per l'identificativo di connessione univoco specificato.

Sintassi

PROCEDURE DBMS_DCAT.DROP_SYNCED_SCHEMAS (
    dcat_con_id IN VARCHAR2 DEFAULT NULL
  );

Parametri

Parametro Descrizione
dcat_con_id Identificativo di connessione Data Catalog univoco. Il valore predefinito è NULL.

Riepilogo delle viste Data Catalog

L'integrazione di Data Catalog con Autonomous Database offre numerose tabelle e viste.

Queste tabelle e viste consentono di comprendere:

  • Asset Data Catalog disponibili. Ottieni informazioni su qualsiasi tipo di asset di Data Catalog, inclusi database, aree di memorizzazione degli oggetti e altro ancora.
  • Informazioni sugli asset e le entità di storage degli oggetti di Data Catalog sincronizzati con Autonomous Database. Ciò include dettagli sul modo in cui gli elementi di Data Catalog (asset, cartelle ed entità) vengono mappati agli oggetti di Autonomous Database (ad esempio schemi e tabelle esterne).
  • Esecuzioni di sincronizzazione dei metadati. Rivedere i dettagli sui job di sincronizzazione, inclusi eventuali problemi che si sono verificati durante la sincronizzazione.

Questa tabella elenca le tabelle e le viste fornite dal pacchetto DBMS_DCAT.

Visualizza Descrizione
Vista ALL_CLOUD_CATALOG_DATABASES Visualizzare informazioni sugli asset di dati di OCI Data Catalog e sui database di AWS Glue Data Catalog
Vista ALL_CLOUD_CATALOG_TABLES Utilizzato per visualizzare informazioni sulle entità dati per Data Catalog e tabelle OCI per AWS Glue Data Catalog
Vista ALL_DCAT_ASSETS Elenca gli asset Data Catalog a cui questo database è autorizzato ad accedere
Vista ALL_DCAT_ATTRIBUTES Elenca gli attributi di Data Catalog a cui questo database è autorizzato ad accedere
Vista ALL_DCAT_CONNECTIONS Vista che contiene informazioni sui cataloghi dati connessi a questa istanza
Vista ALL_DCAT_ENTITIES

Elenca le entità logiche a cui questo database è autorizzato ad accedere

Vista ALL_DCAT_FOLDERS Elenca i metadati per i bucket di storage degli oggetti contenenti i file di dati per le entità logiche
Vista ALL_DCAT_GLOBAL_ACCESSIBLE_CATALOGS Elenca tutti i cataloghi accessibili in tutte le aree, insieme al livello di privilegi di accesso per ogni catalogo
Vista ALL_DCAT_LOCAL_ACCESSIBLE_CATALOGS Elenca tutti i cataloghi accessibili nell'area corrente, insieme al livello di privilegi di accesso per ogni catalogo
Vista ALL_GLUE_DATABASES Elenca i database AWS Glue Data Catalog a cui la credenziale Data Catalog è autorizzata ad accedere
Vista ALL_GLUE_TABLES Mostra tutte le tabelle di AWS Glue Data Catalog a cui la credenziale di Data Catalog è autorizzata ad accedere
Vista DCAT_ATTRIBUTES Elenca il mapping degli attributi delle entità logiche alle colonne delle tabelle esterne
Vista DCAT_ENTITIES Descrive il mapping delle entità logiche alle tabelle esterne
Vista DBMS_DCAT$SYNC_LOG Consente di accedere facilmente alla tabella di log per l'ultima operazione di sincronizzazione eseguita dall'utente corrente

Vista ALL_CLOUD_CATALOG_DATABASES

Utilizzare la vista ALL_CLOUD_CATALOG_DATABASES per visualizzare informazioni sugli asset di dati OCI Data Catalog e sui database AWS Glue Data Catalog.

Colonna Descrizione
DCAT_CON_ID CON1
CATALOG_ID Identificativo univoco Data Catalog.

Esempio di OCI Data Catalog:

ocid1.datacatalog.oc1.ap-mumbai-1.….y35a

Esempio di AWS Glue Data Catalog:

NULL

579294766787

NAME Nome dell'asset dati (OCI)/database (AWS Glue).

Esempio di OCI Data Catalog:

OBJECT_STORE_AT_ASHBURN

Esempio di AWS Glue Data Catalog:

OBJECT_STORE_AT_N_CALIFORNIA

DESCRIPTION Descrizione dell'asset dati (OCI)/database (AWS Glue).

Esempio di OCI Data Catalog:

Data stored in S3 (N. California)

Esempio di AWS Glue Data Catalog:

Data stored in S3 (N. California)
TIME_CREATED La data e l'ora di creazione dell'asset dati (OCI)/database (AWS Glue) nel Data Catalog.

Esempio di OCI Data Catalog:

26-SEP-22 10.56.01.395000 PM +00:00

Esempio di AWS Glue Data Catalog:

2022-06-15T09:45:35+01:00

DETAILS Documento JSON con metadati su ciascuna entità dati (OCI)/database (AWS Glue).

Esempio di OCI Data Catalog:

{
  "catalog-id": "ocid1.datacatalog.oc1.ap-mumbai-1.amaaa...",
  "description": null,
  "display-name": "OBJECT_STORE_AT_ASHBURN",
  "external-key": "https://swiftobjectstorage.us-ashburn-1....",
  "key": "bc95181c-3ac3-4959-9e5f-4e460d3fb82a",
  "lifecycle-state": "ACTIVE",
  "time-created": "2022-09-26T22:56:01.395000+00:00",
  "type-key": "3ea65bc5-f60d-477a-a591-f063665339f9",
  "uri": "/dcat/20190325/dataAssets/bc95181c-3ac3-4959-9e5f-4e460d3fb82a"
}

Esempio di AWS Glue Data Catalog:

{
    "Name": "dbmsdcatpoc",
    "Parameters": {
        "somekey": "somevalue"
    },
    "CreateTime": "2022-06-15T09:45:35+01:00",
    "CreateTableDefaultPermissions": [
        {
            "Principal": {
                "DataLakePrincipalIdentifier": "IAM_ALLOWED_PRINCIPALS"
            },
            "Permissions": [
                "ALL"
            ]
        }
    ],
    "CatalogId": "579294766787"
}

Vista ALL_CLOUD_CATALOG_TABLES

View ALL_CLOUD_CATALOG_TABLES viene utilizzato per visualizzare informazioni sulle entità dati per OCI Data Catalogs e tabelle per AWS Glue Data Catalogs.

Colonna Descrizione
DCAT_CON_ID Identificativo univoco del Data Catalog. L'ID connessione.

Esempio di OCI Data Catalog: CON1

Esempio di AWS Glue Data Catalog: CON1

CATALOG_ID Identificativo univoco Data Catalog.

Esempio di OCI Data Catalog: ocid1.datacatalog.oc1.ap-mumbai-1.….y35a

Esempio di AWS Glue Data Catalog: NULL

579294766787

DATABASE_NAME Nome dell'asset dati (OCI)/database (AWS Glue).

Esempio di OCI Data Catalog: OBJECT_STORE_AT_ASHBURN

Esempio di AWS Glue Data Catalog: OBJECT_STORE_AT_N_CALIFORNIA

NAME Nome dell'entità dati (OCI) / tabella (AWS Glue).

Esempio di OCI Data Catalog: BIKES_TRIPS

Esempio di AWS Glue Data Catalog: BIKES_TRIPS

DESCRIPTION Descrizione dell'entità dati (OCI) / tabella (AWS Glue).

Esempio di OCI Data Catalog: Table storing bike trips

Esempio di AWS Glue Data Catalog: Table storing bike trips

TIME_CREATED La data e l'ora di creazione dell'entità dati (OCI)/tabella (AWS Glue) nel Data Catalog.

Esempio di OCI Data Catalog: 26-SEP-22 10.56.01.395000 PM +00:00

Esempio di AWS Glue Data Catalog: 2022-06-15T09:45:35+01:00

TIME_UPDATED L'ultima volta che è stata apportata una modifica all'entità dati (OCI) / tabella (AWS Glue).

Esempio di OCI Data Catalog: 26-SEP-22 10.56.01.395000 PM +00:00

Esempio di AWS Glue Data Catalog: 2022-06-15T09:45:35+01:00

DETAILS Documento JSON con metadati su ciascuna entità dati (OCI)/tabella (AWS Glue)

Esempio di OCI Data Catalog:

{  
  "business-name": null,
  "data-asset-key": "bc95181c-3ac3-4959-9e5f-...",
  "description": null,
  "display-name": "bikes_trips",
  "external-key": "LE: https://swiftobjectstorage.us-ashburn-1.oraclecloud.com/v1/..._trips",
  "folder-key": "9c4b542d-d6eb-4b83-bf59-...",
  "folder-name": "hive",
  "is-logical": true,
  "is-partition": false,
  "key": "fde30a69-a07c-478a-ab62-...",
  "lifecycle-state": "ACTIVE",
  "object-storage-url": "https://objectstorage.us-ashburn-1.oraclecloud.com/n/...",
  "path": "OBJECT_STORE_AT_ASHBURN/hive/hive",
  "pattern-key": "db21b3f1-1508-4045-aa80-...",
  "properties": {
    "default": {
      "CONTENT-LENGTH": "4310321",
      "LAST-MODIFIED": "Fri, 9 Oct 2020 20:16:52 UTC",
      "archivedPECount": "0",
      "dataEntityExpression": "{logicalEntity:[^/]+}.db/{logicalEntity:[^/]+}/.*",
      "harvestedFile": "bikes.db/trips/p_start_month=2019-09/000000_0",
      "patternName": "bikes_trips"
    },
    "harvestProps": {
      "characterset": "UTF8",
      "compression": "none",
      "type": "PARQUET"
    }
  },
  "realized-expression": "bikes.db/trips/.*",
  "time-created": "2022-09-26T22:56:35.063000+00:00",
  "time-updated": "2022-09-26T22:56:35.063000+00:00",
  "type-key": "6753c3af-7f88-44b9-be52-1d57bef462fb",
  "updated-by-id": "ocid1.user.oc1..r5l3tov7a",
  "uri": "/dcat/20190325/dataAssets/bc95181c-3ac3-4959-9e5f-..."
}

Esempio di AWS Glue Data Catalog:

{
    "Name": "bikes_trips",
    "DatabaseName": "dbmsdcatpoc",
    "Owner": "owner",
    "CreateTime": "2022-06-23T13:24:20+01:00",
    "UpdateTime": "2022-06-23T13:24:20+01:00",
    "LastAccessTime": "2022-06-23T13:24:20+01:00",
    "Retention": 0,
    "StorageDescriptor": {
        "Columns": [
            {
                "Name": "trip_duration",
                "Type": "int"
            },
            {
                "Name": "start_month",
                "Type": "string"
            }, ...
        ],
        "Location": "s3://dbmsdcatpoc/hive/bikes.db/trips/",
        "InputFormat": "org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat",
        "OutputFormat": "org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat",
        "Compressed": false,
        "NumberOfBuckets": -1,
        "SerdeInfo":
 {            "SerializationLibrary": "org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe",
            "Parameters": {
                "serialization.format": "1"
            }
        },
        "BucketColumns": [],
        "SortColumns": [],
        "Parameters": {
            "CrawlerSchemaDeserializerVersion": "1.0",
            "CrawlerSchemaSerializerVersion": "1.0",
            "UPDATED_BY_CRAWLER": "crawler-bikes",
            "averageRecordSize": "86",
            "classification": "parquet",
            "compressionType": "none",
            "objectCount": "12",
            "recordCount": "404947",
            "sizeKey": "35312159",
            "typeOfData": "file"
        },
        "StoredAsSubDirectories": false
    },
    "PartitionKeys": [
        {
            "Name": "p_start_month",
            "Type": "string"
        }
    ],
    "TableType": "EXTERNAL_TABLE",
    "Parameters": {
        "CrawlerSchemaDeserializerVersion": "1.0",
        "CrawlerSchemaSerializerVersion": "1.0",
        "UPDATED_BY_CRAWLER": "crawler-bikes",
        "averageRecordSize": "86",
        "classification": "parquet",
        "compressionType": "none",
        "objectCount": "12",
        "recordCount": "404947",
        "sizeKey": "35312159",
        "typeOfData": "file"
    },
    "CreatedBy": "arn:aws:sts::579294766787:assumed-role/AWSGlueServiceRole-dbmsdcat/AWS-Crawler",
    "IsRegisteredWithLakeFormation": false,
    "CatalogId": "579294766787",
    "VersionId": "0"
}

Esempio

Vista ALL_DCAT_ASSETS

Asset Data Catalog a cui questo database è autorizzato ad accedere.

Colonna Tipo di dati Descrizione
DCAT_CON_ID VARCHAR2 (4000) Identificativo di connessione univoco all'interno dell'istanza

KEY

VARCHAR2(4000)

Chiave cespite

DISPLAY_NAME VARCHAR2(4000) Nome visualizzato asset
DESCRIPTION VARCHAR2(4000) Descrizione asset
CATALOG_ID VARCHAR2(4000) OCID per il Data Catalog contenente l'asset
EXTERNAL_KEY VARCHAR2(4000) URI di storage degli oggetti di base per l'asset
URI VARCHAR2(4000) URI asset per l'API Data Catalog
TIME_CREATED TIMESTAMP(6) WITH TIMEZONE Data e ora di creazione dell'asset dati
TYPE_KEY VARCHAR2(4000) Chiave del tipo di asset dati (attualmente sono supportati solo gli asset dati di storage degli oggetti). Le chiavi di tipo sono disponibili tramite l'endpoint del Data Catalog '/types'.
LIFECYCLE_STATE VARCHAR2(4000) Lo stato corrente dell'asset dati. Per ulteriori informazioni sui possibili stati del ciclo di vita, vedere il DataAsset Reference di Data Catalog per un elenco dei possibili stati per lifecycleState.

Vista ALL_DCAT_ATTRIBUTES

Gli attributi Data Catalog a cui questo database è autorizzato ad accedere.

Colonna Tipo di dati Descrizione
DCAT_CON_ID VARCHAR2 (4000) Identificativo di connessione univoco all'interno dell'istanza
KEY NUMBER Chiave attributo

DISPLAY_NAME

VARCHAR2(4000)

Nome visualizzato dell'attributo

BUSINESS_NAME VARCHAR2(4000) Nome attività attributo
DESCRIPTION VARCHAR2(4000) Descrizione attributo
DATA_ASSET_KEY VARCHAR2(4000) Chiave asset dati
FOLDER_KEY VARCHAR2(4000) Chiave cartella
ENTITY_KEY VARCHAR2(4000) Chiave entità
EXTERNAL_KEY VARCHAR2(4000) Chiave esterna univoca per l'attributo
LENGTH NUMBER Lunghezza massima consentita del valore attributo
PRECISION NUMBER Precisione del valore dell'attributo (in genere si applica al tipo di dati a virgola mobile)
SCALE NUMBER Scale del valore dell'attributo (in genere si applica al tipo di dati a virgola mobile)
IS_NULLABLE NUMBER Identifica se a questo attributo possono essere assegnati valori nulli
URI VARCHAR2(4000) URI dell'istanza dell'attributo nell'API Data Catalog
LIFECYCLE_STATE VARCHAR2(4000) Lo stato corrente dell'attributo. Per ulteriori informazioni sui possibili stati del ciclo di vita, vedere Data Catalog Riferimento attributo per un elenco dei possibili stati per lifecycleState.
TIME_CREATED TIMESTAMP(6) WITH TIME ZONE Data e ora di creazione dell'attributo
EXTERNAL_DATA_TYPE VARCHAR2(4000) Tipo di dati dell'attributo definito nel sistema esterno
MIN_COLLECTION_COUNT NUMBER Numero minimo di elementi, se il tipo di attributo è un tipo di raccolta
MAX_COLLECTION_COUNT NUMBER Numero massimo di elementi, se il tipo di attributo è un tipo di raccolta
DATATYPE_ENTITY_KEY VARCHAR2(4000) Chiave entità che rappresenta il tipo di dati di questo attributo, applicabile se questo attributo è un tipo complesso
EXTERNAL_DATATYPE_ENTITY_KEY VARCHAR2(4000) Chiave entità esterna che rappresenta il tipo di dati di questo attributo, applicabile se questo attributo è di tipo complesso
PARENT_ATTRIBUTE_KEY VARCHAR2(4000) Chiave attributo che rappresenta l'attributo padre di questo attributo, applicabile se l'attributo padre è di tipo dati complesso
EXTERNAL_PARENT_ATTRIBUTE_KEY VARCHAR2(4000) Chiave attributo esterno che rappresenta l'attributo padre di questo attributo, applicabile se l'attributo padre è di tipo complesso
PATH VARCHAR2(4000) Percorso completo dell'attributo

Vista ALL_DCAT_CONNECTIONS

Vista che contiene informazioni sui Data Catalog connessi a questa istanza.

Colonna Tipo di dati Descrizione
DCAT_CON_ID VARCHAR2(4000) Identificativo di connessione univoco all'interno dell'istanza
COMPARTMENT_ID VARCHAR2(4000) OCID per il compartimento in cui risiede l'istanza di Data Catalog
INSTANCE_ID VARCHAR2(4000)

OCID per l'istanza di Data Catalog

REGION

VARCHAR2(4000)

Area per l'istanza di Data Catalog

ENDPOINT VARCHAR2(4000) Endpoint per l'istanza di Data Catalog
CREATED TIMESTAMP Quando è stata creata l'istanza di Data Catalog
NAME VARCHAR2(4000) Nome dell'istanza di Data Catalog
LAST_UPDATED TIMESTAMP Indicatore orario dell'ultimo aggiornamento della connessione all'istanza di Data Catalog
LATEST_OPERATION_ID NUMBER ID dell'ultima operazione di sincronizzazione
DATA_CATALOG_CREDENTIAL VARCHAR2(128) Credenziale utilizzata per accedere al Data Catalog
OBJECT_STORE_CREDENTIAL VARCHAR2(128) Credenziale utilizzata dal driver della tabella esterna per accedere all'area di memorizzazione degli oggetti

Vista ALL_DCAT_ENTITIES

Entità logiche di Data Catalog a cui questo database è autorizzato ad accedere.

Colonna Tipo di dati Descrizione
DCAT_CON_ID VARCHAR2(4000) Identificativo di connessione univoco all'interno dell'istanza
CATALOG_ID VARCHAR2(4000) OCID per il Data Catalog contenente l'asset

KEY

VARCHAR2(4000)

Chiave entità

DISPLAY_NAME VARCHAR2(4000)

Nome visualizzato dell'entità

BUSINESS_NAME VARCHAR2(4000)

Nome azienda entità

DESCRIPTION VARCHAR2(4000)

Descrizione entità logica

DATA_ASSET_KEY

VARCHAR2(4000)

Chiave cespite

FOLDER_KEY

VARCHAR2(4000)

Chiave univoca cartella

FOLDER_NAME VARCHAR2(4000) Nome cartella (bucket)
EXTERNAL_KEY VARCHAR2(4000) Chiave esterna per l'entità logica
PATTERN_KEY VARCHAR2(4000) Chiave del pattern associato per l'entità logica
REALIZED_EXPRESSION VARCHAR2(4000) Espressione regolare utilizzata per ottenere i file per questa entità logica
PATH VARCHAR2(4000) Percorso completo per l'entità logica
TIME_CREATED TIMESTAMP(6) WITH TIME ZONE Data e ora di creazione dell'entità
TIME_UPDATED TIMESTAMP(6) WITH TIME ZONE Ultima modifica apportata all'entità dati
UPDATED_BY_ID VARCHAR2(4000) OCID dell'utente che ha aggiornato l'oggetto nel Data Catalog
URI VARCHAR2(4000) URI dell'istanza di entità nell'API
LIFECYCLE_STATE VARCHAR2(4000) Lo stato corrente dell'entità. Per ulteriori informazioni sui possibili stati del ciclo di vita, vedere il riferimento entità di Data Catalog per un elenco dei possibili stati per lifecycleState.

Vista ALL_DCAT_FOLDERS

Metadati per i bucket di storage degli oggetti contenenti i file di dati per le entità logiche.

Colonna Tipo di dati Descrizione
DCAT_CON_ID VARCHAR2(4000) Identificativo di connessione univoco all'interno dell'istanza
CATALOG_ID VARCHAR2(4000) OCID per il Data Catalog contenente l'asset

KEY

VARCHAR2(4000)

Chiave cartella

DISPLAY_NAME

VARCHAR2(4000)

Nome visualizzato cartella

BUSINESS_NAME VARCHAR2(4000) Nome attività cartella
DESCRIPTION VARCHAR2(4000) Descrizione cartella
DATA_ASSET_KEY VARCHAR2(4000) Chiave per l'asset dati contenente la cartella
PARENT_FOLDER_KEY VARCHAR2(4000) Chiave per la cartella padre (attualmente, questa è la chiave dell'asset dati)
PATH VARCHAR2(4000) Percorso completo per la cartella
EXTERNAL_KEY VARCHAR2(4000) URI di storage degli oggetti per il bucket
TIME_EXTERNAL TIMESTAMP(6) WITH TIMEZONE Indicatore orario dell'ultima modifica di questa cartella
TIME_CREATED TIMESTAMP(6) WITH TIMEZONE La data/ora in cui è stata creata la cartella
URI VARCHAR2(4000) URI dell'istanza della cartella nell'API Data Catalog.
LIFECYCLE_STATE VARCHAR2(4000) Lo stato corrente della cartella. Per ulteriori informazioni sui possibili stati del ciclo di vita, vedere il riferimento cartella di Data Catalog per un elenco dei possibili stati per lifecycleState.

Vista ALL_DCAT_GLOBAL_ACCESSIBLE_CATALOGS

Questa vista elenca tutti i cataloghi accessibili in tutte le aree, insieme al livello di privilegi di accesso per ogni catalogo.

Colonna Tipo di dati Descrizione

CATALOG_ID

VARCHAR2(4000)

OCID catalogo

CATALOG_NAME VARCHAR2(4000) Nome del catalogo
CATALOG_REGION VARCHAR2(4000) Nome dell'area catalogo
CATALOG_SCORE NUMBER Il punteggio del catalogo è un valore numerico calcolato in base ai privilegi configurati per la credenziale di accesso al Data Catalog. Un punteggio catalogo più alto indica privilegi maggiori, il che potrebbe equivalere a una maggiore probabilità che questo catalogo sia destinato all'uso con questa istanza di Autonomous Database.

Vista ALL_DCAT_LOCAL_ACCESSIBLE_CATALOGS

Questa vista elenca tutti i cataloghi accessibili nell'area corrente, insieme al livello di privilegi di accesso per ogni catalogo.

Colonna Tipo di dati Descrizione

CATALOG_ID

VARCHAR2(4000)

OCID catalogo

CATALOG_NAME VARCHAR2(4000) Nome del catalogo
CATALOG_SCORE NUMBER Il punteggio del catalogo è un valore numerico calcolato in base ai privilegi configurati per la credenziale di accesso al Data Catalog. Un punteggio catalogo più alto indica privilegi maggiori, il che potrebbe equivalere a una maggiore probabilità che questo catalogo sia destinato all'uso con questa istanza di Autonomous Database.

Vista ALL_GLUE_DATABASES

Database AWS Glue Data Catalog a cui la credenziale Data Catalog è autorizzata ad accedere.

Colonna Tipo di dati Descrizione
DCAT_CON_ID VARCHAR2(4000) Identificativo univoco dell'ID connessione Data Catalog.
CATALOG_ID VARCHAR2(255) Identificativo univoco Data Catalog.
NAME VARCHAR2(255) Nome del database.
DESCRIPTION VARCHAR2(2048) Descrizione del Database.
LOCATION_URI VARCHAR2(1024) La posizione del database.
CREATE_TIME TIMESTAMP Ora di creazione del database nel Data Catalog.
PARAMETERS CLOB Documento JSON con coppie chiave-valore che definiscono i parametri e le proprietà del database.
TARGET_DATABASE VARCHAR2(4000) Documento JSON che descrive un database di destinazione per il collegamento delle risorse in AWS.

Vista ALL_GLUE_TABLES

Questa vista mostra tutte le tabelle di AWS Glue Data Catalog a cui la credenziale di Data Catalog è autorizzata ad accedere.

Colonna Tipo di dati Descrizione
DCAT_CON_ID VARCHAR2(4000) Identificativo univoco dell'ID connessione Data Catalog.
CATALOG_ID VARCHAR2(255) Identificativo catalogo
DATABASE_NAME VARCHAR2(255) Nome database
NAME VARCHAR2(255) Nome tabella
TABLE_TYPE VARCHAR2(255) Tipo di tabella
CLASSIFICATION VARCHAR2(255)  
DESCRIPTION VARCHAR2(2048) Descrizione tabella
OWNER VARCHAR2(255) Proprietario tabella
CREATED_BY VARCHAR2(255) Autore tabella
CREATE_TIME TIMESTAMP Ora di creazione della tabella nel Data Catalog.
LAST_ANALYZED_TIME TIMESTAMP Per questa tabella sono state calcolate le statistiche dell'ultima colonna.
LAST_ACCESS_TIME TIMESTAMP Ultima volta in cui è stato eseguito l'accesso alla tabella.
UPDATE_TIME TIMESTAMP L'ultima volta che la tabella è stata aggiornata.
IS_REGISTERED_WITH_LAKE_FORMATION NUMBER Indica se la tabella è registrata con la formazione del lake AWS.
PARAMETERS CLOB Documento JSON con coppie chiave-valore che definiscono le proprietà della tabella.
PARTITION_KEYS CLOB Documento JSON con una lista di colonne in base alle quali la tabella viene partizionata.
RETENTION NUMBER Tempo di conservazione per questa tabella.
STORAGE_DESCRIPTION CLOB Documento JSON con informazioni sullo storage fisico di una tabella.
TARGET_TABLE VARCHAR2(4000) Documento JSON che descrive una tabella di destinazione utilizzata per il collegamento delle risorse in AWS.
VERSION_ID VARCHAR2(255) Identificativo della versione per la tabella.
VIEW_EXPANDED_TEXT CLOB Introdotto da AWS Glue per la compatibilità con Hive. Non utilizzato da AWS Glue.
VIEW_ORIGINAL_TEXT CLOB Introdotto da AWS Glue per la compatibilità con Hive. Non utilizzato da AWS Glue.

Vista DCAT_ATTRIBUTES

Elenca il mapping degli attributi delle entità logiche alle colonne delle tabelle esterne.

Colonna Tipo di dati Descrizione
DCAT_CON_ID VARCHAR2 (4000) Identificativo di connessione univoco all'interno dell'istanza
ASSET_KEY VARCHAR2(4000) Chiave asset Data Catalog

ENTITY_KEY

VARCHAR2(4000)

Chiave entità Data Catalog

ATTRIBUTE_KEY

VARCHAR2(4000)

Chiave attributo Data Catalog

ORACLE_COLUMN_NAME VARCHAR2(128) Nome colonna mappata

Vista DCAT_ENTITIES

Descrive il mapping delle entità logiche alle tabelle esterne.

Colonna Tipo di dati Descrizione
DCAT_CON_ID VARCHAR2(4000) Identificativo di connessione univoco all'interno dell'istanza
ASSET_KEY VARCHAR2(4000) Chiave asset Data Catalog

ENTITY_KEY

VARCHAR2(4000)

Chiave entità Data Catalog

FOLDER_KEY

VARCHAR2(4000)

Chiave cartella Data Catalog

ORACLE_TABLE_NAME VARCHAR2(128) Nome tabella mappata
ORACLE_SCHEMA_NAME VARCHAR2(128) Nome schema mappato
ENTITY_ORACLE_DB_SCHEMA VARCHAR2(4000) Proprietà personalizzata oracle-db-schema dell'entità utilizzata per derivare lo schema
ASSET_ORACLE_DB_SCHEMA VARCHAR2(4000) Proprietà personalizzata oracle-db-schema dell'asset dati utilizzata per derivare lo schema
FOLDER_ORACLE_DB_SCHEMA VARCHAR2(4000) Proprietà personalizzata oracle-db-schema della cartella utilizzata per derivare lo schema

Vista DBMS_DCAT$SYNC_LOG

La vista DBMS_DCAT$SYNC_LOG consente di accedere facilmente alla tabella di log per l'ultima operazione di sincronizzazione eseguita dall'utente corrente.

Ogni chiamata alla procedura RUN_SYNC viene registrata in una nuova tabella di log, a cui fa riferimento il campo LOGFILE_TABLE di USER_LOAD_OPERATIONS. Le tabelle di log vengono eliminate automaticamente dopo 2 giorni e gli utenti possono cancellare tutti i log di sincronizzazione utilizzando la DELETE_ALL_OPERATIONS Procedure, dove il tipo è DCAT_SYNC.

La vista DBMS_DCAT$SYNC_LOG identifica automaticamente la tabella di log più recente. Lo schema per la vista DBMS_DCAT$SYNC_LOG è descritto di seguito e le autorizzazioni di accesso sono identiche a quelle delle singole tabelle di log. Per impostazione predefinita, READ viene concesso al ruolo dbms_dcat e all'utente ADMIN.

Le tabelle di log hanno il formato seguente:

Colonna Tipo di dati Descrizione

LOG_TIMESTAMP

TIMESTAMP

Indicatore orario per la voce di log.

LOG_LEVEL

VARCHAR2(32)

Il livello di log delle voci può avere uno dei seguenti valori: OFF, FATAL, ERROR, WARN, INFO, DEBUG, TRACE, ALL.

LOG_DETAILS VARCHAR2(32767) Il messaggio di log.