Documentazione di Oracle Cloud Infrastructure

Pacchetto DBMS_DCAT

Il pacchetto DBMS_DCAT fornisce funzioni e procedure per aiutare gli utenti di Autonomous Database a sfruttare il sistema di ricerca automatica e gestione centralizzata dei metadati di OCI Data Catalog.

Data Catalog raccoglie i metadati dagli asset di storage degli oggetti di un data lake. Il processo di raccolta crea entità logiche, che possono essere considerate tabelle con colonne e tipi di dati associati. Le procedure e le funzioni DBMS_DCAT connettono Autonomous Database a Data Catalog e quindi sincronizzano gli asset con il database, creando schemi protetti e tabelle esterne. Successivamente, puoi eseguire query sull'area di memorizzazione degli oggetti utilizzando tali tabelle esterne, unendo facilmente i dati esterni ai dati memorizzati in Autonomous Database. Ciò semplifica notevolmente il processo di gestione; esiste un'unica area di memorizzazione dei metadati gestita centralmente condivisa tra più servizi OCI (inclusi i database autonomi). Sono inoltre disponibili viste del dizionario di Autonomous Database che consentono di esaminare il contenuto di Data Catalog utilizzando SQL e di mostrare come queste entità di Data Catalog vengono mappate agli schemi e alle tabelle di Autonomous Database.

  • Utenti e ruoli del Data Catalog
    Il package DBMS_DCAT supporta utenti/schemi sincronizzati, utenti dcat_admin e utenti locali. Per poter utilizzare questo pacchetto, gli utenti devono disporre del ruolo dcat_sync.
  • Credenziali e criteri IAM obbligatori
    In questo argomento vengono descritte le credenziali utente e i criteri di Oracle Cloud Infrastructure Identity and Access Management (IAM) necessari per concedere agli utenti di Autonomous Database l'autorizzazione per gestire un Data Catalog e per leggere dallo storage degli oggetti.
  • Riepilogo dei sottoprogrammi di gestione delle connessioni
    In questa tabella sono elencate le procedure del package DBMS_DCAT utilizzate per creare, eseguire query ed eliminare le connessioni a Data Catalog.
  • Riepilogo dei sottoprogrammi di sincronizzazione
    L'esecuzione di una sincronizzazione, la creazione e l'eliminazione di un job di sincronizzazione e l'eliminazione degli schemi sincronizzati possono essere eseguite con le procedure elencate in questa tabella.
  • Riepilogo delle viste Data Catalog
    L'integrazione di Data Catalog con Autonomous Database offre numerose tabelle e viste.

Argomento padre: riferimento al package fornito da Autonomous Database

Utenti e ruoli di Data Catalog

Il pacchetto DBMS_DCAT supporta utenti/schemi sincronizzati, utenti dcat_admin e utenti locali. Per poter utilizzare questo pacchetto, gli utenti devono disporre del ruolo dcat_sync.

Utenti di Data Catalog

  • Utenti/schemi sincronizzati

    Le tabelle esterne sincronizzate sono organizzate in schemi di database corrispondenti alle combinazioni di asset dati/bucket o in base alle proprietà personalizzate impostate dall'utente. Gli schemi sincronizzati vengono creati/eliminati automaticamente durante la sincronizzazione di Data Catalog. Vengono creati come utenti di autenticazione senza il privilegio CREATE SESSION. Gli schemi sincronizzati vengono creati anche utilizzando la clausola protetta, in modo che non possano essere modificati dagli utenti locali (nemmeno dall'amministratore del PDB) e possano essere modificati solo tramite la sincronizzazione.

  • Utente dcat_admin

    L'utente dcat_admin è un utente di database locale che può eseguire una sincronizzazione e concedere il privilegio READ sulle tabelle sincronizzate ad altri utenti o ruoli. L'utente viene creato come utente senza autenticazione senza il privilegio CREATE SESSION.

  • Utenti locali

    Agli utenti del database che eseguono query sulle tabelle esterne devono essere concessi in modo esplicito i privilegi READ sulle tabelle esterne sincronizzate dagli utenti dcat_admin o ADMIN. Per impostazione predefinita, al termine della sincronizzazione, solo gli utenti dcat_admin e ADMIN possono accedere alle tabelle esterne sincronizzate.

Ruoli Data Catalog

  • dcat_sync

    Il ruolo dcat_sync dispone di tutti i privilegi necessari per l'utilizzo del pacchetto DBMS_DCAT. Gli utenti devono disporre di questo ruolo per poter utilizzare l'API per navigare nel Data Catalog ed eseguire la sincronizzazione.

Argomento padre: DBMS_DCAT Package

Credenziali e criteri IAM obbligatori

Questo argomento descrive le credenziali utente e i criteri di Oracle Cloud Infrastructure Identity and Access Management (IAM) necessari per concedere agli utenti di Autonomous Database l'autorizzazione per gestire un Data Catalog e per leggere dallo storage degli oggetti.

Requisiti delle credenziali e dei criteri di OCI Data Catalog:

Credenziali e requisiti dei criteri di AWS Glue Data Catalog

Per concedere agli utenti di Autonomous Database l'autorizzazione ad accedere ad Amazon Web Services (AWS) Glue Data Catalog e a leggere dallo storage degli oggetti S3, sono necessari le credenziali e i criteri utente riportati di seguito.
  • È necessario un oggetto credenziali con autorizzazione per accedere a AWS Glue Data Catalog. Per informazioni sulla gestione delle credenziali, vedere DBMS_CLOUD per la gestione degli accessi.

    Per accedere a AWS Glue Data Catalog sono necessari i seguenti privilegi: colla:GetDatabases, colla:GetTables e colla:GetTable.

    Inoltre, il privilegio s3:GetBucketLocation è necessario durante la sincronizzazione per generare gli URL https risolvibili che puntano agli oggetti S3 di base.
  • Per consentire a Autonomous Database di eseguire query sui file di dati, è necessario un oggetto credenziali con autorizzazione per accedere ai file memorizzati in S3.
  • Le credenziali AWS sono supportate. Le credenziali AWS Amazon Resource Names (ARN) non sono supportate.

Esempio: creazione di un oggetto credenziali di autenticazione nativa OCI

In questo esempio, viene creata una credenziale di autenticazione nativa OCI che può essere utilizzata quando si crea un Data Catalog o un oggetto credenziale dell'area di memorizzazione degli oggetti. Per ulteriori informazioni, vedere DBMS_DCAT SET_DATA_CATALOG_CREDENTIAL Procedura e DBMS_DCAT SET_OBJECT_STORE_CREDENTIAL Procedura rispettivamente.

Nell'autenticazione nativa OCI, la procedura DBMS_CLOUD.CREATE_CREDENTIAL include i seguenti parametri: credential_name, user_ocid, tenancy_ocid, private_key e fingerprint. Per una descrizione completa di questa procedura, vedere DBMS_CLOUD CREATE_CREDENTIAL Procedura.

credential_name è il nome dell'oggetto credenziale. I parametri user_ocid e tenancy_ocid corrispondono rispettivamente agli OCID dell'utente e della tenancy.

Il parametro private_key specifica la chiave privata generata in formato PEM. Le chiavi private create con una passphrase non sono supportate. Pertanto, dobbiamo assicurarci di generare una chiave senza passphrase. Per ulteriori informazioni su come creare una chiave privata senza passphrase, vedere Come generare una chiave di firma API. Inoltre, la chiave privata fornita per questo parametro deve contenere solo la chiave stessa senza alcuna intestazione o piè di pagina (ad esempio '-----BEGIN RSA PRIVATE KEY-----', '-----END RSA PRIVATE KEY-----').

Il parametro fingerprint specifica l'impronta digitale ottenuta dopo aver caricato la chiave pubblica nella console o utilizzando i comandi OpenSSL. Per ulteriori dettagli su come ottenere l'impronta digitale, vedere Come caricare la chiave pubblica e Come ottenere l'impronta digitale della chiave.

Dopo aver raccolto tutte le informazioni necessarie e aver generato la chiave privata, siamo pronti a eseguire la seguente procedura CREATE_CREDENTIAL: 

BEGIN
  DBMS_CLOUD.CREATE_CREDENTIAL (
    credential_name => 'OCI_NATIVE_CRED',
    user_ocid              => 'ocid1.user.oc1..aaaaaaaatfn77fe3fxux3o5lego7glqjejrzjsqsrs64f4jsjrhbsk5qzndq',
    tenancy_ocid           => 'ocid1.tenancy.oc1..aaaaaaaapwkfqz3upqklvmelbm3j77nn3y7uqmlsod75rea5zmtmbl574ve6a',
    private_key            => 'MIIEogIBAAKCAQEA...t9SH7Zx7a5iV7QZJS5WeFLMUEv+YbYAjnXK+dOnPQtkhOblQwCEY3Hsblj7Xz7o=',
    fingerprint            => '4f:0c:d6:b7:f2:43:3c:08:df:62:e3:b2:27:2e:3c:7a');
END;
/
Dopo aver creato l'oggetto credenziale, viene visualizzato nella tabella dba_credentials:
SELECT owner, credential_name
FROM dba_credentials 
WHERE credential_name LIKE '%NATIVE%';

OWNER CREDENTIAL_NAME
----- ---------------
ADMIN OCI_NATIVE_CRED

Esempio: utilizzo del principal delle risorse di Autonomous Database

In questo esempio viene creato un gruppo dinamico che include i membri delle risorse appropriati, al gruppo dinamico viene concessa l'autorizzazione per gestire un Data Catalog e al gruppo dinamico viene concessa l'autorizzazione di lettura dallo storage degli oggetti.

  1. Creare un gruppo dinamico denominato adb-grp-1. Aggiungere una regola di corrispondenza a adb-grp-1 che includa l'istanza di Autonomous Database con OCID ocid1.autonomousdatabase.oc1.iad.abuwcljr...fjkfe come membro della risorsa.

    Regola di corrispondenza gruppo dinamico:

    resource.id = 'ocid1.autonomousdatabase.oc1.iad.abuwcljr...fjkfe'

  2. Definire un criterio che conceda al gruppo dinamico adb-grp-1 l'accesso completo alle istanze di Data Catalog nel compartimento mycompartment. 

    allow dynamic-group adb-grp-1 to manage data-catalog-family in compartment mycompartment
  3. Definire un criterio che consenta al gruppo dinamico adb-grp-1 di leggere qualsiasi bucket nel compartimento denominato mycompartment.
    allow dynamic-group adb-grp-1 to read objects in compartment mycompartment

Esempio: utilizzo dei principal utente

In questo esempio, user1 è un membro del gruppo adb-admins. A tutti i membri di questo gruppo viene concessa l'autorizzazione per gestire tutti i Data Catalog in mycompartment e per leggere dall'area di memorizzazione degli oggetti in mycompartment.

  1. Consente agli utenti membri di adb-admins di gestire tutti i Data Catalog all'interno di mycompartment.
    allow group adb-admins to manage data-catalog-family in compartment mycompartment
  2. Consente agli utenti membri di adb-admins di leggere qualsiasi oggetto in qualsiasi bucket all'interno di mycompartment.
    allow group adb-admins to read objects in compartment mycompartment

Argomento padre: DBMS_DCAT Package

Riepilogo dei sottoprogrammi di gestione della connessione

In questa tabella sono elencate le procedure del package DBMS_DCAT utilizzate per creare, eseguire query ed eliminare le connessioni Data Catalog.

Programma secondario descrizione;
SET_DATA_CATALOG_CONN Procedura Creare una connessione al Data Catalog specificato
SET_DATA_CATALOG_CREDENTIAL Procedura Impostare la credenziale di accesso al catalogo dati utilizzata da una connessione specifica al catalogo dati
SET_OBJECT_STORE_CREDENTIAL Procedura Impostare la credenziale utilizzata dall'identificativo di connessione univoco specificato per l'accesso all'area di memorizzazione degli oggetti
UNSET_DATA_CATALOG_CONN Procedura Rimuovere una connessione Data Catalog esistente
  • SET_DATA_CATALOG_CREDENTIAL Procedura
    Questa procedura imposta la credenziale di accesso al Data Catalog utilizzata da una connessione specifica al Data Catalog.
  • SET_OBJECT_STORE_CREDENTIAL Procedura
    Questa procedura imposta la credenziale utilizzata dall'identificativo di connessione univoco specificato per l'accesso all'area di memorizzazione degli oggetti. La modifica della credenziale di accesso all'area di memorizzazione degli oggetti modifica tutte le tabelle sincronizzate esistenti in modo da utilizzare la nuova credenziale.
  • SET_DATA_CATALOG_CONN Procedura
    Questa procedura crea una connessione al Data Catalog specificato. La connessione è necessaria per sincronizzare i metadati con Data Catalog. Un'istanza di Autonomous Database può connettersi a più istanze di Data Catalog e supporta la connessione a OCI Data Catalog e AWS Glue Data Catalog.
  • UNSET_DATA_CATALOG_CONN Procedura
    Questa procedura rimuove una connessione Data Catalog esistente.

Argomento padre: DBMS_DCAT Package

SET_DATA_CATALOG_CREDENTIAL Procedura

Questa procedura imposta la credenziale di accesso al catalogo dati utilizzata da una connessione specifica al catalogo dati.

Sintassi

PROCEDURE DBMS_DCAT.SET_DATA_CATALOG_CREDENTIAL(
    credential_name VARCHAR2(128) DEFAULT NULL,
    dcat_con_id     VARCHAR2 DEFAULT NULL
  );

Parametri

Parametro descrizione;

credential_name

(Facoltativo) La credenziale utilizzata per accedere al Data Catalog.

dcat_con_id Identificativo di connessione Data Catalog univoco. Questa credenziale viene utilizzata per la connessione identificata da dcat_con_id. L'impostazione predefinita è Null.

Uso

Questa credenziale deve disporre delle autorizzazioni Gestisci Data Catalog. Vedere Criteri di Data Catalog. L'impostazione predefinita è il principal risorsa. Vedere Accedere alle risorse cloud mediante la configurazione di criteri e ruoli.

SET_OBJECT_STORE_CREDENTIAL Procedura

Questa procedura imposta la credenziale utilizzata dall'identificativo di connessione univoco specificato per accedere all'area di memorizzazione degli oggetti. La modifica della credenziale di accesso all'area di memorizzazione degli oggetti modifica tutte le tabelle sincronizzate esistenti in modo da utilizzare la nuova credenziale.

Sintassi

PROCEDURE DBMS_DCAT.SET_OBJECT_STORE_CREDENTIAL(
    credential_name  VARCHAR2(128),
    dcat_con_id      IN VARCHAR2 DEFAULT NULL
  );

Parametri

Parametro descrizione;

credential_name

Credenziale utilizzata dalle tabelle esterne per accedere all'area di memorizzazione degli oggetti.
dcat_con_id Identificativo di connessione Data Catalog univoco. Il valore predefinito è NULL.

SET_DATA_CATALOG_CONN Procedura

Questa procedura crea una connessione al Data Catalog specificato. La connessione è necessaria per sincronizzare i metadati con Data Catalog. Un'istanza di Autonomous Database può connettersi a più istanze di Data Catalog e supporta la connessione a OCI Data Catalog e AWS Glue Data Catalog.

Sintassi

PROCEDURE DBMS_DCAT.SET_DATA_CATALOG_CONN (
   region       VARCHAR2 DEFAULT NULL,
   endpoint     VARCHAR2 DEFAULT NULL,
   catalog_id   VARCHAR2 DEFAULT NULL,
   dcat_con_id  VARCHAR2 DEFAULT NULL,
   catalog_type VARCHAR2 DEFAULT NULL
 );

Parametri

Parametro descrizione;

region

Area Data Catalog. Se si specifica endpoint, region è facoltativo. Se vengono specificati sia endpoint che region, il valore endpoint ha la precedenza. Il valore predefinito è NULL.

endpoint

Endpoint del Data Catalog. Se si specifica region, endpoint è facoltativo. Se vengono specificati sia endpoint che region, il valore endpoint ha la precedenza. Il valore predefinito è NULL.

catalog_id

OCID (Oracle Cloud Identifier) univoco per l'istanza di Data Catalog. Durante la connessione ad AWS Glue Data Catalogs, catalog_id è facoltativo.

dcat_con_id Identificativo di connessione Data Catalog univoco. Questo identificativo è obbligatorio per la connessione a più Data Catalog ed è facoltativo per la connessione a un solo Data Catalog. Viene utilizzato per fare riferimento alla connessione Data Catalog nelle chiamate successive o durante l'esecuzione di query sulle viste. Se non viene specificato alcun identificativo, questa procedura genera un identificativo di connessione NULL. Per dcat_con_id si applicano le seguenti limitazioni:
  • Il nome deve essere univoco all'interno dell'istanza di Autonomous Database.
  • Deve iniziare con una lettera.
  • Può contenere caratteri alfanumerici, caratteri di sottolineatura (_), simboli del dollaro ($) e simboli del cancelletto (#).
  • Deve essere lunga almeno 16 caratteri.
catalog_type Il tipo di Data Catalog da connettere. Valori ammessi:
  • OCI_DCAT - Data Catalog OCI
  • AWS_GLUE - Catalogo dati AWS Glue
  • NULL: il tipo di catalogo viene rilevato automaticamente dall'area o dall'endpoint fornito.

Uso

È necessario chiamare questa procedura una sola volta per impostare la connessione. Nell'ambito del processo di connessione, Autonomous Database aggiunge proprietà personalizzate a Data Catalog. Queste proprietà personalizzate sono accessibili agli utenti di Data Catalog e consentono di sostituire i nomi predefiniti (per schemi, tabelle e colonne) e i tipi di dati delle colonne.

Prima di creare una connessione, è necessario creare e impostare le credenziali. Per una descrizione del processo di connessione, vedere Flusso di lavoro tipico con Data Catalog per OCI Data Catalogs e Flusso di lavoro utente per l'esecuzione di query con AWS Glue Data Catalog per AWS Glue Data Catalogs.

Esempio: connessione con un OCID noto

In questo esempio, Autonomous Database si connette a Data Catalog nell'area uk-london-1. Il parametro catalog_id utilizza l'identificativo Oracle Cloud (ocid) per l'istanza di Data Catalog. Il tipo di Data Catalog viene determinato automaticamente: AWS Glue Data Catalog o OCI Data Catalog. 

BEGIN
  DBMS_DCAT.SET_DATA_CATALOG_CONN(
    region=>'uk-london-1',
    catalog_id=>'ocid1.datacatalog.oc1.uk-london-1...');
END;
/

Esempio: connessione a un Data Catalog AWS Glue

Una connessione è l'associazione tra un'istanza di Autonomous Database e un Data Catalog AWS Glue. Dopo una connessione riuscita, l'istanza di Autonomous Database può essere sincronizzata con AWS Glue. Ogni account AWS dispone di un AWS Glue Data Catalog per area e a ogni catalogo è possibile accedere utilizzando l'endpoint del servizio corrispondente per ogni area. Un'istanza di Autonomous Database può essere associata a un Data Catalog AWS Glue richiamando l'API DBMS_DCAT.SET_DATA_CATALOG_CONN e specificando l'endpoint per l'area in cui risiede il catalogo.

Vedere Endpoint e quote colla AWS.

In questo esempio, Autonomous Database si connette a un AWS Glue Data Catalog nell'area uk-london-1. Poiché si tratta di una connessione a AWS Glue Data Catalog, il parametro catalog_id non è necessario. 

BEGIN
  DBMS_DCAT.SET_DATA_CATALOG_CONN(
    region=>'uk-london-1',
    catalog_type=>'AWS_GLUE'
END;
/

UNSET_DATA_CATALOG_CONN Procedura

Questa procedura rimuove una connessione Data Catalog esistente.

Sintassi

Nota

Se si richiama questa procedura, vengono eliminati tutti gli schemi protetti e le tabelle esterne creati nell'ambito delle sincronizzazioni precedenti. Non influisce sui metadati in Data Catalog. 
PROCEDURE DBMS_DCAT.UNSET_DATA_CATALOG_CONN (
    dcat_con_id IN VARCHAR2 DEFAULT NULL
);

Parametri

Parametro descrizione;
dcat_con_id Identificativo di connessione Data Catalog univoco. L'impostazione predefinita è Null.

Riepilogo dei sottoprogrammi di sincronizzazione

È possibile eseguire una sincronizzazione, creare ed eliminare un job di sincronizzazione ed eliminare gli schemi sincronizzati con le procedure elencate in questa tabella.

Nota

Il 4 aprile 2022, i parametri sync_option e grant_read sono stati aggiunti alla procedura DBMS_DCAT.RUN_SYNC. Per garantire le prestazioni corrette dei job di sincronizzazione pianificati creati prima di tale data, è necessario eliminare e ricreare i job di sincronizzazione pianificati. Vedere DBMS_DCAT.DROP_SYNC_JOB Procedura e Procedura DBMS_DCAT.CREATE_SYNC_JOB.
Programma secondario descrizione;
CREATE_SYNC_JOB Procedura Creare un job dello scheduler per richiamare periodicamente RUN_SYNC
DROP_SYNC_JOB Procedura Elimina un job di sincronizzazione esistente per l'identificativo di connessione univoco specificato
DROP_SYNCED_SCHEMAS Procedura Elimina tutti gli schemi sincronizzati in precedenza per l'identificativo di connessione univoco specificato
RUN_SYNC Procedura Eseguire un'operazione di sincronizzazione
  • RUN_SYNC Procedura
    Questa procedura esegue un'operazione di sincronizzazione ed è il punto di accesso alla sincronizzazione. Come input, utilizza elenchi di asset, cartelle ed entità di Data Catalog selezionati e li materializza creando, eliminando e modificando tabelle esterne.
  • CREATE_SYNC_JOB Procedura
    Questa procedura crea un job dello scheduler per richiamare periodicamente RUN_SYNC.
  • DROP_SYNC_JOB Procedura
    Questa procedura elimina un job di sincronizzazione esistente per l'identificativo di connessione univoco specificato.
  • DROP_SYNCED_SCHEMAS Procedura
    Questa procedura elimina tutti gli schemi sincronizzati in precedenza per l'identificativo di connessione univoco specificato.

Argomento padre: DBMS_DCAT Package

RUN_SYNC Procedura

Questa procedura esegue un'operazione di sincronizzazione ed è il punto di accesso alla sincronizzazione. Come input, utilizza elenchi di asset, cartelle ed entità di Data Catalog selezionati e li materializza creando, eliminando e modificando tabelle esterne.

Il parametro sync_option specifica l'operazione eseguita dalla procedura RUN_SYNC: SYNC, DELETE o REPLACE. L'operazione viene eseguita su entità comprese nell'ambito del parametro synced_objects.

Ogni chiamata alla procedura RUN_SYNC restituisce un valore operation_id univoco che può essere utilizzato per eseguire una query sulla vista USER_LOAD_OPERATIONS per ottenere informazioni sullo stato della sincronizzazione e sul valore log_table corrispondente. È possibile eseguire query sulla vista DBMS_DCAT$SYNC_LOG per facilitare l'accesso alla vista log_table per l'ultima operazione di sincronizzazione eseguita dall'utente corrente. Per ulteriori informazioni, vedere DBMS_DCAT$SYNC_LOG View e Monitoraggio e risoluzione dei problemi dei carichi.

Nota

Il 4 aprile 2022, i parametri sync_option e grant_read sono stati aggiunti alla procedura RUN_SYNC. Per garantire le prestazioni corrette dei job di sincronizzazione pianificati creati prima di tale data, è necessario eliminare e ricreare i job di sincronizzazione pianificati. Vedere DBMS_DCAT.DROP_SYNC_JOB Procedura e Procedura DBMS_DCAT.CREATE_SYNC_JOB.

Sincronizzazione di entità logiche partizionate o tabelle di colla

La procedura RUN_SYNC crea una tabella esterna partizionata per ogni entità logica o tabella Colla quando si applicano tutte e tre le condizioni riportate di seguito.

  1. L'entità logica o la tabella Colla di OCI Data Catalog ha uno o più attributi partizionati.
  2. Per i Data Catalog OCI, l'entità logica viene derivata da un pattern di nomi file basato su prefisso. Le entità logiche partizionate derivate da pattern basati su espressioni regolari non sono supportate.
  3. Per i Data Catalog OCI, l'entità logica si basa su dati partizionati che seguono il formato di cartella hive-style o non-hive. Le entità logiche basate su dati partizionati che seguono il formato di stile non-hive utilizzando i nomi oggetto non sono supportate.

    • Esempio 1. Entità logiche basate su oggetti raccolti che seguono il formato di partizionamento in stile Hive con pattern di nomi file basati su prefisso.

      Considerare i seguenti oggetti:
      Bucket: MYBUCKET
cluster1/db1.db/sales/country=USA/year=2020/month=01/sales1.csv
cluster1/db1.db/sales/country=USA/year=2020/month=01/sales2.csv
cluster1/db1.db/sales/country=USA/year=2020/month=02/sales1.csv

      La raccolta del bucket mediante un pattern di nomi file con prefisso di cartella iniziale cluster1/db1.db genera un'entità logica denominata SALES con tre attributi di partizione: country, year e month. Il tipo per gli attributi partizionati è Partition, mentre il tipo per gli attributi non partizionati è Primitive.

    • Esempio 2. Entità logiche basate su oggetti raccolti che seguono il formato di partizionamento di stile non Hive con pattern di nomi file basati su prefisso.
      Considerare i seguenti oggetti:
      Bucket: MYBUCKET
cluster2/db2.db/sales/USA/2020/01/sales1.csv
cluster2/db2.db/sales/USA/2020/01/sales2.csv
cluster2/db2.db/sales/USA/2020/02/sales1.csv

      La raccolta del bucket mediante un pattern di nomi file con prefisso di cartella iniziale cluster2/db2.db genera un'entità logica denominata SALES con tre attributi di partizione: name0, name1 e name2. L'unica differenza tra l'entità logica generata rispetto all'esempio 1 è che i nomi degli attributi partizionati vengono generati automaticamente, mentre nell'esempio 1 vengono estratti dall'URL (rispettivamente country, year e month).

Per un esempio completo di sincronizzazione end-to-end delle entità logiche partizionate, vedere Esempio: scenario di dati partizionati.

Sincronizzazione incrementale di entità logiche partizionate/tabelle blu

Ogni chiamata alla procedura RUN_SYNC specifica un set di entità logiche di OCI Data Catalog o tabelle AWS Glue da sincronizzare con il database. Quando un'entità logica o una tabella Colla è presente in due chiamate RUN_SYNC, la seconda chiamata conserva ed eventualmente modifica le tabelle esterne esistenti. La tabella seguente mostra quali modifiche di entità logica o tabella Colla sono supportate quando l'entità logica o la tabella Colla è partizionata:

Modifica tabella entità logica o colla Azione

Aggiunta, rimozione o aggiornamento di una partizione

Tutte le partizioni della tabella partizionata esterna vengono aggiornate, indipendentemente dal fatto che una modifica sia stata rilevata dal Data Catalog.
Aggiunta di un attributo partizionato

L'aggiunta di una colonna partizionata a una tabella partizionata esterna non è supportata. Viene generata un'eccezione.

Eliminazione di un attributo di partizione

L'eliminazione di una colonna partizionata da una tabella partizionata esterna non è supportata. Viene generata un'eccezione.

Ridenominazione di un attributo partizionato

La ridenominazione di una colonna partizionata in una tabella partizionata esterna non è supportata. Viene generata un'eccezione.

Sintassi

PROCEDURE DBMS_DCAT.RUN_SYNC (
    synced_objects   IN  CLOB,
    sync_option      IN VARCHAR2 DEFAULT 'SYNC',
    error_semantics  IN VARCHAR2 DEFAULT 'SKIP_ERRORS',
    log_level        IN VARCHAR2 DEFAULT 'INFO',
    grant_read       IN VARCHAR2 DEFAULT NULL,
    dcat_con_id      IN VARCHAR2 DEFAULT NULL
 );
PROCEDURE DBMS_DCAT.RUN_SYNC (
    synced_objects   IN  CLOB,
    sync_option      IN VARCHAR2 DEFAULT 'SYNC',
    error_semantics  IN VARCHAR2 DEFAULT 'SKIP_ERRORS',
    log_level        IN VARCHAR2 DEFAULT 'INFO',
    grant_read       IN VARCHAR2 DEFAULT NULL,
    operation_id     OUT NOCOPY NUMBER,
    dcat_con_id      IN VARCHAR2 DEFAULT NULL
 );

Parametri

Parametro descrizione;

synced_objects

Questo parametro è un documento JSON che specifica gli oggetti Data Catalog da sincronizzare.

Per i Data Catalog OCI, il documento JSON specifica un set di entità in più granularità: asset di dati, cartelle (bucket dell'area di memorizzazione degli oggetti) o entità logiche. Contiene un asset_list che è un array di oggetti asset o un array contenente una singola stringa "*" che sta per 'sincronizza tutti gli asset dati (area di memorizzazione oggetti) nel catalogo'.

Per AWS Glue Data Catalogs, il documento JSON specifica una lista di tabelle in più granularità: database, tabelle. Il documento specifica un elenco di database. Gli utenti possono limitare il set di tabelle da sincronizzare specificando singole tabelle all'interno di un database.
sync_option (Facoltativo) Sono disponibili le tre opzioni riportate di seguito.
  • SYNC (predefinito): questa opzione garantisce che gli elementi presenti nel Data Catalog, nell'ambito synced_objects, siano rappresentati in Autonomous Database. Se un'entità logica o una tabella Colla è stata eliminata dal Data Catalog dopo l'ultima operazione di sincronizzazione, viene eliminata in Autonomous Database. Nell'ambito synced_objects vengono eseguite le seguenti operazioni:
    • Aggiunge tabelle per nuove entità Data Catalog
    • Rimuove le tabelle per le entità Data Catalog eliminate
    • Aggiorna le proprietà (ad esempio nome, colonne e tipi di dati) per le tabelle esistenti
  • DELETE: elimina le tabelle nell'ambito synced_objects.
  • REPLACE: sostituisce tutti gli oggetti attualmente sincronizzati con gli oggetti nell'ambito synced_objects.

error_semantics

(Facoltativo) Questo parametro specifica il funzionamento dell'errore. Se l'impostazione è SKIP_ERRORS, la sincronizzazione tenta di continuare nonostante gli errori rilevati per le singole entità. Se l'impostazione è STOP_ON_ERROR, la procedura non riesce al primo errore rilevato. L'impostazione predefinita è SKIP_ERRORS.

log_level

 (Facoltativo) Questo parametro specifica i seguenti valori nel livello crescente dei dettagli di log: (OFF, FATAL, ERROR, WARN, INFO, DEBUG, TRACE, ALL). L'impostazione predefinita è INFO.
grant_read (Facoltativo) Questo parametro è un elenco di utenti/ruoli ai quali vengono concessi automaticamente i privilegi READ su tutte le tabelle esterne elaborate da questo richiamo di RUN_SYNC. A tutti gli utenti/ruoli della lista grant_read vengono assegnati privilegi READ su tutte le tabelle esterne nuove o già esistenti che corrispondono alle entità specificate dal parametro synced_objects. La procedura RUN_SYNC conserva i privilegi già concessi sulle tabelle esterne sincronizzate.

operation_id

(Facoltativo) Questo parametro viene utilizzato per trovare la voce corrispondente in USER_LOAD_OPERATIONS per la sincronizzazione e determinare il nome della tabella di log.

Nota: è disponibile una versione di RUN_SYNC che non restituisce un operation_id in modo che gli utenti possano eseguire una query su USER_LOAD_OPERATIONS per la sincronizzazione più recente.

dcat_con_id Questo parametro è l'identificativo di connessione univoco del Data Catalog specificato al momento della creazione della connessione al Data Catalog. Vedere DBMS_DCAT SET_DATA_CATALOG_CONN Procedura. Questo parametro identifica la connessione utilizzata per la sincronizzazione e diventa parte del nome dello schema derivato. Per una descrizione della modalità di derivazione del nome dello schema, vedere Mapping di sincronizzazione. Il valore predefinito del parametro è NULL.

Esempio: sincronizza tutte le entità di OCI Data Catalog

Nell'esempio riportato di seguito vengono sincronizzate tutte le entità di Data Catalog. 

EXEC DBMS_DCAT.RUN_SYNC(synced_objects=>'{"asset_list":["*"]}');

Esempio: parametro synced_objects per la sincronizzazione di tutti gli asset dati di OCI Data Catalog

Di seguito è riportato un parametro synced_objects di esempio per la sincronizzazione di tutti gli asset dati (Object Storage) nel Data Catalog. 

{"asset_list" : ["*"]}

Esempio: parametro synced_objects per la sincronizzazione di asset dati OCI Data Catalog specifici

Di seguito è riportato un parametro synced_objects di esempio per la sincronizzazione di due asset dati. 

{"asset_list": [
        {
            "asset_id":"0b320de9-8411-4448-91fb-9e2e7f78fd5f"
        },
        {
            "asset_id":"0b320de9-8411-4448-91fb-9e2e7f74523"
        }
    ]}

Esempio: parametro synced_objects per la sincronizzazione di entità Data Catalog OCI specifiche all'interno di un asset dati

Di seguito viene illustrato un parametro synced_objects di esempio per la sincronizzazione di due entità all'interno dell'asset dati. 

{"asset_list": [
        {
            "asset_id":"0b320de9-8411-4448-91fb-9e2e7f78fd5f",
            "folder_list":[
                "f1",         
                "f2" 
           ]
        }   
    ]}

Esempio: parametro synced_objects per la sincronizzazione di cartelle ed entità specifiche di OCI Data Catalog all'interno di un asset dati

Di seguito viene illustrato un parametro synced_objects di esempio per la sincronizzazione di due cartelle e due entità nell'asset dati. 

{"asset_list":[
        {
            "asset_id":"0b320de9-8411-4448-91fb-9e2e7f78fd5f",
            "entity_list": [
                "entity1",     
                "entity2"
            ],
             "folder_list": [
                "f1",         
                "f2"
            ]
        }   
    ]}

Esempio: parametro synced_objects per la sincronizzazione di tutti i database di AWS Glue Data Catalog

Di seguito viene illustrato un parametro synced_objects di esempio per la sincronizzazione di tutti i database in AWS Glue Data Catalog. 

{"database_list":["*"]}

Esempio: parametro synced_objects per la sincronizzazione di due database AWS Glue Data Catalog

Di seguito viene illustrato un parametro synced_objects di esempio per la sincronizzazione di due database AWS Glue Data Catalog. 

{"database_list":[
    {"database":"tpcdscsv"},
    {"database":"tpcdsparquet"} ]}

Esempio: parametro synced_objects per la sincronizzazione di tre database AWS Glue Data Catalog

Di seguito viene illustrato un parametro synced_objects di esempio per la sincronizzazione di tre tabelle da un database di AWS Glue Data Catalog. 

{"database_list":[
 {"database":"tpcdsparquet",
     "table_list": [ "tpcdsparquet_customer",
                     "tpcdsparquet_item",
                     "tpcdsparquet_web_sales" ] } ]}

CREATE_SYNC_JOB Procedura

Questa procedura crea un job dello scheduler per richiamare periodicamente RUN_SYNC.

Richiede come input il set di oggetti da sincronizzare, la semantica degli errori, il livello di log e un intervallo di ripetizione. Per ulteriori informazioni sul funzionamento della sincronizzazione, vedere DBMS_DCAT RUN_SYNC Procedura.

Può esistere un solo job di sincronizzazione. La procedura CREATE_SYNC_JOB non riesce se è già stato specificato un altro job, a meno che il parametro force non sia impostato su TRUE. Se l'opzione Forza è impostata su TRUE, il job precedente viene eliminato.

Se un job dello scheduler tenta di eseguire mentre è in corso un'altra sincronizzazione, il job dello scheduler non riesce.

Nota

Il 4 aprile 2022, i parametri sync_option e grant_read sono stati aggiunti alla procedura RUN_SYNC. Per garantire le prestazioni corrette dei job di sincronizzazione pianificati creati prima di tale data, è necessario eliminare e ricreare i job di sincronizzazione pianificati. Vedere DBMS_DCAT.DROP_SYNC_JOB Procedura e Procedura DBMS_DCAT.CREATE_SYNC_JOB.

Sintassi

PROCEDURE DBMS_DCAT.CREATE_SYNC_JOB (
    synced_objects   IN CLOB,
    error_semantics  IN VARCHAR2 DEFAULT 'SKIP_ERRORS',
    log_level        IN VARCHAR2 DEFAULT 'INFO',
    repeat_interval  IN VARCHAR2,
    force            IN VARCHAR2 DEFAULT 'FALSE',
    grant_read       IN VARCHAR2 DEFAULT NULL,
    sync_option      IN VARCHAR2 DEFAULT 'SYNC',
    dcat_con_id      IN VARCHAR2 DEFAULT NULL
);

Parametri

Parametro descrizione;

synced_objects

Oggetto JSON che specifica gli oggetti da sincronizzare, come descritto nella procedura RUN_SYNC.

error_semantics

(Facoltativo) Comportamento degli errori, come specificato per RUN_SYNC. L'impostazione predefinita è SKIP_ERRORS.

log_level

(Facoltativo) Livello di log, come specificato per RUN_SYNC. L'impostazione predefinita è INFO.

repeat_interval

Intervallo di ripetizione per il job, con la stessa semantica del parametro dell'intervallo di ripetizione della procedura DBMS_SCHEDULER.CREATE_JOB. Per ulteriori informazioni su repeat_interval, vedere Panoramica sulla creazione di job.

force

(Facoltativo) Se TRUE, i job di sincronizzazione esistenti vengono eliminati per primi. Se FALSE, la procedura CREATE_SYNC_JOB non riesce se esiste già un job di sincronizzazione. L'impostazione predefinita è FALSE.

grant_read (Facoltativo) Elenco di utenti/ruoli a cui assegnare READ nelle tabelle esterne sincronizzate, come descritto per la procedura RUN_SYNC. Vedere DBMS_DCAT.RUN_SYNC Procedura.
sync_option (Facoltativo) Comportamento per le entità già sincronizzate mediante un'operazione RUN_SYNC precedente, come descritto per la procedura RUN_SYNC. Vedere DBMS_DCAT.RUN_SYNC Procedura.
dcat_con_id Questo parametro è l'identificativo di connessione Data Catalog univoco specificato al momento della creazione della connessione a Data Catalog. Vedere DBMS_DCAT SET_DATA_CATALOG_CONN Procedura. Questo parametro identifica la connessione utilizzata per la sincronizzazione e diventa parte del nome dello schema derivato. Per una descrizione della modalità di derivazione del nome dello schema, vedere Mapping di sincronizzazione. Il valore predefinito del parametro è NULL.

DROP_SYNC_JOB Procedura

Questa procedura elimina un job di sincronizzazione esistente per l'identificativo di connessione univoco specificato.

Sintassi

PROCEDURE DBMS_DCAT.DROP_SYNC_JOB (
    dcat_con_id IN VARCHAR2 DEFAULT NULL
  );

Parametri

Parametro descrizione;
dcat_con_id Identificativo di connessione Data Catalog univoco. Il valore predefinito è NULL.

DROP_SYNCED_SCHEMAS Procedura

Questa procedura elimina tutti gli schemi sincronizzati in precedenza per l'identificativo di connessione univoco specificato.

Sintassi

PROCEDURE DBMS_DCAT.DROP_SYNCED_SCHEMAS (
    dcat_con_id IN VARCHAR2 DEFAULT NULL
  );

Parametri

Parametro descrizione;
dcat_con_id Identificativo di connessione Data Catalog univoco. Il valore predefinito è NULL.

Riepilogo delle viste di Data Catalog

L'integrazione di Data Catalog con Autonomous Database offre numerose tabelle e viste.

Queste tabelle e viste consentono di comprendere:

  • Asset di Data Catalog disponibili. Ottieni informazioni su qualsiasi tipo di asset di Data Catalog, inclusi database, aree di memorizzazione degli oggetti e altro ancora.
  • Informazioni sugli asset e sulle entità dello storage degli oggetti di Data Catalog sincronizzati con Autonomous Database. Sono inclusi i dettagli sul modo in cui gli elementi di Data Catalog (asset, cartelle ed entità) vengono mappati agli oggetti di Autonomous Database (ad esempio schemi e tabelle esterne).
  • Esecuzioni di sincronizzazione dei metadati. Rivedere i dettagli sui job di sincronizzazione, inclusi eventuali problemi che si sono verificati durante la sincronizzazione.

In questa tabella sono elencate le tabelle e le viste fornite dal pacchetto DBMS_DCAT.

Vista descrizione;
ALL_CLOUD_CATALOG_DATABASES Visualizza Visualizza informazioni sugli asset dati di OCI Data Catalog e sui database di AWS Glue Data Catalog
ALL_CLOUD_CATALOG_TABLES Visualizza Utilizzato per visualizzare informazioni sulle entità dati per i Data Catalog OCI e le tabelle per i Data Catalog AWS Glue
ALL_DCAT_ASSETS Visualizza Elenca gli asset Data Catalog a cui questo database è autorizzato ad accedere
ALL_DCAT_ATTRIBUTES Visualizza Elenca gli attributi Data Catalog a cui questo database è autorizzato ad accedere
ALL_DCAT_CONNECTIONS Visualizza Una vista che contiene informazioni sui Data Catalog connessi a questa istanza
ALL_DCAT_ENTITIES Visualizza

Elenca le entità logiche a cui questo database è autorizzato ad accedere
ALL_DCAT_FOLDERS Visualizza Elenca i metadati per i bucket di storage degli oggetti contenenti i file di dati per le entità logiche
ALL_DCAT_GLOBAL_ACCESSIBLE_CATALOGS Visualizza Elenca tutti i cataloghi accessibili in tutte le aree, insieme al livello di privilegi di accesso per ogni catalogo
ALL_DCAT_LOCAL_ACCESSIBLE_CATALOGS Visualizza Elenca tutti i cataloghi accessibili nell'area corrente, insieme al livello di privilegi di accesso per ogni catalogo
ALL_GLUE_DATABASES Visualizza Elenca i database AWS Glue Data Catalog ai quali la credenziale del Data Catalog è autorizzata ad accedere
ALL_GLUE_TABLES Visualizza Mostra tutte le tabelle di AWS Glue Data Catalog a cui è autorizzata l'accesso delle credenziali di Data Catalog
DCAT_ATTRIBUTES Visualizza Elenca il mapping degli attributi dell'entità logica alle colonne della tabella esterna
DCAT_ENTITIES Visualizza Descrive il mapping delle entità logiche a tabelle esterne
DBMS_DCAT$SYNC_LOG Visualizza Fornisce un facile accesso alla tabella di log per l'ultima operazione di sincronizzazione eseguita dall'utente corrente

Argomento padre: DBMS_DCAT Package

ALL_CLOUD_CATALOG_DATABASES Visualizza

Utilizzare la vista ALL_CLOUD_CATALOG_DATABASES per visualizzare informazioni sugli asset dati di OCI Data Catalog e sui database di AWS Glue Data Catalog.

A colonne descrizione;
DCAT_CON_ID CON1
CATALOG_ID Identificativo univoco del Data Catalog.

Esempio di OCI Data Catalog:

ocid1.datacatalog.oc1.ap-mumbai-1.….y35a

Esempio di AWS Glue Data Catalog:

NULL

579294766787
NAME Nome dell'asset dati (OCI)/database (AWS Glue).

Esempio di OCI Data Catalog:

OBJECT_STORE_AT_ASHBURN

Esempio di AWS Glue Data Catalog:

OBJECT_STORE_AT_N_CALIFORNIA
DESCRIPTION Descrizione dell'asset dati (OCI)/database (AWS Glue).

Esempio di OCI Data Catalog: 

Data stored in S3 (N. California)

Esempio di AWS Glue Data Catalog: 

Data stored in S3 (N. California)
TIME_CREATED La data e l'ora in cui l'asset dati (OCI) o i database (AWS Glue) sono stati creati nel Data Catalog.

Esempio di OCI Data Catalog:

26-SEP-22 10.56.01.395000 PM +00:00

Esempio di AWS Glue Data Catalog:

2022-06-15T09:45:35+01:00
DETAILS Documento JSON con metadati su ogni entità dati (OCI)/database (AWS Glue).

Esempio di OCI Data Catalog: 

{
  "catalog-id": "ocid1.datacatalog.oc1.ap-mumbai-1.amaaa...",
  "description": null,
  "display-name": "OBJECT_STORE_AT_ASHBURN",
  "external-key": "https://swiftobjectstorage.us-ashburn-1....",
  "key": "bc95181c-3ac3-4959-9e5f-4e460d3fb82a",
  "lifecycle-state": "ACTIVE",
  "time-created": "2022-09-26T22:56:01.395000+00:00",
  "type-key": "3ea65bc5-f60d-477a-a591-f063665339f9",
  "uri": "/dcat/20190325/dataAssets/bc95181c-3ac3-4959-9e5f-4e460d3fb82a"
}

Esempio di AWS Glue Data Catalog: 

{
    "Name": "dbmsdcatpoc",
    "Parameters": {
        "somekey": "somevalue"
    },
    "CreateTime": "2022-06-15T09:45:35+01:00",
    "CreateTableDefaultPermissions": [
        {
            "Principal": {
                "DataLakePrincipalIdentifier": "IAM_ALLOWED_PRINCIPALS"
            },
            "Permissions": [
                "ALL"
            ]
        }
    ],
    "CatalogId": "579294766787"
}

ALL_CLOUD_CATALOG_TABLES Visualizza

La vista ALL_CLOUD_CATALOG_TABLES viene utilizzata per visualizzare informazioni sulle entità dati per i Data Catalog OCI e le tabelle per i Data Catalog AWS Glue.

A colonne descrizione;
DCAT_CON_ID Identificativo univoco del Data Catalog. ID connessione.

Esempio di OCI Data Catalog: CON1

Esempio di AWS Glue Data Catalog: CON1
CATALOG_ID Identificativo univoco del Data Catalog.

Esempio di OCI Data Catalog: ocid1.datacatalog.oc1.ap-mumbai-1.….y35a

Esempio di AWS Glue Data Catalog: NULL

579294766787
DATABASE_NAME Nome dell'asset dati (OCI)/database (AWS Glue).

Esempio di OCI Data Catalog: OBJECT_STORE_AT_ASHBURN

Esempio di AWS Glue Data Catalog: OBJECT_STORE_AT_N_CALIFORNIA
NAME Nome dell'entità dati (OCI)/tabella (colle AWS).

Esempio di OCI Data Catalog: BIKES_TRIPS

Esempio di AWS Glue Data Catalog: BIKES_TRIPS
DESCRIPTION Descrizione dell'entità dati (OCI)/tabella (AWS Glue).

Esempio di OCI Data Catalog: Table storing bike trips

Esempio di AWS Glue Data Catalog: Table storing bike trips
TIME_CREATED La data e l'ora in cui l'entità dati (OCI)/tabella (colle AWS) è stata creata nel Data Catalog.

Esempio di OCI Data Catalog: 26-SEP-22 10.56.01.395000 PM +00:00

Esempio di AWS Glue Data Catalog: 2022-06-15T09:45:35+01:00
TIME_UPDATED L'ultima volta che è stata apportata una modifica all'entità dati (OCI)/tabella (AWS Glue).

Esempio di OCI Data Catalog: 26-SEP-22 10.56.01.395000 PM +00:00

Esempio di AWS Glue Data Catalog: 2022-06-15T09:45:35+01:00
DETAILS Documento JSON con metadati su ogni entità dati (OCI)/tabella (AWS Glue)

Esempio di OCI Data Catalog: 

{  
  "business-name": null,
  "data-asset-key": "bc95181c-3ac3-4959-9e5f-...",
  "description": null,
  "display-name": "bikes_trips",
  "external-key": "LE: https://swiftobjectstorage.us-ashburn-1.oraclecloud.com/v1/..._trips",
  "folder-key": "9c4b542d-d6eb-4b83-bf59-...",
  "folder-name": "hive",
  "is-logical": true,
  "is-partition": false,
  "key": "fde30a69-a07c-478a-ab62-...",
  "lifecycle-state": "ACTIVE",
  "object-storage-url": "https://objectstorage.us-ashburn-1.oraclecloud.com/n/...",
  "path": "OBJECT_STORE_AT_ASHBURN/hive/hive",
  "pattern-key": "db21b3f1-1508-4045-aa80-...",
  "properties": {
    "default": {
      "CONTENT-LENGTH": "4310321",
      "LAST-MODIFIED": "Fri, 9 Oct 2020 20:16:52 UTC",
      "archivedPECount": "0",
      "dataEntityExpression": "{logicalEntity:[^/]+}.db/{logicalEntity:[^/]+}/.*",
      "harvestedFile": "bikes.db/trips/p_start_month=2019-09/000000_0",
      "patternName": "bikes_trips"
    },
    "harvestProps": {
      "characterset": "UTF8",
      "compression": "none",
      "type": "PARQUET"
    }
  },
  "realized-expression": "bikes.db/trips/.*",
  "time-created": "2022-09-26T22:56:35.063000+00:00",
  "time-updated": "2022-09-26T22:56:35.063000+00:00",
  "type-key": "6753c3af-7f88-44b9-be52-1d57bef462fb",
  "updated-by-id": "ocid1.user.oc1..r5l3tov7a",
  "uri": "/dcat/20190325/dataAssets/bc95181c-3ac3-4959-9e5f-..."
}

Esempio di AWS Glue Data Catalog: 

{
    "Name": "bikes_trips",
    "DatabaseName": "dbmsdcatpoc",
    "Owner": "owner",
    "CreateTime": "2022-06-23T13:24:20+01:00",
    "UpdateTime": "2022-06-23T13:24:20+01:00",
    "LastAccessTime": "2022-06-23T13:24:20+01:00",
    "Retention": 0,
    "StorageDescriptor": {
        "Columns": [
            {
                "Name": "trip_duration",
                "Type": "int"
            },
            {
                "Name": "start_month",
                "Type": "string"
            }, ...
        ],
        "Location": "s3://dbmsdcatpoc/hive/bikes.db/trips/",
        "InputFormat": "org.apache.hadoop.hive.ql.io.parquet.MapredParquetInputFormat",
        "OutputFormat": "org.apache.hadoop.hive.ql.io.parquet.MapredParquetOutputFormat",
        "Compressed": false,
        "NumberOfBuckets": -1,
        "SerdeInfo":
 {            "SerializationLibrary": "org.apache.hadoop.hive.ql.io.parquet.serde.ParquetHiveSerDe",
            "Parameters": {
                "serialization.format": "1"
            }
        },
        "BucketColumns": [],
        "SortColumns": [],
        "Parameters": {
            "CrawlerSchemaDeserializerVersion": "1.0",
            "CrawlerSchemaSerializerVersion": "1.0",
            "UPDATED_BY_CRAWLER": "crawler-bikes",
            "averageRecordSize": "86",
            "classification": "parquet",
            "compressionType": "none",
            "objectCount": "12",
            "recordCount": "404947",
            "sizeKey": "35312159",
            "typeOfData": "file"
        },
        "StoredAsSubDirectories": false
    },
    "PartitionKeys": [
        {
            "Name": "p_start_month",
            "Type": "string"
        }
    ],
    "TableType": "EXTERNAL_TABLE",
    "Parameters": {
        "CrawlerSchemaDeserializerVersion": "1.0",
        "CrawlerSchemaSerializerVersion": "1.0",
        "UPDATED_BY_CRAWLER": "crawler-bikes",
        "averageRecordSize": "86",
        "classification": "parquet",
        "compressionType": "none",
        "objectCount": "12",
        "recordCount": "404947",
        "sizeKey": "35312159",
        "typeOfData": "file"
    },
    "CreatedBy": "arn:aws:sts::579294766787:assumed-role/AWSGlueServiceRole-dbmsdcat/AWS-Crawler",
    "IsRegisteredWithLakeFormation": false,
    "CatalogId": "579294766787",
    "VersionId": "0"
}

Esempio

ALL_DCAT_ASSETS Visualizza

Asset di Data Catalog a cui questo database è autorizzato ad accedere.

A colonne Tipo di dati descrizione;
DCAT_CON_ID VARCHAR2 (4000) Identificativo di connessione univoco all'interno dell'istanza

KEY

 VARCHAR2(4000)

Chiave cespite
DISPLAY_NAME VARCHAR2(4000) Nome visualizzato asset
DESCRIPTION VARCHAR2(4000) Descrizione asset
CATALOG_ID VARCHAR2(4000) OCID per il Data Catalog contenente l'asset
EXTERNAL_KEY VARCHAR2(4000) URI di storage degli oggetti di base per l'asset
URI VARCHAR2(4000) URI asset per l'API Data Catalog
TIME_CREATED TIMESTAMP(6) WITH TIMEZONE La data e l'ora di creazione dell'asset dati
TYPE_KEY VARCHAR2(4000) Chiave del tipo di asset dati (attualmente sono supportati solo gli asset dati di storage degli oggetti). È possibile trovare le chiavi di tipo tramite l'endpoint Data Catalog '/types'.
LIFECYCLE_STATE VARCHAR2(4000) Lo stato corrente dell'asset dati. Per ulteriori informazioni sui possibili stati del ciclo di vita, vedere il Data Catalog DataAsset Riferimento per un elenco dei possibili stati per lifecycleState.

ALL_DCAT_ATTRIBUTES Visualizza

Attributi Data Catalog a cui questo database è autorizzato ad accedere.

A colonne Tipo di dati descrizione;
DCAT_CON_ID VARCHAR2 (4000) Identificativo di connessione univoco all'interno dell'istanza
KEY NUMBER Chiave attributo

DISPLAY_NAME

 VARCHAR2(4000)

Nome visualizzato dell'attributo
BUSINESS_NAME VARCHAR2(4000) Nome attività attributo
DESCRIPTION VARCHAR2(4000) Descrizione attributo
DATA_ASSET_KEY VARCHAR2(4000) Chiave asset dati
FOLDER_KEY VARCHAR2(4000) Chiave cartella
ENTITY_KEY VARCHAR2(4000) Chiave entità
EXTERNAL_KEY VARCHAR2(4000) Chiave esterna univoca per l'attributo
LENGTH NUMBER Lunghezza massima consentita del valore di attributo
PRECISION NUMBER Precisione del valore dell'attributo (di solito si applica al tipo di dati a virgola mobile)
SCALE NUMBER Scale del valore dell'attributo (in genere si applica al tipo di dati a virgola mobile)
IS_NULLABLE NUMBER Indica se a questo attributo possono essere assegnati valori nulli
URI VARCHAR2(4000) URI dell'istanza dell'attributo nell'API Data Catalog
LIFECYCLE_STATE VARCHAR2(4000) Stato corrente dell'attributo. Per ulteriori informazioni sui possibili stati del ciclo di vita, vedere Riferimento attributo in Data Catalog per un elenco dei possibili stati per lifecycleState.
TIME_CREATED TIMESTAMP(6) WITH TIME ZONE La data e l'ora di creazione dell'attributo
EXTERNAL_DATA_TYPE VARCHAR2(4000) Tipo di dati dell'attributo come definito nel sistema esterno
MIN_COLLECTION_COUNT NUMBER Numero minimo di elementi, se il tipo di attributo è un tipo di raccolta
MAX_COLLECTION_COUNT NUMBER Numero massimo di elementi, se il tipo di attributo è un tipo di raccolta
DATATYPE_ENTITY_KEY VARCHAR2(4000) Chiave entità che rappresenta il tipo di dati di questo attributo, applicabile se questo attributo è di tipo complesso
EXTERNAL_DATATYPE_ENTITY_KEY VARCHAR2(4000) Chiave entità esterna che rappresenta il tipo di dati di questo attributo, applicabile se questo attributo è di tipo complesso
PARENT_ATTRIBUTE_KEY VARCHAR2(4000) Chiave attributo che rappresenta l'attributo padre di questo attributo, applicabile se l'attributo padre è di tipo dati complesso
EXTERNAL_PARENT_ATTRIBUTE_KEY VARCHAR2(4000) Chiave attributo esterno che rappresenta l'attributo padre di questo attributo, applicabile se l'attributo padre è di tipo complesso
PATH VARCHAR2(4000) Percorso completo dell'attributo

ALL_DCAT_CONNECTIONS Visualizza

Vista che contiene informazioni sui Data Catalog connessi a questa istanza.

A colonne Tipo di dati descrizione;
DCAT_CON_ID VARCHAR2(4000) Identificativo di connessione univoco all'interno dell'istanza
COMPARTMENT_ID VARCHAR2(4000) OCID per il compartimento in cui risiede l'istanza di Data Catalog
INSTANCE_ID VARCHAR2(4000)

OCID per l'istanza di Data Catalog

REGION

 VARCHAR2(4000)

Area per l'istanza di Data Catalog

ENDPOINT VARCHAR2(4000) Endpoint per l'istanza di Data Catalog
CREATED TIMESTAMP Quando è stata creata l'istanza di Data Catalog
NAME VARCHAR2(4000) Nome dell'istanza di Data Catalog
LAST_UPDATED TIMESTAMP Indicatore orario dell'ultimo aggiornamento della connessione all'istanza di Data Catalog
LATEST_OPERATION_ID NUMBER ID dell'ultima operazione di sincronizzazione
DATA_CATALOG_CREDENTIAL VARCHAR2(128) Credenziale utilizzata per accedere al Data Catalog
OBJECT_STORE_CREDENTIAL VARCHAR2(128) Credenziale utilizzata dal driver della tabella esterna per accedere all'area di memorizzazione degli oggetti

ALL_DCAT_ENTITIES Visualizza

Entità logiche di Data Catalog a cui il database è autorizzato ad accedere.

A colonne Tipo di dati descrizione;
DCAT_CON_ID VARCHAR2(4000) Identificativo di connessione univoco all'interno dell'istanza
CATALOG_ID VARCHAR2(4000) OCID per il Data Catalog contenente l'asset

KEY

 VARCHAR2(4000)

Chiave entità
DISPLAY_NAME VARCHAR2(4000)

Nome visualizzato dell'entità
BUSINESS_NAME VARCHAR2(4000)

Nome aziendale entità
DESCRIPTION VARCHAR2(4000)

Descrizione entità logica

DATA_ASSET_KEY

 VARCHAR2(4000)

Chiave cespite

FOLDER_KEY

 VARCHAR2(4000)

Chiave univoca cartella
FOLDER_NAME VARCHAR2(4000) Nome cartella (bucket)
EXTERNAL_KEY VARCHAR2(4000) Chiave esterna per l'entità logica
PATTERN_KEY VARCHAR2(4000) Chiave del pattern associato per l'entità logica
REALIZED_EXPRESSION VARCHAR2(4000) Espressione regolare utilizzata per ottenere i file per questa entità logica
PATH VARCHAR2(4000) Percorso completo per l'entità logica
TIME_CREATED TIMESTAMP(6) WITH TIME ZONE Data e ora di creazione dell'entità
TIME_UPDATED TIMESTAMP(6) WITH TIME ZONE Ultima modifica apportata all'entità dati
UPDATED_BY_ID VARCHAR2(4000) OCID dell'utente che ha aggiornato questo oggetto nel Data Catalog.
URI VARCHAR2(4000) URI dell'istanza di entità nell'API
LIFECYCLE_STATE VARCHAR2(4000) Stato corrente dell'entità. Per ulteriori informazioni sui possibili stati del ciclo di vita, vedere il riferimento entità di Data Catalog per un elenco dei possibili stati per lifecycleState.

ALL_DCAT_FOLDERS Visualizza

Metadati per i bucket di storage degli oggetti che contengono i file di dati per le entità logiche.

A colonne Tipo di dati descrizione;
DCAT_CON_ID VARCHAR2(4000) Identificativo di connessione univoco all'interno dell'istanza
CATALOG_ID VARCHAR2(4000) OCID per il Data Catalog contenente l'asset

KEY

 VARCHAR2(4000)

Chiave cartella

DISPLAY_NAME

 VARCHAR2(4000)

Nome visualizzato cartella
BUSINESS_NAME VARCHAR2(4000) Nome attività cartella
DESCRIPTION VARCHAR2(4000) Descrizione cartella
DATA_ASSET_KEY VARCHAR2(4000) Chiave per l'asset dati che contiene la cartella
PARENT_FOLDER_KEY VARCHAR2(4000) Chiave per la cartella padre (attualmente si tratta della chiave dell'asset dati)
PATH VARCHAR2(4000) Percorso completo per la cartella
EXTERNAL_KEY VARCHAR2(4000) URI di storage degli oggetti per il bucket
TIME_EXTERNAL TIMESTAMP(6) WITH TIMEZONE Indicatore orario dell'ultima modifica di questa cartella
TIME_CREATED TIMESTAMP(6) WITH TIMEZONE La data e l'ora in cui è stata creata la cartella
URI VARCHAR2(4000) URI nell'istanza della cartella nell'API Data Catalog.
LIFECYCLE_STATE VARCHAR2(4000) Stato corrente della cartella. Per ulteriori informazioni sui possibili stati del ciclo di vita, vedere Riferimento cartella di Data Catalog per un elenco dei possibili stati per lifecycleState.

ALL_DCAT_GLOBAL_ACCESSIBLE_CATALOGS Visualizza

Questa vista elenca tutti i cataloghi accessibili in tutte le aree, insieme al livello di privilegi di accesso per ogni catalogo.

A colonne Tipo di dati descrizione;

CATALOG_ID

 VARCHAR2(4000)

OCID catalogo
CATALOG_NAME VARCHAR2(4000) Nome del catalogo
CATALOG_REGION VARCHAR2(4000) Nome dell'area del catalogo
CATALOG_SCORE NUMBER Il punteggio del catalogo è un valore numerico calcolato in base ai privilegi configurati per la credenziale di accesso a Data Catalog. Un punteggio catalogo più alto indica privilegi maggiori, che possono equivalere a una maggiore probabilità che questo catalogo sia destinato all'uso con questa istanza di Autonomous Database.

ALL_DCAT_LOCAL_ACCESSIBLE_CATALOGS Visualizza

Questa vista elenca tutti i cataloghi accessibili nell'area corrente, insieme al livello di privilegi di accesso per ciascun catalogo.

A colonne Tipo di dati descrizione;

CATALOG_ID

 VARCHAR2(4000)

OCID catalogo
CATALOG_NAME VARCHAR2(4000) Nome del catalogo
CATALOG_SCORE NUMBER Il punteggio del catalogo è un valore numerico calcolato in base ai privilegi configurati per la credenziale di accesso a Data Catalog. Un punteggio catalogo più alto indica privilegi maggiori, che possono equivalere a una maggiore probabilità che questo catalogo sia destinato all'uso con questa istanza di Autonomous Database.

ALL_GLUE_DATABASES Visualizza

Database di AWS Glue Data Catalog a cui è autorizzata l'accesso delle credenziali di Data Catalog.

A colonne Tipo di dati descrizione;
DCAT_CON_ID VARCHAR2(4000) Identificativo univoco dell'ID connessione Data Catalog.
CATALOG_ID VARCHAR2(255) Identificativo univoco del Data Catalog.
NAME VARCHAR2(255) Nome del database.
DESCRIPTION VARCHAR2(2048) Descrizione del database.
LOCATION_URI VARCHAR2(1024) La posizione del database.
CREATE_TIME TIMESTAMP L'ora di creazione del database nel Data Catalog.
PARAMETERS CLOB Documento JSON con coppie chiave-valore che definiscono i parametri e le proprietà del database.
TARGET_DATABASE VARCHAR2(4000) Documento JSON che descrive un database di destinazione per il collegamento delle risorse in AWS.

ALL_GLUE_TABLES Visualizza

Questa vista mostra tutte le tabelle di AWS Glue Data Catalog alle quali è autorizzata l'accesso delle credenziali di Data Catalog.

A colonne Tipo di dati descrizione;
DCAT_CON_ID VARCHAR2(4000) Identificativo univoco dell'ID connessione Data Catalog.
CATALOG_ID VARCHAR2(255) Identificativo catalogo
DATABASE_NAME VARCHAR2(255) Nome database
NAME VARCHAR2(255) Nome tabella
TABLE_TYPE VARCHAR2(255) Tipo di tabella
CLASSIFICATION VARCHAR2(255)  
DESCRIPTION VARCHAR2(2048) Descrizione tabella
OWNER VARCHAR2(255) Proprietario tabella
CREATED_BY VARCHAR2(255) Creatore tabella
CREATE_TIME TIMESTAMP Ora di creazione della tabella nel Data Catalog.
LAST_ANALYZED_TIME TIMESTAMP Le statistiche delle ultime colonne sono state calcolate per questa tabella.
LAST_ACCESS_TIME TIMESTAMP Ultima volta in cui è stato eseguito l'accesso alla tabella.
UPDATE_TIME TIMESTAMP L'ultima volta che la tabella è stata aggiornata.
IS_REGISTERED_WITH_LAKE_FORMATION NUMBER Indica se la tabella è registrata con la formazione del lake AWS.
PARAMETERS CLOB Documento JSON con coppie chiave-valore che definiscono le proprietà della tabella.
PARTITION_KEYS CLOB Documento JSON con una lista di colonne in base alla quale la tabella è partizionata.
RETENTION NUMBER Il tempo di conservazione per questa tabella.
STORAGE_DESCRIPTION CLOB Documento JSON con informazioni sullo storage fisico di una tabella.
TARGET_TABLE VARCHAR2(4000) Documento JSON che descrive una tabella di destinazione utilizzata per il collegamento delle risorse in AWS.
VERSION_ID VARCHAR2(255) L'identificativo di versione per la tabella.
VIEW_EXPANDED_TEXT CLOB Introdotto da AWS Glue per la compatibilità con Hive. Non utilizzato da AWS Glue.
VIEW_ORIGINAL_TEXT CLOB Introdotto da AWS Glue per la compatibilità con Hive. Non utilizzato da AWS Glue.

DCAT_ATTRIBUTES Visualizza

Elenca il mapping degli attributi di entità logica alle colonne di tabelle esterne.

A colonne Tipo di dati descrizione;
DCAT_CON_ID VARCHAR2 (4000) Identificativo di connessione univoco all'interno dell'istanza
ASSET_KEY VARCHAR2(4000) Chiave asset Data Catalog

ENTITY_KEY

 VARCHAR2(4000)

Chiave entità Data Catalog

ATTRIBUTE_KEY

 VARCHAR2(4000)

Chiave attributo Data Catalog
ORACLE_COLUMN_NAME VARCHAR2(128) Nome colonna mappata

DCAT_ENTITIES Visualizza

Descrive il mapping delle entità logiche a tabelle esterne.

A colonne Tipo di dati descrizione;
DCAT_CON_ID VARCHAR2(4000) Identificativo di connessione univoco all'interno dell'istanza
ASSET_KEY VARCHAR2(4000) Chiave asset Data Catalog

ENTITY_KEY

 VARCHAR2(4000)

Chiave entità Data Catalog

FOLDER_KEY

 VARCHAR2(4000)

Chiave cartella Data Catalog
ORACLE_TABLE_NAME VARCHAR2(128) Nome tabella mappata
ORACLE_SCHEMA_NAME VARCHAR2(128) Nome schema mappato
ENTITY_ORACLE_DB_SCHEMA VARCHAR2(4000) Proprietà personalizzata oracle-db-schema dell'entità utilizzata per derivare lo schema
ASSET_ORACLE_DB_SCHEMA VARCHAR2(4000) Proprietà personalizzata oracle-db-schema dell'asset dati utilizzata per derivare lo schema
FOLDER_ORACLE_DB_SCHEMA VARCHAR2(4000) Proprietà personalizzata dello schema oracle-db-schema della cartella utilizzata per derivare lo schema

DBMS_DCAT$SYNC_LOG Visualizza

La vista DBMS_DCAT$SYNC_LOG consente di accedere facilmente alla tabella di log per l'ultima operazione di sincronizzazione eseguita dall'utente corrente.

Ogni chiamata alla procedura RUN_SYNC viene registrata in una nuova tabella di log, a cui fa riferimento il campo LOGFILE_TABLE di USER_LOAD_OPERATIONS. Le tabelle di log vengono eliminate automaticamente dopo 2 giorni e gli utenti possono cancellare tutti i log di sincronizzazione utilizzando la procedura DELETE_ALL_OPERATIONS, dove il tipo è DCAT_SYNC.

La vista DBMS_DCAT$SYNC_LOG identifica automaticamente la tabella di log più recente. Di seguito viene descritto lo schema per la vista DBMS_DCAT$SYNC_LOG e le autorizzazioni di accesso sono identiche a quelle delle singole tabelle di log. Per impostazione predefinita, READ viene concesso al ruolo dbms_dcat e all'utente ADMIN.

Le tabelle di log hanno il formato seguente:

A colonne Tipo di dati descrizione;

LOG_TIMESTAMP

 TIMESTAMP

Indicatore orario per la voce di log.

LOG_LEVEL

 VARCHAR2(32)

Il livello di log delle voci può avere uno dei valori seguenti: OFF, FATAL, ERROR, WARN, INFO, DEBUG, TRACE, ALL.

LOG_DETAILS VARCHAR2(32767) Il messaggio del registro.