Grazie alla sincronizzazione con i metadati del Data Catalog, Autonomous Database crea automaticamente tabelle esterne per ogni entità logica raccolta da Data Catalog. Queste tabelle esterne vengono definite negli schemi di database completamente gestiti dal processo di sincronizzazione dei metadati. Gli utenti possono eseguire immediatamente query sui dati senza dover derivare manualmente lo schema (colonne e tipi di dati) per le origini dati esterne e creare manualmente tabelle esterne.

La sincronizzazione è dinamica e mantiene l'Autonomous Database aggiornato rispetto alle modifiche ai dati di base, riducendo i costi di amministrazione in quanto mantiene automaticamente centinaia o migliaia di tabelle. Inoltre, consente a più istanze di Autonomous Database di condividere lo stesso Data Catalog, riducendo ulteriormente i costi di gestione e fornendo un set comune di definizioni aziendali.

Le cartelle/bucket di Data Catalog sono contenitori sincronizzati con gli schemi di Autonomous Database. Le entità logiche all'interno di tali cartelle/bucket vengono mappate alle tabelle esterne di Autonomous Database. Questi schemi e tabelle esterne vengono generati e gestiti automaticamente tramite il processo di sincronizzazione:

• Le cartelle/bucket vengono mappate agli schemi di database solo a scopo organizzativo.
• L'organizzazione ha lo scopo di essere coerente con il data lake e ridurre al minimo la confusione quando si accede ai dati attraverso percorsi diversi.
• Data Catalog è l'origine della verità per le tabelle contenute negli schemi. Le modifiche apportate nel Data Catalog aggiornano le tabelle dello schema durante una sincronizzazione successiva.

Per utilizzare questa funzionalità, un amministratore di Database Data Catalog avvia una connessione a un'istanza di Data Catalog, seleziona gli asset dati e le entità logiche da sincronizzare ed esegue la sincronizzazione. Il processo di sincronizzazione crea schemi e tabelle esterne in base agli asset dati raccolti in Data Catalog e alle entità logiche selezionate. Non appena vengono create le tabelle esterne, gli analisti dati possono avviare l'esecuzione di query sui dati senza dover derivare manualmente lo schema per le origini dati esterne e creare tabelle esterne.

Per eseguire query con Data Catalog è necessaria una descrizione dei concetti riportati di seguito.

Catalogo dati

Data Catalog raccoglie gli asset dati che puntano alle origini dati dell'area di memorizzazione degli oggetti su cui si desidera eseguire query con Autonomous Database. In Data Catalog è possibile specificare la modalità di organizzazione dei dati durante la raccolta, supportando diversi pattern di organizzazione dei file. Nell'ambito del processo di raccolta di Data Catalog, è possibile selezionare i bucket e i file che si desidera gestire all'interno dell'asset. Per ulteriori informazioni, vedere Panoramica di Data Catalog.

Aree di memorizzazione degli oggetti

I negozi oggetti dispongono di bucket che contengono una vasta gamma di oggetti. Alcuni tipi comuni di oggetti trovati in questi bucket includono: file CSV, parquet, avro, json e ORC. I bucket in genere hanno una struttura o un motivo di progettazione per gli oggetti che contengono. Esistono molti modi diversi per strutturare i dati e molti modi diversi di interpretare questi modelli.

Ad esempio, un pattern di progettazione tipico utilizza cartelle di livello superiore che rappresentano le tabelle. I file all'interno di una determinata cartella condividono lo stesso schema e contengono dati per tale tabella. Le sottocartelle vengono spesso utilizzate per rappresentare le partizioni di tabella (ad esempio, una sottocartella per ogni giorno). Data Catalog fa riferimento a ogni cartella di livello superiore come entità logica e questa entità logica viene mappata a una tabella esterna di Autonomous Database.

Connessione

Una connessione è una connessione di Autonomous Database a un'istanza di Data Catalog. Per ogni istanza di Autonomous Database possono esistere connessioni a più istanze di Data Catalog. Le credenziali di Autonomous Database devono disporre dei diritti per accedere agli asset di Data Catalog raccolti dallo storage degli oggetti.

Raccolta

Processo di Data Catalog che analizza lo storage degli oggetti e genera le entità logiche dai data set.

Data Asset

Un asset dati in Data Catalog rappresenta un'origine dati che include database, storage degli oggetti Oracle, Kafka e altro ancora. Autonomous Database utilizza gli asset dello storage degli oggetti Oracle per la sincronizzazione dei metadati.

Entità dati

Per entità dati in Data Catalog si intende una raccolta di dati, ad esempio una tabella o una vista di database, o un singolo file e in genere dispone di molti attributi che ne descrivono i dati.

Entità logica

In Data Lakes, numerosi file in genere comprendono una singola entità logica. Ad esempio, è possibile disporre di file clickstream giornalieri che condividono lo stesso schema e lo stesso tipo di file.

Un'entità logica di Data Catalog è un gruppo di file di storage degli oggetti che vengono derivati durante la raccolta applicando pattern di nomi file creati e assegnati a un asset dati.

oggetto dati

Un oggetto dati in Data Catalog si riferisce agli asset dati e alle entità dati.

Pattern di nomi file

In un data lake, i dati possono essere organizzati in modi diversi. In genere, le cartelle acquisiscono file dello stesso schema e tipo. È necessario registrarsi al Data Catalog per la modalità di organizzazione dei dati. I pattern di nomi file vengono utilizzati per identificare la modalità di organizzazione dei dati. In Data Catalog è possibile definire pattern di nomi file utilizzando espressioni regolari. Quando Data Catalog raccoglie un asset dati con un pattern di nomi file assegnato, le entità logiche vengono create in base al pattern di nomi file. Definendo e assegnando questi pattern agli asset dati, è possibile raggruppare più file come entità logiche in base al pattern di nomi file.

Sincronizzazione (sincronizzazione)

Autonomous Database esegue le sincronizzazioni con Data Catalog per mantenere automaticamente aggiornato il proprio database rispetto alle modifiche ai dati di base. La sincronizzazione può essere eseguita manualmente o in base a una pianificazione.

Il processo di sincronizzazione crea schemi e tabelle esterne in base agli asset dati di Data Catalog e alle entità logiche. Questi schemi sono protetti, ovvero i relativi metadati sono gestiti da Data Catalog. Se si desidera modificare i metadati, è necessario apportare le modifiche in Data Catalog. Gli schemi di Autonomous Database rifletteranno eventuali modifiche dopo l'esecuzione della sincronizzazione successiva. Per ulteriori dettagli, vedere Mapping di sincronizzazione.

Il processo di sincronizzazione crea e aggiorna gli schemi e le tabelle esterne di Autonomous Database in base agli asset dati, alle cartelle, alle entità logiche, agli attributi e alle sostituzioni personalizzate pertinenti di Data Catalog.

Esiste un flusso di lavoro tipico delle azioni eseguite dagli utenti che desiderano eseguire query con Data Catalog.

select * from all_dcat_connections;

In questo scenario, Moviestream sta acquisendo dati in una zona di destinazione sullo storage degli oggetti. Gran parte di questi dati, ma non necessariamente tutti, viene quindi utilizzato per alimentare un Autonomous Database. Prima di alimentare Autonomous Database, i dati vengono trasformati, puliti e successivamente memorizzati nell'area "gold".

1. Area di memorizzazione oggetti - Rivedi bucket, cartelle e file
   1. Rivedere i bucket nell'area di memorizzazione degli oggetti.
      Ad esempio, di seguito sono riportati i bucket di destinazione (moviestream_landing) e zona finale (moviestream_gold) nello storage degli oggetti:
   2. Rivedere le cartelle e i file nei bucket dell'area di memorizzazione degli oggetti.
      Di seguito, ad esempio, sono riportate le cartelle nel bucket di destinazione (moviestream_landing) nello storage degli oggetti.
2. Data Catalog - Crea pattern di nomi file
   1. Informa Data Catalog in che modo i dati vengono organizzati utilizzando i pattern di nomi file. Si tratta di espressioni regolari utilizzate per categorizzare i file. I pattern di nomi file vengono utilizzati dallo strumento di raccolta Data Catalog per derivare entità logiche. I due pattern di nomi file riportati di seguito vengono utilizzati per raccogliere i bucket nell'esempio MovieStream. Per ulteriori dettagli sulla creazione di pattern di nomi file, vedere Raccolta dei file di storage degli oggetti come entità di dati logiche.

      Stile Hive	Stile cartella
      {bucketName:.*}/{logicalEntity:[^/]+}.db/{logicalEntity:[^/]+}/.*	{bucketName:[\w]+}/{logicalEntity:[^/]+}(?<!.db)/.*$
      Crea entità logiche per le origini che contengono ".db" come prima parte del nome oggetto. Per garantire l'univocità all'interno del bucket, il nome risultante è (nome-db).(nome della cartella)	Crea un'entità logica in base al nome della cartella al di fuori della radice Per impedire la duplicazione con Hive, i nomi oggetto che contengono ".db" vengono ignorati.

   2. Per creare i pattern di nomi file, andare alla scheda Pattern di nomi file del Data Catalog e fare clic su Crea pattern di nomi file. Ad esempio, la scheda Crea pattern di nomi file per il Data Catalog moviestream è la seguente:
3. Data Catalog - Creazione asset dati
   1. Creare un asset dati utilizzato per raccogliere dati dall'area di memorizzazione degli oggetti.
      Ad esempio, un asset dati denominato phoenixObjStore viene creato nel Data Catalog moviestream:
   2. Aggiungere una connessione all'asset dati.
      In questo esempio, l'asset dati si connette al compartimento per la risorsa di storage degli oggetti moviestream.
   3. A questo punto, associa i pattern di nomi file all'asset dati. Selezionare Assign Filenames, selezionare i pattern desiderati e fare clic su Assign.
      Di seguito, ad esempio, sono riportati i pattern assegnati all'asset dati phoenixObjStore:
      Descrizione dell'immagine assign_filename_patterns_v1.png
4. Data Catalog - Raccogli dati dall'area di memorizzazione degli oggetti
   1. Raccogliere l'asset dati del Data Catalog. Selezionare i bucket dell'area di memorizzazione degli oggetti contenenti i dati di origine.
      In questo esempio, i bucket moviestream_gold e moviestream_landing dell'area di memorizzazione degli oggetti vengono selezionati per la raccolta.
   2. Dopo aver eseguito il job, vengono visualizzate le entità logiche. Utilizzare la Sfoglia asset dati per esaminarli.
      In questo esempio si sta esaminando l'entità logica customer-extension e i relativi attributi.

      Se si dispone di un glossario, Data Catalog consiglia di associare categorie e termini all'entità e ai relativi attributi. Fornisce un contesto aziendale per gli articoli. Schemi, tabelle e colonne spesso non sono autoesplicativi.

      Nel nostro esempio, vogliamo distinguere tra i diversi tipi di bucket e il significato del loro contenuto:

      • Cos'è una landing zone?
      • Quanto sono precisi i dati?
      • quando è stato effettuato l'ultimo aggiornamento?
      • qual è la definizione di un'entità logica o il suo attributo
5. Autonomous Database - Connessione a Data Catalog

   Connettere Autonomous Database a Data Catalog. È necessario assicurarsi che la credenziale utilizzata per stabilire tale connessione utilizzi un principal OCI autorizzato ad accedere all'asset Data Catalog. Per ulteriori informazioni, vedere Criteri di Data Catalog e Accedi alle risorse cloud mediante la configurazione di criteri e ruoli.

   1. Connetti a Data Catalog

      -- Variables are used to simplify usage later
      define oci_credential = 'OCI$RESOURCE_PRINCIPAL'
      define dcat_ocid = 'ocid1.datacatalog.oc1.iad.aaaaaaaardp66bg....twiq'
      define dcat_region='us-ashburn-1'
      define uri_root =    'https://objectstorage.us-ashburn-1.oraclecloud.com/n/mytenancy/b/landing/o'
      define uri_private = 'https://objectstorage.us-ashburn-1.oraclecloud.com/n/mytenancy/b/private_data/o'
      
      -- Run as admin
      -------
      -- Enable resource principal support
      -------
      exec dbms_cloud_admin.enable_resource_principal();
      
      -- Test to make sure credential was created. Returns a row if it was successful
      select * 
      from dba_credentials 
      where credential_name = 'OCI$RESOURCE_PRINCIPAL' and owner = 'ADMIN'; 
      
      -- Query a private bucket to test the principal and privileges.
      select * 
      from dbms_cloud.list_objects('&oci_credential', '&uri_private/');
      
      --------
      -- Set the credentials to use for object store and data catalog
      -- Connect to Data Catalog
      -- Review connection
      ---------
      -- Set credentials
      exec dbms_dcat.set_data_catalog_credential(credential_name => '&oci_credential');
      exec dbms_dcat.set_object_store_credential(credential_name => '&oci_credential');
      
      -- Connect to Data Catalog
      begin
         dbms_dcat.set_data_catalog_conn (
           region => '&dcat_region',
           catalog_id => '&dcat_ocid');
      end;
      /
      -- Review the connection
      select * from all_dcat_connections;
      

   2. Sincronizza Data Catalog con Autonomous Database. Qui, sincronizzeremo tutti gli asset di storage degli oggetti:

      
      -- Sync Data Catalog with Autonomous Database
      ---- Let's sync all of the assets.
      begin
       dbms_dcat.run_sync('{"asset_list":["*"]}');
      end;
      /
      
      -- View log
      select type, start_time, status, logfile_table from user_load_operations;  -- Logfile_Table will have the name of the table containing the full log.
      select * from dbms_dcat$1_log;
      
      -- View the new external tables
      select * from dcat_entities;
      select * from dcat_attributes;
      
      

   3. Autonomous Database: ora avvia l'esecuzione delle query sull'area di memorizzazione degli oggetti.

      -- Query the Data !
      select *from dcat$phoenixobjstore_moviestream_gold.genre
      ;

6. Modifica schemi per oggetti

   I nomi di schema predefiniti sono piuttosto complicati. Semplifichiamoli specificando sia l'asset che l'attributo personalizzato Oracle-Db-Schema della cartella in Data Catalog. Modificare l'asset dati in PHX e le cartelle rispettivamente in landing e gold. Lo schema è una concatenazione dei due.

   1. Da Data Catalog, passare al bucket moviestream_landing e modificare l'asset rispettivamente in landing e gold.

      Prima della modifica:

      Dopo la modifica:

   2. Eseguire un'altra sincronizzazione.

Questo scenario illustra come creare tabelle esterne in Autonomous Database basate sulle entità logiche di Data Catalog raccolte dai dati partizionati nell'area di memorizzazione degli oggetti.

1. Area di memorizzazione oggetti - Rivedi bucket, cartelle e file
   1. Rivedere i bucket nell'area di memorizzazione degli oggetti.
      Ad esempio, di seguito sono riportati i bucket di destinazione (moviestream_landing) e zona finale (moviestream_gold) nello storage degli oggetti:
   2. Rivedere le cartelle e i file nei bucket dell'area di memorizzazione degli oggetti.
      Di seguito, ad esempio, sono riportate le cartelle nel bucket di destinazione (moviestream_landing) nello storage degli oggetti.
2. Data Catalog - Crea pattern di nomi file
   1. Informa Data Catalog in che modo i dati vengono organizzati utilizzando i pattern di nomi file. Si tratta di prefissi di cartelle o espressioni regolari utilizzate per categorizzare i file. I pattern di nomi file vengono utilizzati dallo strumento di raccolta Data Catalog per derivare entità logiche. Quando si specifica un prefisso di cartella, Data Catalog genera automaticamente entità logiche dal prefisso di cartella specificato nell'area di memorizzazione degli oggetti. Il seguente pattern di nomi file viene utilizzato per raccogliere i bucket nell'esempio MovieStream. Per ulteriori dettagli sulla creazione di pattern di nomi file, vedere Raccolta dei file di storage degli oggetti come entità di dati logiche.

      Prefisso cartella	descrizione;
      workshop.db/	Crea entità logiche per le origini che contengono il percorso "workshop.db" nell'area di memorizzazione degli oggetti.

   2. Per creare i pattern di nomi file, andare alla scheda Pattern di nomi file del Data Catalog e fare clic su Crea pattern di nomi file. Ad esempio, la scheda Crea pattern di nomi file per il Data Catalog moviestream è la seguente:
3. Data Catalog - Creazione asset dati
   1. Creare un asset dati utilizzato per raccogliere dati dall'area di memorizzazione degli oggetti.
      Ad esempio, un asset dati denominato amsterdamObjStore viene creato nel Data Catalog moviestream:
   2. Aggiungere una connessione all'asset dati.
      In questo esempio, l'asset dati si connette al compartimento per la risorsa di storage degli oggetti moviestream.
   3. A questo punto, associa i pattern di nomi file all'asset dati. Selezionare Assign Filenames, selezionare i pattern desiderati e fare clic su Assign.
      Di seguito, ad esempio, sono riportati i pattern assegnati all'asset dati amsterdamObjStore.
4. Data Catalog - Raccogli dati dall'area di memorizzazione degli oggetti
   1. Raccogliere l'asset dati del Data Catalog. Selezionare i bucket dell'area di memorizzazione degli oggetti contenenti i dati di origine.
      In questo esempio, i bucket moviestream_gold e moviestream_landing dell'area di memorizzazione degli oggetti vengono selezionati per la raccolta.
   2. Dopo aver eseguito il job, vengono visualizzate le entità logiche. Utilizzare la Sfoglia asset dati per esaminarli.
      In questo esempio si sta esaminando l'entità logica sales_sample_parquet e i relativi attributi. Data Catalog ha identificato l'attributo month come partizionato.
5. Autonomous Database - Connessione a Data Catalog

   Connettere Autonomous Database a Data Catalog. È necessario assicurarsi che la credenziale utilizzata per stabilire tale connessione utilizzi un principal OCI autorizzato ad accedere all'asset Data Catalog. Per ulteriori informazioni, vedere Criteri di Data Catalog e Accedi alle risorse cloud mediante la configurazione di criteri e ruoli.

   1. Connetti a Data Catalog

      -- Variables are used to simplify usage later
      define oci_credential = 'OCI$RESOURCE_PRINCIPAL'
      define dcat_ocid = 'ocid1.datacatalog.oc1.eu-amsterdam-1....leguurn3dmqa'
      define dcat_region='eu-amsterdam-1'
      define uri_root =    'https://objectstorage.us-ashburn-1.oraclecloud.com/n/mytenancy/b/landing/o'
      define uri_private = 'https://objectstorage.us-ashburn-1.oraclecloud.com/n/mytenancy/b/private_data/o'
      
      -- Run as admin
      -------
      -- Enable resource principal support
      -------
      exec dbms_cloud_admin.enable_resource_principal();
      
      -- Test to make sure credential was created. Returns a row if it was successful
      select * 
      from dba_credentials 
      where credential_name = 'OCI$RESOURCE_PRINCIPAL' and owner = 'ADMIN'; 
      
      -- Query a private bucket to test the principal and privileges.
      select * 
      from dbms_cloud.list_objects('&oci_credential', '&uri_private/');
      
      --------
      -- Set the credentials to use for object store and data catalog
      -- Connect to Data Catalog
      -- Review connection
      ---------
      -- Set credentials
      exec dbms_dcat.set_data_catalog_credential(credential_name => '&oci_credential');
      exec dbms_dcat.set_object_store_credential(credential_name => '&oci_credential');
      
      -- Connect to Data Catalog
      begin
         dbms_dcat.set_data_catalog_conn (
           region => '&dcat_region',
           catalog_id => '&dcat_ocid');
      end;
      /
      -- Review the connection
      select * from all_dcat_connections;
      

   2. Sincronizza Data Catalog con Autonomous Database. Qui, sincronizzeremo tutti gli asset di storage degli oggetti:

      
      -- Sync Data Catalog with Autonomous Database
      ---- Let's sync all of the assets.
      begin
       dbms_dcat.run_sync('{"asset_list":["*"]}');
      end;
      /
      
      -- View log
      select type, start_time, status, logfile_table from user_load_operations;  -- Logfile_Table will have the name of the table containing the full log.
      select * from dbms_dcat$1_log;
      
      -- View the new external tables
      select * from dcat_entities;
      select * from dcat_attributes;
      
      

   3. Autonomous Database: ora avvia l'esecuzione delle query sull'area di memorizzazione degli oggetti.

      -- Query the Data !
      select count(*) from DCAT$AMSTERDAMOBJSTORE_MOVIESTREAM_LANDING.SALES_SAMPLE_PARQUET;
      
      -- Examine the generated partitioned table
      select dbms_metadata.get_ddl('TABLE','SALES_SAMPLE_PARQUET','DCAT$AMSTERDAMOBJSTORE_MOVIESTREAM_LANDING') from dual;
      
      CREATE TABLE "DCAT$AMSTERDAMOBJSTORE_MOVIESTREAM_LANDING"."SALES_SAMPLE_PARQUET"
      (    "MONTH" VARCHAR2(4000) COLLATE "USING_NLS_COMP",
           "DAY_ID" TIMESTAMP (6),
           "GENRE_ID" NUMBER(20,0),
           "MOVIE_ID" NUMBER(20,0),
           "CUST_ID" NUMBER(20,0),
      ...
      )  DEFAULT COLLATION "USING_NLS_COMP"
      ORGANIZATION EXTERNAL
       ( TYPE ORACLE_BIGDATA
         ACCESS PARAMETERS
         ( com.oracle.bigdata.fileformat=parquet
           com.oracle.bigdata.filename.columns=["MONTH"]
           com.oracle.bigdata.file_uri_list="https://swiftobjectstorage.eu-amsterdam-1.oraclecloud.com/v1/tenancy/moviestream_landing/workshop.db/sales_sample_parquet/*"
      ...
         )
       )
      REJECT LIMIT 0
      PARTITION BY LIST ("MONTH")
      (PARTITION "P1"  VALUES (('2019-01'))
         LOCATION ( 'https://swiftobjectstorage.eu-amsterdam-1.oraclecloud.com/v1/tenancy/moviestream_landing/workshop.db/sales_sample_parquet/month=2019-01/*'),
      PARTITION "P2"  VALUES (('2019-02'))
         LOCATION ( 'https://swiftobjectstorage.eu-amsterdam-1.oraclecloud.com/v1/tenancy/moviestream_landing/workshop.db/sales_sample_parquet/month=2019-02/*'),
      ...PARTITION "P24"  VALUES (('2020-12'))
         LOCATION ( 'https://swiftobjectstorage.eu-amsterdam-1.oraclecloud.com/v1/tenancy/moviestream_landing/workshop.db/sales_sample_parquet/month=2020-12/*'))
      PARALLEL

6. Modifica schemi per oggetti

   I nomi di schema predefiniti sono piuttosto complicati. Semplifichiamoli specificando sia l'asset che l'attributo personalizzato Oracle-Db-Schema della cartella in Data Catalog. Modificare l'asset dati in PHX e le cartelle rispettivamente in landing e gold. Lo schema è una concatenazione dei due.

   1. Da Data Catalog, passare al bucket moviestream_landing e modificare l'asset rispettivamente in landing e gold.

      Prima della modifica:

      Dopo la modifica:

   2. Eseguire un'altra sincronizzazione.