Interroga dati esterni con Data Catalog

Grazie alla sincronizzazione con i metadati di Data Catalog, Autonomous Database crea automaticamente tabelle esterne per ogni entità logica raccolta da Data Catalog. Queste tabelle esterne vengono definite negli schemi di database completamente gestiti dal processo di sincronizzazione dei metadati. Gli utenti possono eseguire immediatamente query sui dati senza dover derivare manualmente lo schema (colonne e tipi di dati) per le origini dati esterne e creare manualmente tabelle esterne.

La sincronizzazione è dinamica e mantiene aggiornato Autonomous Database rispetto alle modifiche ai dati di base, riducendo i costi di amministrazione in quanto mantiene automaticamente da centinaia a migliaia di tabelle. Inoltre, consente a più istanze di Autonomous Database di condividere lo stesso Data Catalog, riducendo ulteriormente i costi di gestione e fornendo un set comune di definizioni aziendali.

Le cartelle/bucket di Data Catalog sono contenitori che si sincronizzano con gli schemi di Autonomous Database. Le entità logiche all'interno di tali cartelle/bucket sono mappate alle tabelle esterne di Autonomous Database. Questi schemi e tabelle esterne vengono generati e gestiti automaticamente tramite il processo di sincronizzazione:

• Cartelle/bucket mappano agli schemi di database solo a scopo organizzativo.
• L'organizzazione deve essere coerente con il data lake e ridurre al minimo la confusione quando si accede ai dati attraverso percorsi diversi.
• Data Catalog è l'origine delle informazioni affidabili per le tabelle contenute negli schemi. Le modifiche apportate in Data Catalog aggiornano le tabelle dello schema durante una sincronizzazione successiva.

Per utilizzare questa funzionalità, un amministratore di Database Data Catalog avvia una connessione a un'istanza di Data Catalog, seleziona gli asset dati e le entità logiche da sincronizzare ed esegue la sincronizzazione. Il processo di sincronizzazione crea schemi e tabelle esterne in base agli asset dati e alle entità logiche raccolti da Data Catalog selezionati. Non appena vengono create le tabelle esterne, gli analisti dati possono iniziare a eseguire query sui propri dati senza dover derivare manualmente lo schema per le origini dati esterne e creare tabelle esterne.

Per eseguire query con Data Catalog è necessaria una comprensione dei concetti riportati di seguito.

Data Catalogo

Data Catalog raccoglie gli asset dati che puntano alle origini dati dell'area di memorizzazione degli oggetti di cui si desidera eseguire query con Autonomous Database. Da Data Catalog è possibile specificare la modalità di organizzazione dei dati durante la raccolta, supportando diversi pattern di organizzazione dei file. Nell'ambito del processo di raccolta di Data Catalog, è possibile selezionare i bucket e i file che si desidera gestire all'interno dell'asset. Per ulteriori informazioni, vedere Panoramica di Data Catalog.

Aree di memorizzazione degli oggetti

I negozi oggetto dispongono di bucket contenenti una varietà di oggetti. Alcuni tipi comuni di oggetti trovati in questi bucket includono: file CSV, parquet, avro, json e ORC. I bucket hanno generalmente una struttura o un modello di progettazione per gli oggetti che contengono. Ci sono molti modi diversi per strutturare i dati e molti modi diversi di interpretare questi modelli.

Ad esempio, un tipico motivo di progettazione utilizza cartelle di livello superiore che rappresentano tabelle. I file all'interno di una determinata cartella condividono lo stesso schema e contengono dati per tale tabella. Le sottocartelle vengono spesso utilizzate per rappresentare le partizioni di tabella (ad esempio, una sottocartella per ogni giorno). Data Catalog si riferisce a ogni cartella di livello superiore come entità logica e questa entità logica viene mappata a una tabella esterna di Autonomous Database.

Connessione

Una connessione è una connessione Autonomous Database a un'istanza di Data Catalog. Per ogni istanza di Autonomous Database possono esserci connessioni a più istanze di Data Catalog. La credenziale Autonomous Database deve disporre dei diritti per accedere agli asset di Data Catalog che sono stati raccolti dallo storage degli oggetti.

Raccolta

Processo di Data Catalog che esegue la scansione dello storage degli oggetti e genera le entità logiche dai data set.

Asset dati

Un asset dati in Data Catalog rappresenta un'origine dati, che include database, storage degli oggetti Oracle, Kafka e altro ancora. Autonomous Database utilizza gli asset di storage degli oggetti Oracle per la sincronizzazione dei metadati.

Entità dati

Un'entità dati in Data Catalog è una raccolta di dati, ad esempio una tabella o una vista di database, o un singolo file e in genere dispone di molti attributi che ne descrivono i dati.

Entità logica

In Data Lakes, numerosi file in genere comprendono una singola entità logica. Ad esempio, è possibile disporre di file clickstream giornalieri che condividono lo stesso schema e lo stesso tipo di file.

Un'entità logica di Data Catalog è un gruppo di file di storage degli oggetti derivati durante la raccolta mediante l'applicazione di pattern di nomi file creati e assegnati a un asset dati.

Oggetto dati

Un oggetto dati in Data Catalog fa riferimento ad asset dati ed entità dati.

Pattern nomi file

In un data lake, i dati possono essere organizzati in modi diversi. In genere, le cartelle acquisiscono file dello stesso schema e tipo. È necessario registrarsi a Data Catalog per organizzare i dati. I pattern di nomi file vengono utilizzati per identificare la modalità di organizzazione dei dati. In Data Catalog è possibile definire pattern di nomi file utilizzando espressioni regolari. Quando Data Catalog raccoglie un asset dati con un pattern di nomi file assegnato, le entità logiche vengono create in base al pattern di nomi file. Definendo e assegnando questi pattern agli asset dati, è possibile raggruppare più file come entità logiche in base al pattern di nomi file.

Sincronizza (Sincronizza)

Autonomous Database esegue sincronizzazioni con Data Catalog per mantenere automaticamente aggiornato il proprio database in relazione alle modifiche ai dati di base. La sincronizzazione può essere eseguita manualmente o in base a una pianificazione.

Il processo di sincronizzazione crea schemi e tabelle esterne in base agli asset dati e alle entità logiche di Data Catalog. Questi schemi sono protetti, il che significa che i relativi metadati sono gestiti da Data Catalog. Se si desidera modificare i metadati, è necessario apportare le modifiche in Data Catalog. Gli schemi di Autonomous Database rifletteranno eventuali modifiche dopo l'esecuzione della sincronizzazione successiva. Per ulteriori dettagli, vedere Mapping sincronizzazione.

Il processo di sincronizzazione crea e aggiorna gli schemi e le tabelle esterne di Autonomous Database in base agli asset di dati di Data Catalog, alle cartelle, alle entità logiche, agli attributi e alle sostituzioni personalizzate pertinenti.

Esiste un flusso di lavoro tipico di azioni eseguite dagli utenti che desiderano eseguire query con Data Catalog.

select * from all_dcat_connections;

In questo scenario, Moviestream acquisisce i dati in una zona di destinazione nello storage degli oggetti. Gran parte di questi dati, ma non necessariamente tutti, vengono quindi utilizzati per alimentare un Autonomous Database. Prima di alimentare Autonomous Database, i dati vengono trasformati, puliti e successivamente memorizzati nell'area "oro".

1. Area di memorizzazione degli oggetti - Rivedi bucket, cartelle e file
   1. Rivedere i bucket nell'area di memorizzazione degli oggetti.
      Di seguito, ad esempio, sono riportati i bucket di destinazione (moviestream_landing) e zona finale (moviestream_gold) nello storage degli oggetti.
   2. Rivedere le cartelle e i file nei bucket dell'area di memorizzazione degli oggetti.
      Di seguito sono riportate, ad esempio, le cartelle nel bucket di destinazione (moviestream_landing) nello storage degli oggetti.
2. Data Catalog - Crea pattern di nomi file
   1. Informa Data Catalog su come vengono organizzati i dati utilizzando pattern di nomi file. Si tratta di espressioni regolari utilizzate per classificare i file. I pattern di nomi file vengono utilizzati dal raccoglitore Data Catalog per derivare le entità logiche. I due pattern di nomi file seguenti vengono utilizzati per raccogliere i bucket nell'esempio MovieStream. Per ulteriori dettagli sulla creazione di pattern di nomi file, vedere Raccolta di file di storage degli oggetti come entità dati logiche.

      Stile Hive	Stile cartella
      {bucketName:.*}/{logicalEntity:[^/]+}.db/{logicalEntity:[^/]+}/.*	{bucketName:[\w]+}/{logicalEntity:[^/]+}(?<!.db)/.*$
      Crea entità logiche per le origini che contengono ".db" come prima parte del nome oggetto. Per garantire l'univocità all'interno del bucket, il nome risultante è (db-name). (nome della cartella)	Crea un'entità logica basata sul nome della cartella al di fuori della radice Per evitare la duplicazione con Hive, i nomi oggetto che contengono ".db" vengono ignorati.

   2. Per creare pattern di nomi file, andare alla scheda Pattern di nomi file del Data Catalog e fare clic su Crea pattern di nomi file. Ad esempio, la scheda Crea pattern di nomi file per il Data Catalog moviestream è la seguente:
3. Data Catalog - Creazione asset dati
   1. Creare un asset dati utilizzato per raccogliere dati dall'area di memorizzazione degli oggetti.
      Ad esempio, un asset dati denominato phoenixObjStore viene creato nel Data Catalog moviestream:
   2. Aggiungere una connessione all'asset dati.
      In questo esempio, l'asset dati si connette al compartimento per la risorsa di storage degli oggetti moviestream.
   3. Ora, associa i pattern di nomi file all'asset dati. Selezionare Assegna pattern di nomi file, selezionare i pattern desiderati e fare clic su Assegna.
      Ad esempio, di seguito sono riportati i pattern assegnati all'asset dati phoenixObjStore:
      Descrizione dell'immagine assign_filename_patterns_v1.png
4. Data Catalog - Raccogli dati dall'area di memorizzazione degli oggetti
   1. Raccogliere l'asset dati di Data Catalog. Selezionare i bucket dell'area di memorizzazione degli oggetti contenenti i dati di origine.
      In questo esempio, i bucket moviestream_gold e moviestream_landing dell'area di memorizzazione degli oggetti vengono selezionati per la raccolta.
   2. Dopo aver eseguito il job, vengono visualizzate le entità logiche. Utilizzare Sfoglia asset dati per esaminarli.
      In questo esempio vengono esaminati l'entità logica customer-extension e i relativi attributi.

      Se si dispone di un glossario, Data Catalog consiglia le categorie e i termini da associare all'entità e ai relativi attributi. Fornisce un contesto aziendale per gli articoli. Schemi, tabelle e colonne non sono spesso autoesplicativi.

      Nel nostro esempio, vogliamo distinguere tra i diversi tipi di bucket e il significato del loro contenuto:

      • Cos'è una landing zone?
      • quanto sono accurati i dati?
      • quando è stato eseguito l'ultimo aggiornamento?
      • definizione di un'entità logica o del relativo attributo
5. Autonomous Database - Connessione al Data Catalog

   Connettere Autonomous Database a Data Catalog. È necessario assicurarsi che la credenziale utilizzata per rendere tale connessione utilizzi un principal OCI autorizzato ad accedere all'asset Data Catalog. Per ulteriori informazioni, vedere Criteri di Data Catalog e Accedi alle risorse cloud mediante la configurazione di criteri e ruoli.

   1. Connetti a Data Catalog

      -- Variables are used to simplify usage later
      define oci_credential = 'OCI$RESOURCE_PRINCIPAL'
      define dcat_ocid = 'ocid1.datacatalog.oc1.iad.aaaaaaaardp66bg....twiq'
      define dcat_region='us-ashburn-1'
      define uri_root =    'https://objectstorage.us-ashburn-1.oraclecloud.com/n/mytenancy/b/landing/o'
      define uri_private = 'https://objectstorage.us-ashburn-1.oraclecloud.com/n/mytenancy/b/private_data/o'
      
      -- Run as admin
      -------
      -- Enable resource principal support
      -------
      exec dbms_cloud_admin.enable_resource_principal();
      
      -- Test to make sure credential was created. Returns a row if it was successful
      select * 
      from dba_credentials 
      where credential_name = 'OCI$RESOURCE_PRINCIPAL' and owner = 'ADMIN'; 
      
      -- Query a private bucket to test the principal and privileges.
      select * 
      from dbms_cloud.list_objects('&oci_credential', '&uri_private/');
      
      --------
      -- Set the credentials to use for object store and data catalog
      -- Connect to Data Catalog
      -- Review connection
      ---------
      -- Set credentials
      exec dbms_dcat.set_data_catalog_credential(credential_name => '&oci_credential');
      exec dbms_dcat.set_object_store_credential(credential_name => '&oci_credential');
      
      -- Connect to Data Catalog
      begin
         dbms_dcat.set_data_catalog_conn (
           region => '&dcat_region',
           catalog_id => '&dcat_ocid');
      end;
      /
      -- Review the connection
      select * from all_dcat_connections;
      

   2. Sincronizza Data Catalog con Autonomous Database. Qui, sincronizzeremo tutti gli asset di storage degli oggetti:

      
      -- Sync Data Catalog with Autonomous Database
      ---- Let's sync all of the assets.
      begin
       dbms_dcat.run_sync('{"asset_list":["*"]}');
      end;
      /
      
      -- View log
      select type, start_time, status, logfile_table from user_load_operations;  -- Logfile_Table will have the name of the table containing the full log.
      select * from dbms_dcat$1_log;
      
      -- View the new external tables
      select * from dcat_entities;
      select * from dcat_attributes;
      
      

   3. Autonomous Database - Ora inizia a eseguire query sull'area di memorizzazione degli oggetti.

      -- Query the Data !
      select *from dcat$phoenixobjstore_moviestream_gold.genre
      ;

6. Modifica schemi per gli oggetti

   I nomi di schema predefiniti sono piuttosto complessi. Semplificarli specificando sia l'asset che l'attributo personalizzato Oracle-Db-Schema della cartella in Data Catalog. Modificare l'asset dati in PHX e le cartelle in landing e gold rispettivamente. Lo schema è una concatenazione dei due.

   1. Da Data Catalog, passare al bucket moviestream_landing e modificare l'asset rispettivamente in landing e gold.

      Prima della modifica:

      Dopo la modifica:

   2. Eseguire un'altra sincronizzazione.

Questo scenario illustra come creare tabelle esterne in Autonomous Database basate sulle entità logiche di Data Catalog raccolte dai dati partizionati nell'area di memorizzazione degli oggetti.

1. Area di memorizzazione degli oggetti - Rivedi bucket, cartelle e file
   1. Rivedere i bucket nell'area di memorizzazione degli oggetti.
      Di seguito, ad esempio, sono riportati i bucket di destinazione (moviestream_landing) e zona finale (moviestream_gold) nello storage degli oggetti.
   2. Rivedere le cartelle e i file nei bucket dell'area di memorizzazione degli oggetti.
      Di seguito sono riportate, ad esempio, le cartelle nel bucket di destinazione (moviestream_landing) nello storage degli oggetti.
2. Data Catalog - Crea pattern di nomi file
   1. Informa Data Catalog su come vengono organizzati i dati utilizzando pattern di nomi file. Si tratta di prefissi di cartelle o espressioni regolari utilizzate per categorizzare i file. I pattern di nomi file vengono utilizzati dal raccoglitore Data Catalog per derivare le entità logiche. Quando viene specificato un prefisso di cartella, Data Catalog genera automaticamente entità logiche dal prefisso di cartella specificato nell'area di memorizzazione degli oggetti. Il seguente pattern di nomi file viene utilizzato per raccogliere i bucket nell'esempio MovieStream. Per ulteriori dettagli sulla creazione di pattern di nomi file, vedere Raccolta di file di storage degli oggetti come entità dati logiche.

      Prefisso cartella	Descrizione
      workshop.db/	Crea entità logiche per le origini che contengono il percorso "workshop.db" nell'area di memorizzazione degli oggetti.

   2. Per creare pattern di nomi file, andare alla scheda Pattern di nomi file del Data Catalog e fare clic su Crea pattern di nomi file. Ad esempio, la scheda Crea pattern di nomi file per il Data Catalog moviestream è la seguente:
3. Data Catalog - Creazione asset dati
   1. Creare un asset dati utilizzato per raccogliere dati dall'area di memorizzazione degli oggetti.
      Ad esempio, un asset dati denominato amsterdamObjStore viene creato nel Data Catalog moviestream:
   2. Aggiungere una connessione all'asset dati.
      In questo esempio, l'asset dati si connette al compartimento per la risorsa di storage degli oggetti moviestream.
   3. Ora, associa i pattern di nomi file all'asset dati. Selezionare Assegna pattern di nomi file, selezionare i pattern desiderati e fare clic su Assegna.
      Di seguito sono riportati, ad esempio, i pattern assegnati all'asset dati amsterdamObjStore.
4. Data Catalog - Raccogli dati dall'area di memorizzazione degli oggetti
   1. Raccogliere l'asset dati di Data Catalog. Selezionare i bucket dell'area di memorizzazione degli oggetti contenenti i dati di origine.
      In questo esempio, i bucket moviestream_gold e moviestream_landing dell'area di memorizzazione degli oggetti vengono selezionati per la raccolta.
   2. Dopo aver eseguito il job, vengono visualizzate le entità logiche. Utilizzare Sfoglia asset dati per esaminarli.
      In questo esempio vengono esaminati l'entità logica sales_sample_parquet e i relativi attributi. Si noti che Data Catalog ha identificato l'attributo month come partizionato.
5. Autonomous Database - Connessione al Data Catalog

   Connettere Autonomous Database a Data Catalog. È necessario assicurarsi che la credenziale utilizzata per rendere tale connessione utilizzi un principal OCI autorizzato ad accedere all'asset Data Catalog. Per ulteriori informazioni, vedere Criteri di Data Catalog e Accedi alle risorse cloud mediante la configurazione di criteri e ruoli.

   1. Connetti a Data Catalog

      -- Variables are used to simplify usage later
      define oci_credential = 'OCI$RESOURCE_PRINCIPAL'
      define dcat_ocid = 'ocid1.datacatalog.oc1.eu-amsterdam-1....leguurn3dmqa'
      define dcat_region='eu-amsterdam-1'
      define uri_root =    'https://objectstorage.us-ashburn-1.oraclecloud.com/n/mytenancy/b/landing/o'
      define uri_private = 'https://objectstorage.us-ashburn-1.oraclecloud.com/n/mytenancy/b/private_data/o'
      
      -- Run as admin
      -------
      -- Enable resource principal support
      -------
      exec dbms_cloud_admin.enable_resource_principal();
      
      -- Test to make sure credential was created. Returns a row if it was successful
      select * 
      from dba_credentials 
      where credential_name = 'OCI$RESOURCE_PRINCIPAL' and owner = 'ADMIN'; 
      
      -- Query a private bucket to test the principal and privileges.
      select * 
      from dbms_cloud.list_objects('&oci_credential', '&uri_private/');
      
      --------
      -- Set the credentials to use for object store and data catalog
      -- Connect to Data Catalog
      -- Review connection
      ---------
      -- Set credentials
      exec dbms_dcat.set_data_catalog_credential(credential_name => '&oci_credential');
      exec dbms_dcat.set_object_store_credential(credential_name => '&oci_credential');
      
      -- Connect to Data Catalog
      begin
         dbms_dcat.set_data_catalog_conn (
           region => '&dcat_region',
           catalog_id => '&dcat_ocid');
      end;
      /
      -- Review the connection
      select * from all_dcat_connections;
      

   2. Sincronizza Data Catalog con Autonomous Database. Qui, sincronizzeremo tutti gli asset di storage degli oggetti:

      
      -- Sync Data Catalog with Autonomous Database
      ---- Let's sync all of the assets.
      begin
       dbms_dcat.run_sync('{"asset_list":["*"]}');
      end;
      /
      
      -- View log
      select type, start_time, status, logfile_table from user_load_operations;  -- Logfile_Table will have the name of the table containing the full log.
      select * from dbms_dcat$1_log;
      
      -- View the new external tables
      select * from dcat_entities;
      select * from dcat_attributes;
      
      

   3. Autonomous Database - Ora inizia a eseguire query sull'area di memorizzazione degli oggetti.

      -- Query the Data !
      select count(*) from DCAT$AMSTERDAMOBJSTORE_MOVIESTREAM_LANDING.SALES_SAMPLE_PARQUET;
      
      -- Examine the generated partitioned table
      select dbms_metadata.get_ddl('TABLE','SALES_SAMPLE_PARQUET','DCAT$AMSTERDAMOBJSTORE_MOVIESTREAM_LANDING') from dual;
      
      CREATE TABLE "DCAT$AMSTERDAMOBJSTORE_MOVIESTREAM_LANDING"."SALES_SAMPLE_PARQUET"
      (    "MONTH" VARCHAR2(4000) COLLATE "USING_NLS_COMP",
           "DAY_ID" TIMESTAMP (6),
           "GENRE_ID" NUMBER(20,0),
           "MOVIE_ID" NUMBER(20,0),
           "CUST_ID" NUMBER(20,0),
      ...
      )  DEFAULT COLLATION "USING_NLS_COMP"
      ORGANIZATION EXTERNAL
       ( TYPE ORACLE_BIGDATA
         ACCESS PARAMETERS
         ( com.oracle.bigdata.fileformat=parquet
           com.oracle.bigdata.filename.columns=["MONTH"]
           com.oracle.bigdata.file_uri_list="https://swiftobjectstorage.eu-amsterdam-1.oraclecloud.com/v1/tenancy/moviestream_landing/workshop.db/sales_sample_parquet/*"
      ...
         )
       )
      REJECT LIMIT 0
      PARTITION BY LIST ("MONTH")
      (PARTITION "P1"  VALUES (('2019-01'))
         LOCATION ( 'https://swiftobjectstorage.eu-amsterdam-1.oraclecloud.com/v1/tenancy/moviestream_landing/workshop.db/sales_sample_parquet/month=2019-01/*'),
      PARTITION "P2"  VALUES (('2019-02'))
         LOCATION ( 'https://swiftobjectstorage.eu-amsterdam-1.oraclecloud.com/v1/tenancy/moviestream_landing/workshop.db/sales_sample_parquet/month=2019-02/*'),
      ...PARTITION "P24"  VALUES (('2020-12'))
         LOCATION ( 'https://swiftobjectstorage.eu-amsterdam-1.oraclecloud.com/v1/tenancy/moviestream_landing/workshop.db/sales_sample_parquet/month=2020-12/*'))
      PARALLEL

6. Modifica schemi per gli oggetti

   I nomi di schema predefiniti sono piuttosto complessi. Semplificarli specificando sia l'asset che l'attributo personalizzato Oracle-Db-Schema della cartella in Data Catalog. Modificare l'asset dati in PHX e le cartelle in landing e gold rispettivamente. Lo schema è una concatenazione dei due.

   1. Da Data Catalog, passare al bucket moviestream_landing e modificare l'asset rispettivamente in landing e gold.

      Prima della modifica:

      Dopo la modifica:

   2. Eseguire un'altra sincronizzazione.