Gestisci cataloghi
È ora possibile abilitare più cataloghi utilizzando lo strumento Catalogo.
È possibile eseguire il MOUNT di cataloghi aggiuntivi da altri database autonomi nella stessa tenancy, in modo da poter cercare i dati in più database.
Eseguire il MOUNT di Autonomous Database come catalogo
Verrà utilizzato un Autonomous Database esistente per creare un database link e fornire il nome del catalogo per eseguirne il MOUNT.
Per eseguire il MOUNT di un Autonomous Database come catalogo, è necessario disporre dei privilegi di sistema CREATE DATABASE LINK
e CREATE ANY DIRECTORY
. All'utente ADMIN vengono concessi i privilegi di sistema CREATE DATABASE LINK
e CREATE ANY DIRECTORY
. L'utente ADMIN può concedere ad altri utenti i privilegi di sistema CREATE DATABASE LINK
e CREATE ANY DIRECTORY
.
- Memorizzare le credenziali di storage degli oggetti in Autonomous Database
- Creare un database link o utilizzare un database link esistente
- Esegui MOUNT del database link come catalogo
-
Nella pagina Catalogo selezionare Gestisci catalogo. Fare clic su +Add.
- Nella pagina Aggiungi catalogo selezionare Autonomous Database come origine del catalogo.
- Selezionare Nome database dall'elenco a discesa. ad esempio TESTING.
- Dopo aver selezionato il nome del database, è possibile visualizzare i campi riportati di seguito. Specificare i seguenti valori di campo:
- Nome catalogo: immettere il nome del catalogo con cui si desidera eseguire il MOUNT del database link. ad esempio TESTING.
- Nome database link: immettere il nome del database link creato dallo strumento utilizzando il database esistente. Ad esempio, TESTING_LINK.
- Credenziale database: selezionare la credenziale dall'elenco a discesa necessaria per creare il database link. Ad esempio, AWSGLUE_CRED.
Fare clic su Crea credenziale se non sono presenti credenziali esistenti.
- In Mostra opzioni avanzate, selezionare Nome directory wallet dall'elenco a discesa. È necessario disporre dell'autorizzazione per accedere alla directory. Ad esempio, WALLET_DIR-TESTING.
Nota
Il file wallet, insieme all'ID utente e alla password del database, fornisce l'accesso ai dati nell'Oracle Autonomous Database di destinazione. - Fare clic su Esegui il test per verificare la creazione del database link.
Fare clic su Crea per creare il database autonomo come catalogo.
Al termine della creazione, è possibile visualizzare Autonomous Database elencato in Gestisci catalogo.
Installare un database link esistente come catalogo
È possibile creare un'istanza di uno schema di catalogo come utente di database locale. Se un database link è già stato impostato, è possibile eseguire il MOUNT di un catalogo sul database collegato per cercare e trovare i data set in tale database.
- Nome del database link
- Credenziali cloud necessarie per accedere ai dati
È possibile aggiungere un database link a uno dei database ed eseguirne il MOUNT dei metadati come nuovo catalogo.
- Nella pagina Catalogo selezionare Gestisci catalogo.
- Fare clic su +Add.
- Nella pagina Aggiungi catalogo selezionare Collegamento al database dall'origine del catalogo.
- Selezionare la scheda Database link.
- Selezionare Nome database link dall'elenco a discesa. Ad esempio, AA-TESTING_LINK.
- Immettere il nome del catalogo nel campo Nome catalogo. Ad esempio, AA-TESTING_LINK.
- Fare clic su Crea.
È possibile visualizzare il catalogo appena attivato nella finestra di dialogo Gestisci cataloghi.
Dopo aver eseguito correttamente il MOUNT di un nuovo catalogo su un database connesso mediante un database link, è possibile selezionare il catalogo in Explorer cataloghi e cercare i dati in esso contenuti.
Eseguire il MOUNT del provider Live Share o Delta Share come catalogo
È possibile eseguire il MOUNT dei cataloghi dalle condivisioni dati registrate. Ciò consente ai consumer di accedere alle tabelle definite da altri provider in altri database. Le tabelle esterne devono essere definite una sola volta.
- Nella pagina Catalogo selezionare Gestisci catalogo. Fare clic su +Add.
- Nella pagina Aggiungi catalogo selezionare Condivisione dati dall'origine del catalogo.
- Fare clic su Avanti per passare alla scheda Impostazioni provider condivisione.
In Origine condivisione, selezionare una delle opzioni disponibili.
- Selezionare tra i provider condivisione attivi
- JSON provider Delta Share
In questo esempio, si selezionerà l'origine di condivisione dai provider di condivisione live.
In Dettagli provider condivisione, specificare i dettagli riportati di seguito.
- Nome provider: immettere il nome del provider di condivisione. ad esempio TEST-PROVIDER.
- Descrizione: immettere una descrizione qualsiasi. Questo campo è facoltativo.
- Fare clic su Avanti per passare alla scheda Seleziona condivisioni.
- Nella scheda Impostazioni del provider di condivisione, trascinare la condivisione che si desidera montare come catalogo dalle condivisioni disponibili alle condivisioni selezionate.
- Fare clic su Avanti per passare alla scheda Dettagli catalogo. Nella scheda Dettagli catalogo specificare i dettagli riportati di seguito.
- Nome catalogo: immettere il nome del catalogo desiderato.
- Descrizione catalogo: immettere una descrizione.
- Selezionare Crea per attivare una condivisione attiva o una condivisione delta come catalogo.
Dopo aver eseguito correttamente il MOUNT di un nuovo catalogo su una condivisione, è possibile selezionare il catalogo in Esplora cataloghi e cercare i dati in esso contenuti.
Esegui il MOUNT di Amazon Glue come catalogo
È possibile eseguire il MOUNT dei cataloghi dalle connessioni dati AWS Glue registrate.
- Nella pagina Catalogo selezionare Gestisci catalogo.
- Fare clic su +Add.
- Nella pagina Aggiungi catalogo, selezionare Amazon Glue da Origine catalogo.
- Fare clic su Avanti per passare alla scheda Amazon Glue Catalog.
- Nella scheda Amazon Glue Catalog specificare i seguenti dettagli:
- Credenziale per connessione a Data Catalog: selezionare una credenziale dall'elenco a discesa.
- Area: selezionare un'area dall'elenco a discesa.
- Fare clic su Avanti per passare alla scheda Dettagli catalogo. Nella scheda Dettagli catalogo specificare i seguenti valori di campo:
- Nome catalogo: immettere il nome che si desidera utilizzare in Data Studio per fare riferimento al catalogo.
- Descrizione catalogo: immettere una descrizione per il catalogo.
- Fare clic su Crea per eseguire il MOUNT dell'area AWS Glue Data Catalog come catalogo.
Dopo aver eseguito correttamente il MOUNT di un nuovo catalogo su un'area AWS Glue Data Catalog, è possibile selezionare il catalogo in Catalog Explorer e cercare i dati in esso contenuti.
Attivare OCI Data Catalog come catalogo
È possibile eseguire il MOUNT dei cataloghi da un Data Catalog OCI registrato.
- Nella pagina Catalogo selezionare Gestisci catalogo. Fare clic su +Add.
- Nella pagina Aggiungi catalogo, selezionare OCI Data Catalog da Origine catalogo.
- Fare clic su Successivo per passare alla scheda OCI Data Catalog.
- Nella scheda Data Catalog OCI, specificare i seguenti valori di campo:
-
Credenziale per connessione a Data Catalog: selezionare una credenziale dall'elenco a discesa. Questo campo è obbligatorio. ad esempio BASICOCRED.
-
Area: selezionare un'area dall'elenco a discesa. Questo campo è obbligatorio. ad esempio us-phoenix-1.
-
ID Data Catalog: selezionare un ID Data Catalog dall'elenco a discesa. Un ID Data Catalog è l'ID dell'account a cui appartiene il Data Catalog. ad esempio catalog1.
Selezionare Usa credenziali separate per lo storage degli oggetti per utilizzare una credenziale diversa da quella selezionata.
-
- Fare clic su Avanti per passare alla scheda Dettagli catalogo.
- Nella scheda Dettagli catalogo specificare i seguenti valori di campo:
- Nome catalogo: immettere il nome che si desidera utilizzare in Data Studio per fare riferimento al catalogo. Ad esempio, TEST_CATALOG.
- Descrizione catalogo: immettere una descrizione per il catalogo.
- Fare clic su Crea per eseguire il MOUNT di OCI Data Catalog come catalogo.
Dopo aver eseguito correttamente il MOUNT di un nuovo catalogo su un Data Catalog OCI, è possibile selezionare il catalogo in Explorer cataloghi e cercare i dati in esso contenuti.
Installa un catalogo su un Data Catalog Iceberg
È possibile aggiungere un catalogo tramite un Data Catalog Iceberg. L'integrazione di un catalogo con i dati di Iceberg implica la connessione con cataloghi supportati come Unity e Polaris. Per integrare Iceberg Data Catalog tramite Data Studio, è necessario assicurarsi che i cataloghi Iceberg siano configurati e accessibili in modo appropriato.
- Endpoint Iceberg: impostare Polaris o Unity Catalog utilizzando l'API REST di Iceberg. Ciò implica la specifica del tipo di catalogo, dell'URI e della posizione del warehouse. Sarà necessario l'endpoint REST per il catalogo Iceberg esterno. Questo è l'URL che fornisce l'accesso ai metadati Iceberg.
Esempio: https://your-iceberg-catalog.com/api/v1/iceberg
- Endpoint token: l'endpoint /v1/oauth/tokens viene fornito dai cataloghi REST di Iceberg per eseguire il token Bearer.
- ID client e segreto client: si tratta delle credenziali fornite dal server OAuth per identificare l'applicazione (in questo caso, l'integrazione di Unity e Polaris Catalog). Queste credenziali verranno utilizzate per generare il token del servizio di trasporto.
- Token Bearer: per autenticare le richieste all'endpoint REST Iceberg, verrà utilizzato OAuth con le credenziali client. Lo strumento Catalogo richiama l'endpoint del token per ricevere il token del portatore.
- Spazio di nomi: uno spazio di nomi è equivalente a uno schema in un database. Questa posizione fungerà da repository per le tabelle Iceberg all'interno del catalogo. I cataloghi Iceberg raggruppano le tabelle in spazi dei nomi, che possono essere nidificati in altri spazi dei nomi. La specifica Iceberg supporta livelli arbitrari di nidificazione.
Ad esempio, è possibile definire una tabella
SALES
all'interno di uno spazio di nomiSTORES
, definito in uno spazio di nomiRETAIL
, definito a sua volta all'interno di uno spazio di nomiCORPORATE
. La posizione di Iceberg di una tale tabella sarebbeCORPORATE.RETAIL.STORES.SALES
.
CREATE OR REPLACE CATALOG INTEGRATION tabular_catalog_int
CATALOG_SOURCE = ICEBERG_REST
TABLE_FORMAT = ICEBERG
CATALOG_NAMESPACE = 'default'
REST_CONFIG = (
CATALOG_URI = 'https://api.tabular.io/ws'
CATALOG_NAME = '<tabular_warehouse_name>'
)
REST_AUTHENTICATION = (
TYPE = OAUTH
OAUTH_TOKEN_URI = 'https://api.tabular.io/ws/v1/oauth/tokens'
OAUTH_CLIENT_ID = '<oauth_client_id>'
OAUTH_CLIENT_SECRET = '<oauth_secret>'
OAUTH_ALLOWED_SCOPES = ('catalog')
)
ENABLED = TRUE;
CATALOG_URI
è l'endpoint REST per accedere al warehouse.
La procedura REST_AUTHENTICATION
è costituita da tutti i parametri necessari per creare la credenziale BEARER TOKEN
e utilizzarla per crearla.
Per ulteriori informazioni, vedere Configurare un'integrazione del catalogo per i cataloghi REST Apache IcebergTM.
- Nella pagina Catalogo selezionare Gestisci catalogo. Fare clic su +Add.
- Nella finestra di dialogo Aggiungi catalogo, selezionare Catalogo Iceberg dalla scheda Origine catalogo.
Successivo.
-
Specificare i seguenti valori di campo nella scheda Origine catalogo della finestra di dialogo Aggiungi catalogo:
- Nome catalogo: immettere il nome del catalogo con cui si desidera eseguire il MOUNT del catalogo Iceberg.
Ad esempio, Polaris.
-
Tipo di catalogo Iceberg: selezionare Polaris dal campo a discesa.
- Endpoint del catalogo Iceberg: specifica l'URL dell'account Polaris Catalog. L'endpoint per il catalogo Polaris di Snowflake è in genere nel formato https://<account_locator>.snowflakecomputing.com/polaris/api/catalog. Per ulteriori informazioni sui formati degli identificatori di conto, consultare la documentazione Snowflake.
- Credenziale catalogo Iceberg: selezionare una credenziale dall'elenco delle credenziali disponibili nell'elenco a discesa. Se non si dispone di una credenziale, è possibile crearne una. Selezionare Crea credenziale. Nella finestra di dialogo Crea credenziale, specificare i seguenti valori di campo:
- Nome credenziale: immettere il nome della credenziale. Ad esempio, POLARIS_CRED.
In Recupera nuovo token servizio di trasporto,
- Endpoint token di accesso: immettere l'endpoint della specifica REST Iceberg. Questo genera il token di accesso utilizzando OAuth2 definito come
/v1/oauth/tokens
.Questo endpoint è stato progettato per facilitare l'autenticazione mediante lo scambio di credenziali client (ID client e segreto) per un token di accesso.
Nota
L'endpoint/v1/oauth/tokens
non è più valido in Iceberg versione 1.6.0 e verrà rimosso nella versione 2.0. Si consiglia di affidarsi invece a provider OAuth2 esterni. Per ulteriori informazioni, vedere OAuth Autenticazione. - Tipo di privilegio: selezionare Credenziali client.
- ID client: specificare l'ID client.
- Segreto client: specificare il segreto client.
- Ambito: PRINCIPAL_ROLE:ALL.
Fare clic su Ottieni token.
Il campo Token del portatore viene popolato.
Fare clic su Crea credenziale.
POLARIS_CRED viene visualizzato come credenziale del catalogo Iceberg.
Nota
Le credenziali vengono memorizzate utilizzando la procedura
DBMS_CLOUD.CREATE_CREDENTIAL
nel backend.Per l'esempio di esempio fornito in precedenza, la procedura è la seguente:BEGIN dbms_cloud.create_credential( credential_name => 'POLARIS_CRED', username => 'BEARER_TOKEN', password => '<BEARER_TOKEN_VALUE This is generated using token endpoint, client id, client secret>' ); END;
- Endpoint token di accesso: immettere l'endpoint della specifica REST Iceberg. Questo genera il token di accesso utilizzando OAuth2 definito come
Questa credenziale consente a Oracle Autonomous Database di accedere alla tabella Iceberg.
- Nome credenziale: immettere il nome della credenziale. Ad esempio, POLARIS_CRED.
- Credenziali bucket: questa credenziale memorizza un volume di storage cloud per memorizzare le tabelle Iceberg in formato Parquet. Questo campo è obbligatorio per i cataloghi Polaris.
Fare clic su Successivo per passare alla scheda Catalogo Iceberg.
- Nome catalogo: immettere il nome del catalogo con cui si desidera eseguire il MOUNT del catalogo Iceberg.
-
Nella scheda Catalogo Iceberg è possibile specificare i seguenti valori di campo:
- Spazi dei nomi del catalogo Iceberg: in questo campo viene visualizzata l'organizzazione gerarchica delle tabelle. L'endpoint del catalogo Iceberg è costituito dallo spazio di nomi radice. Selezionare lo spazio di nomi su cui si desidera eseguire il MOUNT del catalogo.
- Stile separatore spazio di nomi: selezionare Stile Polaris. Si tratta del valore predefinito. Selezionare qualsiasi valore in base alla configurazione del catalogo.
Nota
È preferibile conservare il valore predefinito. - Area bucket: immettere l'area del bucket. ad esempio us-west-2.
Gli endpoint del catalogo Iceberg fungono da interfacce per la gestione delle tabelle Iceberg memorizzate nello storage cloud come S3. L'area del bucket si riferisce alla posizione geografica in cui è ospitato il bucket S3.
Campo obbligatorio per i cataloghi Polaris.
Fare clic su Aggiungi.
Dopo aver eseguito correttamente il MOUNT di un nuovo catalogo su un catalogo Iceberg, è possibile visualizzare il catalogo Polaris nella pagina Gestisci cataloghi. È possibile disabilitare ed eliminare il catalogo da questa pagina.
Visualizza il catalogo Polaris montato su Catalog Explorer
- Nello strumento Catalogo fare clic su Seleziona cataloghi....
- Fare clic sul filtro _CATALOG_POLARIS in Cataloghi e schemi per visualizzare i cataloghi POLARIS_CATALOG.
- Fare clic su Applica per visualizzare i risultati nella pagina Catalogo.
- Nella pagina Catalogo selezionare Gestisci catalogo. Fare clic su +Add.
- Nella finestra di dialogo Aggiungi catalogo, selezionare Catalogo Iceberg.
- Successivo.
- Specificare i seguenti valori di campo nella scheda Origine catalogo della finestra di dialogo Aggiungi catalogo:
- Nome catalogo: immettere il nome del catalogo con cui si desidera eseguire il MOUNT del catalogo Iceberg.
Ad esempio, Unità.
- Tipo di catalogo Iceberg: selezionare Unità dal campo a discesa.
- Endpoint del catalogo Iceberg:
Per Unity Catalog, in genere si utilizza l'API REST Databricks. L'endpoint per l'accesso alle tabelle Iceberg tramite Unity Catalog è in genere nel formato https://<databricks-instance-url>/api/2.1/unity-catalog/iceberg.
- Credenziale catalogo Iceberg: selezionare una credenziale dall'elenco delle credenziali disponibili nell'elenco a discesa. Se non si dispone di una credenziale, è possibile crearne una. Selezionare Crea credenziale.
Nella finestra di dialogo Crea credenziale specificare i valori riportati di seguito.
- Nome credenziale: immettere il nome della credenziale. Ad esempio, UNITY_CRED.
- Token Bearer: consente di incollare il valore del token Bearer.
Selezionare Crea credenziale.
UNITY_CRED viene visualizzato come credenziale del catalogo Iceberg.
Fare clic su Successivo per passare alla scheda Catalogo Iceberg.
Nella scheda Catalogo Iceberg è possibile specificare i seguenti valori di campo:
- Spazi dei nomi del catalogo Iceberg: selezionare uno qualsiasi degli schemi a cui è necessario accedere.
- Stile separatore spazio di nomi: lo stile separatore spazio di nomi si riferisce in genere al modo in cui gli spazi di nomi sono strutturati e separati all'interno del catalogo. Per impostazione predefinita, è selezionato Stile databricks.
- Area Periodo fisso: questo campo non è obbligatorio.
Fare clic su Aggiungi.
Dopo aver eseguito correttamente il MOUNT di un nuovo catalogo su un catalogo Iceberg, è possibile visualizzare il catalogo Unity nella pagina Gestisci cataloghi. È possibile disabilitare ed eliminare il catalogo da questa pagina.
- Nome catalogo: immettere il nome del catalogo con cui si desidera eseguire il MOUNT del catalogo Iceberg.
Visualizza il catalogo Unity montato nello strumento Catalogo
- Nello strumento Catalogo fare clic su Seleziona cataloghi....
- Fare clic sul filtro UNITY _CATALOG nella procedura guidata Cataloghi e schemi per visualizzare i cataloghi UNITY_CATALOG.
- Fare clic su Applica per visualizzare i risultati nella pagina Catalogo.
- Caricamento dati in linea di Delta Share dallo strumento Catalogo
È possibile caricare una condivisione Delta dallo strumento Catalogo senza uscire dallo strumento Catalogo per il caricamento. - Esegui query su cataloghi e database remoti
È possibile accedere ed eseguire query sui dati esterni eseguendo il MOUNT dei cataloghi. Questa funzione utilizza una sintassi SQL semplice simile a quella utilizzata per eseguire query sui dati utilizzando i database link.
Argomento padre: Strumento catalogo