28 Gestisci con il catalogo principale

In questo capitolo è possibile utilizzare e comprendere il catalogo principale, i cataloghi standard ed esterni, gli schemi, le tabelle e i volumi in Oracle AI Data Platform.

Argomenti:

Catalogo principale

In Oracle AI Data Platform, Master Catalog è l'entità di livello superiore che consente di gestire i dati e i metadati fornendo una vista centralizzata.

Il catalogo principale è un contenitore per cataloghi sia standard che esterni. Puoi creare cataloghi con i relativi asset di dati in Oracle Autonomous AI Lakehouse, OCI Object Storage e Kafka. Il catalogo principale consente di applicare le autorizzazioni sui relativi oggetti figlio.

I cataloghi standard ed esterni hanno funzioni e casi d'uso diversi:

  • Catalogo standard: un catalogo standard è un contenitore logico per gli schemi (database). Gli utenti possono creare tabelle, viste e volumi in uno schema. Il catalogo standard gestisce il ciclo di vita dei metadati di tutti gli oggetti figlio.
  • Catalogo esterno: un catalogo esterno è supportato da origini dati esterne come Oracle Autonomous AI Lakehouse o Kafka. Con un catalogo esterno, i metadati vengono sincronizzati dall'origine esterna e gli utenti possono eseguire query sui dati nell'origine esterna utilizzando il nome a 3 parti, ad esempio catalog_name.schema_name.table_name. Il ciclo di vita dei metadati è gestito dall'origine esterna e il catalogo principale conserva una copia dei metadati.

Per creare, modificare ed eliminare cataloghi standard ed esterni, sono necessarie determinate autorizzazioni. Vedere Autorizzazioni catalogo principale.

Casi d'uso per catalogo principale

Puoi utilizzare il Master Catalog per facilitare la preparazione e l'analisi dei dati, la memorizzazione di dati non strutturati e altro ancora.

Esegui query e analizza dati mediante sintassi SQL

Crea tabelle gestite o esterne in un catalogo standard per eseguire query e analizzare i dati utilizzando una sintassi simile a SQL familiare, semplificando l'esplorazione e la comprensione dei dati memorizzati in Oracle AI Data Platform.

Prepara i dati per il Machine Learning

Sfrutta il formato strutturato dei dati memorizzati in tabelle esterne gestite per preparare i dati per i modelli di machine learning, semplificando la pulizia, la trasformazione e i dati dei tecnici delle funzioni. Ciò facilita l'accesso e l'elaborazione efficienti dei dati per l'ingegneria delle funzionalità e l'addestramento dei modelli.

Interroga dati cronologici con viaggi nel tempo

I formati di tabella aperta supportano l'evoluzione dello schema. La struttura dei dati può cambiare nel tempo senza riscrivere l'intero set di dati. Eseguire il controllo delle versioni di queste tabelle e delle query di viaggio nel tempo per eseguire query sulle versioni cronologiche dei dati. Ciò facilita l'analisi retrospettiva e il recupero dei dati.

Supporta transazioni ACID

I formati delle tabelle aperte supportano le operazioni di creazione, lettura, aggiornamento ed eliminazione (CRUD) complete, garantendo la coerenza dei dati e abilitando gli aggiornamenti dei dati. Utilizzare le tabelle per memorizzare e gestire i dati transazionali in modo che le applicazioni possano tenere traccia delle modifiche apportate ai dati.

Lettura e scrittura dei dati in modo efficiente

Partizionare le tabelle in AI Data Platform per consentire un accesso ed un'elaborazione efficienti dei dati, soprattutto per set di dati di grandi dimensioni.

Memorizza ed elabora dati non strutturati

Crea volumi gestiti o esterni per memorizzare dati non strutturati in modo che possano essere elaborati utilizzando Apache Spark.

Tabelle e volumi esterni cross-tenancy

Le tabelle e i volumi esterni cross-tenancy ti consentono di accedere ed eseguire query sui dati memorizzati in tenancy eterogenee senza la necessità di pipeline ETL complesse o di spostamento manuale dei dati.

Oracle AI Data Platform ti consente di creare tabelle e volumi esterni cross-tenancy, una potente funzionalità progettata per eliminare i silos di dati e semplificare la collaborazione.

I vantaggi della cross-tenancy sono:
  • Duplicazione zero dati: è possibile accedere ai dati attivi nella posizione in cui risiedono, risparmiando sui costi di storage e garantendo l'integrità di un'unica fonte di dati.
  • Governance semplificata: gestisci le autorizzazioni oltre i limiti utilizzando i criteri IAM (Identity and Access Management) e i controlli dell'accesso a AI Data Platform.

Requisiti di accesso tra tenancy

L'impostazione dell'accesso cross-tenancy per tabelle e volumi esterni richiede criteri IAM specifici configurati in una tenancy provider e in una tenancy consumer.

Nella tenancy del provider, devi creare un gruppo dinamico IAM nella console di Oracle Cloud Infrastructure (OCI) che include la tua risorsa specifica AI Data Platform come membro. Per ulteriori informazioni, vedere Gestione dei gruppi dinamici.

Dopo aver creato il gruppo dinamico IAM, è necessario configurare i criteri IAM nella tenancy del provider:
  • Definire le risorse in IAM per la tenancy consumer, il gruppo di utenti e i gruppi dinamici
  • Scrivere un criterio IAM di ammissione per le risorse della tenancy consumer 
define tenancy <consumer_tenancy_name1> as <consumer tenancy OCID>
define group <group_name1> as <consumer user group>
define dynamic-group <dynamic_group_name1> as <consumer dynamic group OCID>

admit dynamic-group <dynamic_group_name1> of tenancy <consumer_tenancy_name1> to manage object-family in tenancy
admit dynamic-group <dynamic_group_name1> of tenancy <consumer_tenancy_name1> to { OBJECTSTORAGE_NAMESPACE_READ } in tenancy
admit group <group_name1> of tenancy <consumer_tenancy_name1> to manage object-family in tenancy
Dopo aver configurato i criteri IAM della tenancy del provider, è necessario configurare i criteri IAM della tenancy consumer:
  • Definire la risorsa in IAM per la tenancy del provider
  • Scrivere un criterio IAM endorse per le risorse della tenancy del consumer locale 
define tenancy <provider_tenancy_name1> as <provider tenancy OCID>

endorse dynamic-group <dynamic_group_name> to manage object-family in tenancy <provider_tenancy_name1>
endorse dynamic-group <dynamic_group_name> to { OBJECTSTORAGE_NAMESPACE_READ } in tenancy <provider_tenancy_name1>
endorse group <group_name> to manage object-family in tenancy <provider_tenancy_name1>

Una volta configurati i criteri IAM della tenancy provider e consumer, puoi creare tabelle e volumi esterni cross-tenancy utilizzando la grammatica SQL. Per ulteriori informazioni, vedere Grammatica SQL.

Esempio: creazione di una tabella cross-tenancy con SQL

CREATE EXTERNAL TABLE [IF NOT EXISTS] <catalog_name>.<schema-name>.<table-name>
[ ( <column1-name><column1-type> [comment <column1-comment>], ... ) ]
USING [HIVE|DELTA, CSV, TXT, ORC, JDBC, PARQUET, etc.]
LOCATION 'oci://my-bucket@mytenancynamespace/my-folder/'
[TBLPROPERTIES ( DESCRIPTION = 'some-description', '<property-name>'='<property-value>'[, ...]) ]

Limitazione

AI Data Platform non supporta la creazione di tabelle esterne cross-tenancy o volumi esterni nell'interfaccia utente.