28 Gerencie com o Master Catalog

Este capítulo ajuda a usar e entender o Catálogo Mestre, catálogos, esquemas, tabelas e volumes padrão e externos no Oracle AI Data Platform.

Tópicos:

Catálogo Mestre

No Oracle AI Data Platform, o Catálogo Mestre é a entidade de nível superior que permite gerenciar seus dados e metadados fornecendo uma exibição centralizada.

O Catálogo Mestre é um contêiner para catálogos padrão e externos. Você cria catálogos com seus ativos de dados no Oracle Autonomous AI Lakehouse, no OCI Object Storage e no Kafka. O Catálogo Mestre permite que você imponha permissões em seus objetos filhos.

Catálogos padrão e externo têm diferentes funções e casos de uso:

  • Catálogo padrão: Um catálogo padrão é um contêiner lógico para esquemas (bancos de dados). Os usuários podem criar tabelas, views e volumes em um esquema. O catálogo padrão gerencia o ciclo de vida dos metadados de todos os objetos filhos.
  • Catálogo externo: Um catálogo externo é suportado por origens de dados externas, como Oracle Autonomous AI Lakehouse ou Kafka. Com um catálogo externo, os metadados são sincronizados com base na origem externa e os usuários podem consultar os dados na origem externa usando o nome de 3 partes, como catalog_name.schema_name.table_name. O ciclo de vida dos metadados é gerenciado pela origem externa e o Catálogo Mestre mantém uma cópia dos metadados.

Para criar, modificar e excluir catálogos padrão e externos, você precisa de determinadas permissões. Consulte Permissões do Catálogo Mestre.

Casos de Uso do Catálogo Mestre

Você pode aproveitar o Catálogo Mestre para ajudar na preparação e análise de dados, no armazenamento de dados não estruturados e muito mais.

Consultar e Analisar Dados Usando a Sintaxe SQL

Crie tabelas gerenciadas ou externas em um catálogo padrão para consultar e analisar dados usando uma sintaxe semelhante a SQL familiar, facilitando a exploração e a compreensão dos dados armazenados no Oracle AI Data Platform.

Preparar Dados para Machine Learning

Aproveite o formato estruturado de dados armazenados em tabelas externas gerenciadas para preparar dados para modelos de machine learning, facilitando a limpeza, a transformação e a criação de recursos de dados. Isso facilita o acesso e o processamento eficientes de dados para engenharia de recursos e treinamento de modelos.

Consultar Dados Históricos com Viagem no Tempo

Os formatos de tabela abertos suportam a evolução do esquema. A estrutura dos dados pode mudar ao longo do tempo sem reescrever todo o conjunto de dados. Controle a versão dessas tabelas e execute consultas de deslocamento no tempo para consultar versões históricas de dados. Isso facilita a análise retrospectiva e a recuperação de dados.

Suportar Transações ACID

Os formatos de tabela aberta suportam operações completas de Criação, Leitura, Atualização e Exclusão (CRUD), garantindo a consistência dos dados e ativando atualizações de dados. Use tabelas para armazenar e gerenciar dados transacionais para que os aplicativos possam rastrear alterações nos dados.

Ler e Gravar Dados com Eficiência

Particione tabelas na Plataforma de Dados de IA para permitir acesso e processamento eficientes de dados, especialmente para grandes conjuntos de dados.

Armazenar e Processar Dados Não Estruturados

Crie volumes gerenciados ou externos para armazenar dados não estruturados para que eles possam ser processados usando o Apache Spark.

Tabelas e Volumes Externos entre Tenancies

Tabelas e volumes externos entre tenancies permitem acessar e consultar dados armazenados com segurança em tenancies diferentes sem a necessidade de pipelines ETL complexos ou movimentação manual de dados.

O Oracle AI Data Platform permite que você crie tabelas e volumes externos entre tenancies, um recurso avançado projetado para eliminar silos de dados e agilizar a colaboração.

Os benefícios da locação cruzada são:
  • Duplicação de Dados Zero: você acessa dados ativos onde eles residem, economizando custos de armazenamento e garantindo a integridade de uma única fonte confiável.
  • Governança Simplificada: Você gerencia permissões entre fronteiras usando políticas de IAM (Identity and Access Management) e controles de acesso da AI Data Platform.

Requisitos de Acesso da Tenancy Cruzada

A configuração do acesso entre tenancies para tabelas e volumes externos requer políticas específicas do IAM configuradas em uma tenancy do provedor e em uma tenancy do consumidor.

Na tenancy do provedor, você precisa criar um Grupo Dinâmico do IAM na Console do OCI (Oracle Cloud Infrastructure) que inclua seu recurso específico da AI Data Platform como membro. Para obter mais informações, consulte Gerenciando Grupos Dinâmicos.

Depois de criar o Grupo Dinâmico do IAM, configure as políticas do IAM na tenancy do provedor:
  • Definir recursos no serviço IAM para tenancy do consumidor, grupo de usuários e grupos dinâmicos
  • Gravar uma política de IAM de admissão para os recursos da tenancy do consumidor 
define tenancy <consumer_tenancy_name1> as <consumer tenancy OCID>
define group <group_name1> as <consumer user group>
define dynamic-group <dynamic_group_name1> as <consumer dynamic group OCID>

admit dynamic-group <dynamic_group_name1> of tenancy <consumer_tenancy_name1> to manage object-family in tenancy
admit dynamic-group <dynamic_group_name1> of tenancy <consumer_tenancy_name1> to { OBJECTSTORAGE_NAMESPACE_READ } in tenancy
admit group <group_name1> of tenancy <consumer_tenancy_name1> to manage object-family in tenancy
Depois de configurar as políticas do IAM da tenancy do provedor, configure as políticas do IAM da tenancy do consumidor:
  • Defina o recurso no serviço IAM para a tenancy do provedor
  • Escrever uma política do IAM do endorse para os recursos da tenancy do consumidor local 
define tenancy <provider_tenancy_name1> as <provider tenancy OCID>

endorse dynamic-group <dynamic_group_name> to manage object-family in tenancy <provider_tenancy_name1>
endorse dynamic-group <dynamic_group_name> to { OBJECTSTORAGE_NAMESPACE_READ } in tenancy <provider_tenancy_name1>
endorse group <group_name> to manage object-family in tenancy <provider_tenancy_name1>

Depois que as políticas do IAM do provedor e da tenancy do consumidor forem configuradas, você poderá criar tabelas e volumes externos entre tenancies usando a gramática SQL. Para obter mais informações, consulte Gramática SQL.

Exemplo: Criar uma Tabela de Tenancy Cruzada com SQL

CREATE EXTERNAL TABLE [IF NOT EXISTS] <catalog_name>.<schema-name>.<table-name>
[ ( <column1-name><column1-type> [comment <column1-comment>], ... ) ]
USING [HIVE|DELTA, CSV, TXT, ORC, JDBC, PARQUET, etc.]
LOCATION 'oci://my-bucket@mytenancynamespace/my-folder/'
[TBLPROPERTIES ( DESCRIPTION = 'some-description', '<property-name>'='<property-value>'[, ...]) ]

Limitação

A Plataforma de Dados de IA não suporta a criação de tabelas externas entre tenancies ou volumes externos na IU.