Gerenciar Catálogos
Agora é possível ativar vários catálogos usando a Ferramenta de catálogos.
Você pode montar catálogos adicionais de outros Autonomous Databases na mesma tenancy, para que possa procurar dados em vários bancos de dados.
Montar Autonomous Database como Catálogo
Você usará um Autonomous Database existente para criar um link de Banco de Dados e fornecer o nome do catálogo para montá-lo.
Para montar um Autonomous Database como Catálogo, você deve ter os privilégios de sistema CREATE DATABASE LINK
e CREATE ANY DIRECTORY
. O usuário ADMIN recebe privilégios de sistema CREATE DATABASE LINK
e CREATE ANY DIRECTORY
. O usuário ADMIN pode conceder privilégios de sistema CREATE DATABASE LINK
e CREATE ANY DIRECTORY
a outros usuários.
- Armazene suas credenciais de armazenamento de objetos no seu Autonomous Database
- Criar um link de banco de dados ou usar um link de banco de dados existente
- Montar o link de banco de dados como um catálogo
-
Na página Catálogo, selecione Gerenciar Catálogo. Clique em +Add.
- Na página Adicionar Catálogo, selecione Autonomous Database como Origem do Catálogo.
- Selecione o Nome do banco de dados na lista drop-down. Por exemplo, TESTE.
- Você pode exibir os campos a seguir depois de selecionar o nome do banco de dados. Especifique os seguintes valores de campo:
- Nome do Catálogo: Informe o nome do catálogo como você deseja montar o link do banco de dados. Por exemplo, TESTE.
- Nome do link de banco de dados: Informe o nome do link de banco de dados que a ferramenta cria usando o banco de dados existente. Por exemplo, TESTING_LINK.
- Credencial do banco de dados: Selecione a credencial na lista drop-down que é necessária para criar o link do banco de dados. Por exemplo, AWSGLUE_CRED.
Clique em Criar Credencial caso não haja credenciais existentes.
- Em Mostrar Opções Avançadas, selecione o Nome do Diretório de Wallet na lista drop-down. Você precisa ter permissão para acessar o diretório. Por exemplo, WALLET_DIR-TESTING.
Observação
O arquivo da wallet, juntamente com o ID de usuário e a senha do Banco de Dados, fornece acesso aos dados no Oracle Autonomous Database de destino. - Clique em Testar para testar a criação do Link de Banco de Dados.
Clique em Criar para criar o banco de dados autônomo como Catálogo.
Após a criação bem-sucedida, você poderá exibir o banco de dados Autônomo listado em Gerenciar Catálogo.
Montar um Link de Banco de Dados existente como Catálogo
Você pode instanciar um esquema de catálogo como um usuário do banco de dados local. Se um link de banco de dados já tiver sido configurado, você poderá montar um catálogo sobre o banco de dados vinculado para pesquisar e descobrir conjuntos de dados nesse banco de dados.
- Nome do vínculo de banco de dados
- Credenciais de nuvem necessárias para acessar os dados
Você pode adicionar um link de banco de dados a um dos bancos de dados e montar seus metadados como um novo catálogo.
- Na página Catálogo, selecione Gerenciar Catálogo.
- Clique em +Add.
- Na página Adicionar Catálogo, selecione Link de Banco de Dados na Origem do Catálogo.
- Selecione a guia Link de Banco de Dados.
- Selecione o Nome do Link de Banco de Dados na lista drop-down. Por exemplo, AA-TESTING_LINK.
- Informe o nome do catálogo no campo Nome do catálogo. Por exemplo, AA-TESTING_LINK.
- Clique em Criar.
Você pode exibir o catálogo recém-montado na caixa de diálogo Gerenciar Catálogos.
Depois de montar com sucesso um novo catálogo em um banco de dados conectado usando um link de Banco de Dados, você poderá selecionar o catálogo no Catalog Explorer e procurar dados nele.
Montar Provedor de Compartilhamento Ativo ou Delta como Catálogo
Você pode montar catálogos com base em compartilhamentos de dados registrados. Isso permite que os consumidores acessem tabelas definidas por outros provedores em outros bancos de dados. As tabelas externas precisam ser definidas apenas uma vez.
- Na página Catálogo, selecione Gerenciar Catálogo. Clique em +Add.
- Na página Adicionar Catálogo, selecione Compartilhamento de Dados na Origem do Catálogo.
- Clique em Próximo para avançar para a guia Compartilhar definições do provedor.
Em Compartilhar fonte, selecione qualquer uma das opções disponíveis:
- Selecionar entre Provedores de Compartilhamento Ativos
- JSON do Provedor de Compartilhamento Delta
Neste exemplo, você selecionará fonte de compartilhamento em Provedores de Compartilhamento ao Vivo.
Em Compartilhar Detalhes do Provedor, especifique os seguintes detalhes:
- Nome do Provedor: Digite o nome do provedor de compartilhamento. Por exemplo, PROVEDOR DE TESTE.
- Descrição: Informe qualquer descrição. Esse campo é opcional.
- Clique em Próximo para avançar para a guia Selecionar compartilhamentos.
- Na guia Configurações do provedor de Compartilhamento, arraste e solte o compartilhamento que você deseja montar como um catálogo dos Compartilhamentos Disponíveis para os Compartilhamentos Selecionados.
- Clique em Próximo para avançar para a guia Detalhes do catálogo. Na guia Detalhes do catálogo, especifique os seguintes detalhes:
- Nome do catálogo: Informe um nome de catálogo de sua escolha.
- Descrição do catálogo: Informe uma descrição.
- Selecione Criar para montar um Live Share ou Delta Share como catálogo.
Depois de montar com sucesso um novo catálogo em um Compartilhamento, você poderá selecionar o catálogo no Catalog Explorer e procurar dados nele.
Montar Amazon Glue como catálogo
Você pode montar catálogos de conexões de dados do AWS Glue registradas.
- Na página Catálogo, selecione Gerenciar Catálogo.
- Clique em +Add.
- Na página Adicionar Catálogo, selecione Amazon Glue na Origem do Catálogo.
- Clique em Próximo para prosseguir para a guia Catálogo do Amazon Glue.
- Na guia Catálogo do Amazon Glue, especifique os seguintes detalhes:
- Credencial para Conexão do Serviço Data Catalog: Selecione uma credencial na lista drop-down.
- Região: Selecione uma região na lista drop-down.
- Clique em Próximo para avançar para a guia Detalhes do catálogo. Especifique os seguintes valores de campo na guia Detalhes do catálogo:
- Nome do Catálogo: Informe o nome que você deseja usar no Data Studio para fazer referência ao catálogo.
- Descrição do Catálogo: Informe uma descrição do catálogo.
- Clique em Criar para montar a região do AWS Glue Data Catalog como catálogo.
Depois de montar com sucesso um novo catálogo em uma região do AWS Glue Data Catalog, você poderá selecionar o catálogo no Catalog Explorer e procurar dados nele.
Montar OCI Data Catalog como Catálogo
Você pode montar catálogos com base em um Catálogo de Dados do OCI registrado.
- Na página Catálogo, selecione Gerenciar Catálogo. Clique em +Add.
- Na página Adicionar Catálogo, selecione OCI Data Catalog na Origem do Catálogo.
- Clique em Próximo para prosseguir para a guia OCI Data Catalog.
- Na guia OCI Data Catalog, especifique os seguintes valores de campo:
-
Credencial para Conexão do Serviço Data Catalog: Selecione uma credencial na lista drop-down. Esse campo é obrigatório. Por exemplo, BASICOCICRADO.
-
Região: Selecione uma região na lista drop-down. Esse campo é obrigatório. Por exemplo, us-phoenix-1.
-
ID do Serviço Data Catalog: Selecione um ID do Serviço Data Catalog na lista drop-down. Um ID do Catálogo de Dados é o ID da conta à qual o catálogo de dados pertence. Por exemplo, catalog1.
Selecione Usar credencial separada para o serviço Object Storage para usar outra credencial diferente da selecionada.
-
- Clique em Próximo para avançar para a guia Detalhes do catálogo.
- Na guia Detalhes do catálogo, especifique os seguintes valores de campo:
- Nome do Catálogo: Informe o nome que você deseja usar no Data Studio para fazer referência ao catálogo. Por exemplo, TEST_CATALOG.
- Descrição do Catálogo: Informe uma descrição do catálogo.
- Clique em Criar para montar o OCI Data Catalog como catálogo.
Depois de montar com sucesso um novo catálogo em um OCI Data Catalog, você poderá selecionar o catálogo no Catalog Explorer e procurar dados nele.
Montar um Catálogo em um Catálogo de Dados Iceberg
Você pode adicionar um catálogo em um Catálogo de Dados Iceberg. A integração de um catálogo com dados do Iceberg envolve a conexão com catálogos suportados, como Unity e Polaris. Para integrar Catálogos de Dados Iceberg via Data Studio, você precisa garantir que seus Catálogos Iceberg estejam adequadamente configurados e acessíveis.
- Ponto Final do Iceberg: Configure o Polaris ou o Catálogo do Unity usando a API REST do Iceberg. Isso envolve a especificação do tipo de catálogo, URI e local do warehouse. Você precisará do ponto final REST para seu catálogo externo do Iceberg. Este é o URL que fornece acesso aos metadados do Iceberg.
Exemplo: https://your-iceberg-catalog.com/api/v1/iceberg
- Ponto Final de Token: O ponto final /v1/oauth/tokens é fornecido pelos catálogos REST do Iceberg para emitir o Token do Portador.
- ID do Cliente e Segredo do Cliente: Essas são credenciais fornecidas pelo servidor OAuth para identificar seu aplicativo (nesse caso, a integração do Catálogo Unity e Polaris). Você usará essas credenciais para gerar o Token do Portador.
- Token do Portador: Para autenticar solicitações para o ponto final REST do Iceberg, você usará OAuth com as Credenciais do Cliente. A ferramenta Catálogo chama o ponto final do token para receber o Token do Portador.
- Namespace: Um namespace é equivalente a um esquema em um banco de dados. Este local servirá como o repositório para suas tabelas Iceberg dentro do catálogo. O Iceberg cataloga tabelas de grupo em namespaces, que podem ser aninhados em outros namespaces. A especificação Iceberg suporta níveis arbitrários de aninhamento.
Por exemplo, uma tabela
SALES
pode ser definida em um namespaceSTORES
, que é definido em um namespaceRETAIL
, que é definido em um namespaceCORPORATE
. A localização do Iceberg de tal tabela seriaCORPORATE.RETAIL.STORES.SALES
.
CREATE OR REPLACE CATALOG INTEGRATION tabular_catalog_int
CATALOG_SOURCE = ICEBERG_REST
TABLE_FORMAT = ICEBERG
CATALOG_NAMESPACE = 'default'
REST_CONFIG = (
CATALOG_URI = 'https://api.tabular.io/ws'
CATALOG_NAME = '<tabular_warehouse_name>'
)
REST_AUTHENTICATION = (
TYPE = OAUTH
OAUTH_TOKEN_URI = 'https://api.tabular.io/ws/v1/oauth/tokens'
OAUTH_CLIENT_ID = '<oauth_client_id>'
OAUTH_CLIENT_SECRET = '<oauth_secret>'
OAUTH_ALLOWED_SCOPES = ('catalog')
)
ENABLED = TRUE;
Aqui, CATALOG_URI
é o ponto final REST para acessar o warehouse.
O procedimento REST_AUTHENTICATION
consiste em todos os parâmetros necessários para criar o BEARER TOKEN
e usá-lo para criar a credencial.
Consulte Configurar uma integração de catálogo para catálogos REST IcebergTM do Apache para obter mais informações sobre isso.
- Na página Catálogo, selecione Gerenciar Catálogo. Clique em +Add.
- Na caixa de diálogo Adicionar Catálogo, selecione Catálogo de Iceberg na guia Origem do catálogo.
Clique em Próximo.
-
Especifique os seguintes valores de campo na guia de origem Catálogo da caixa de diálogo Adicionar Catálogo:
- Nome do catálogo: Informe o nome do Catálogo no qual você deseja montar o Catálogo Iceberg.
Por exemplo, Polaris.
-
Tipo de catálogo Iceberg: Selecione Polaris no campo suspenso.
- Ponto final do catálogo Iceberg: Especifica o URL da conta do Catálogo Polaris. O ponto final do Catálogo Polaris do Snowflake geralmente está no formato https://<account_locator>.snowflakecomputing.com/polaris/api/catalog. Para obter mais informações sobre formatos de identificador de conta, consulte a documentação do Snowflake.
- Credencial do catálogo Iceberg: Selecione uma credencial na lista de credenciais disponíveis na lista drop-down. Se você não tiver uma credencial, poderá criar uma. Selecione Criar Credencial. Na caixa de diálogo Criar Credencial, especifique os seguintes valores de campo:
- Nome da Credencial: Informe o nome da sua credencial. Por exemplo, POLARIS_CRED.
Em Obter Novo Token do Portador,
- Ponto final do token de acesso: Informe o ponto final da especificação REST do Iceberg. Isso gera o token de acesso usando OAuth2 definido como
/v1/oauth/tokens
.Esse ponto final foi projetado para facilitar a autenticação trocando credenciais do cliente (ID e segredo do cliente) por um token de acesso.
Observação
O ponto final/v1/oauth/tokens
foi descontinuado no Iceberg versão 1.6.0 e será removido na versão 2.0. Em vez disso, você é incentivado a confiar em provedores OAuth2 externos. Consulte Autenticação OAuth para obter mais detalhes. - Tipo de concessão: Selecione Credenciais do cliente.
- ID do Cliente: Especifique o ID do Cliente.
- Segredo do Cliente: Especifique o Segredo do Cliente.
- Escopo: PRINCIPAL_ROLE:ALL.
Clique em Obter Token.
O campo Token do portador é preenchido.
Clique em Criar Credencial.
POLARIS_CRED é exibido como credencial do catálogo Iceberg.
Observação
As credenciais são armazenadas usando o procedimento
DBMS_CLOUD.CREATE_CREDENTIAL
no backend.Para o exemplo de amostra acima fornecido, o procedimento seria o seguinte:BEGIN dbms_cloud.create_credential( credential_name => 'POLARIS_CRED', username => 'BEARER_TOKEN', password => '<BEARER_TOKEN_VALUE This is generated using token endpoint, client id, client secret>' ); END;
- Ponto final do token de acesso: Informe o ponto final da especificação REST do Iceberg. Isso gera o token de acesso usando OAuth2 definido como
Esta credencial permite que o Oracle Autonomous Database acesse a tabela Iceberg.
- Nome da Credencial: Informe o nome da sua credencial. Por exemplo, POLARIS_CRED.
- Credenciais do bucket: Esta credencial armazena um volume de armazenamento na nuvem para armazenar suas tabelas Iceberg no formato Parquet. Este campo é obrigatório para catálogos Polaris.
Clique em Próximo para prosseguir para a guia Catálogo de Iceberg.
- Nome do catálogo: Informe o nome do Catálogo no qual você deseja montar o Catálogo Iceberg.
-
Na guia Catálogo de Iceberg, você pode especificar os seguintes valores de campo:
- Namespaces do catálogo Iceberg: Este campo exibe a organização hierárquica das tabelas. O ponto final do catálogo Iceberg consiste no namespace raiz. Selecione o namespace no qual você deseja que o catálogo seja montado.
- Estilo do separador de namespace: Selecione Estilo polaris. Esse é o valor padrão. Selecione qualquer valor com base na forma como seu catálogo está configurado.
Observação
É preferível manter o valor padrão. - Região do bucket: Informe a região do bucket. Por exemplo, us-west-2.
Os endpoints do catálogo do Iceberg servem como interfaces para gerenciar tabelas do Iceberg armazenadas no armazenamento em nuvem, como S3. A região do bucket se refere à localização geográfica em que o bucket S3 está hospedado.
Este é um campo obrigatório para catálogos Polaris.
Clique em Adicionar.
Depois de montar com sucesso um novo catálogo em um Catálogo Iceberg, você poderá exibir o Catálogo Polaris na página Gerenciar Catálogos. Você pode desativar e excluir o catálogo desta página.
Exibir o Catálogo Polaris montado no Explorador de Catálogos
- Na ferramenta Catálogo, clique em Selecionar Catálogos....
- Clique no filtro POLARIS _CATALOG no assistente Catálogos e Esquemas para exibir os catálogos POLARIS_CATALOG.
- Clique em Aplicar para exibir os resultados na página Catálogo.
- Na página Catálogo, selecione Gerenciar Catálogo. Clique em +Add.
- Na caixa de diálogo Adicionar Catálogo, selecione Catálogo de Iceberg.
- Clique em Próximo.
- Especifique os seguintes valores de campo na guia de origem Catálogo da caixa de diálogo Adicionar Catálogo:
- Nome do catálogo: Informe o nome do Catálogo no qual você deseja montar o Catálogo Iceberg.
Por exemplo, Unidade.
- Tipo de catálogo Iceberg: Selecione Unidade no campo suspenso.
- Ponto final do catálogo Iceberg:
Para o Unity Catalog, geralmente você usa a API REST Databricks. O ponto final para acessar tabelas do Iceberg via Catálogo do Unity geralmente está no formato https://<databricks-instance-url>/api/2.1/unity-catalog/iceberg.
Observação
Consulte https://docs.databricks.com/aws/en/external-access/iceberg para obter mais informações. - Credencial do catálogo Iceberg: Selecione uma credencial na lista de credenciais disponíveis na lista drop-down. Se você não tiver uma credencial, poderá criar uma. Selecione Criar Credencial.
Na caixa de diálogo Criar Credencial, especifique os seguintes valores:
- Nome da Credencial: Digite o nome da sua credencial. Por exemplo, UNITY_CRED.
- Token do Portador: Cole o valor do Token do Portador.
Selecione Criar Credencial.
UNITY_CRED é exibido como Credencial do catálogo Iceberg.
Clique em Próximo para prosseguir para a guia Catálogo de Iceberg.
Na guia Catálogo de Iceberg, você pode especificar os seguintes valores de campo:
- Namespaces do catálogo Iceberg: Selecione qualquer um dos esquemas aos quais você precisa acessar.
- Estilo do separador de namespace: O estilo do separador de namespace geralmente se refere a como os namespaces são estruturados e separados no catálogo. Por padrão, Estilo Databricks é selecionado.
- Região de bucket: Este campo não é obrigatório.
Clique em Adicionar.
Depois de montar com sucesso um novo catálogo em um Catálogo do Iceberg, você poderá exibir o Catálogo do Unity na página Gerenciar Catálogos. Você pode desativar e excluir o catálogo desta página.
- Nome do catálogo: Informe o nome do Catálogo no qual você deseja montar o Catálogo Iceberg.
Exibir o Catálogo Unity montado na ferramenta Catálogo
- Na ferramenta Catálogo, clique em Selecionar Catálogos....
- Clique no filtro UNITY _CATALOG no assistente Catálogos e Esquemas para exibir os catálogos UNITY_CATALOG.
- Clique em Aplicar para exibir os resultados na página Catálogo.
- Carregamento de Dados em Linha do Compartilhamento Delta na Ferramenta Catálogo
É possível carregar um Compartilhamento Delta na ferramenta Catálogo sem sair da ferramenta Catálogo para carregamento. - Consultar Catálogos e Bancos de Dados Remotos
Você pode acessar e consultar dados externos montando catálogos. Esse recurso usa uma sintaxe SQL simples semelhante à forma como você consulta dados usando vínculos de banco de dados.
Tópico principal: A Ferramenta de Catálogo