Gerenciar Catálogos

• Armazene suas credenciais de armazenamento de objetos no Autonomous Database
• Criar um link de banco de dados ou usar um link existente
• Montar o link do banco de dados como um catálogo

• Nome do link de banco de dados
• Credenciais de nuvem necessárias para acessar os dados

1. Ponto Final do Iceberg: Configure o Polaris ou o Catálogo do Unity usando a API REST do Iceberg. Isso envolve a especificação do tipo de catálogo, URI e local do warehouse. Você precisará do ponto final REST para seu catálogo Iceberg externo. Este é o URL que fornece acesso aos metadados do Iceberg.

   Exemplo: https://your-iceberg-catalog.com/api/v1/iceberg

2. Ponto Final do Token: O ponto final /v1/oauth/tokens é fornecido pelos catálogos REST do Iceberg para emitir o Token do Portador.
3. ID do Cliente e Segredo do Cliente: Essas são credenciais fornecidas pelo servidor OAuth para identificar seu aplicativo (neste caso, a integração do Unity e do Catálogo Polaris). Você usará essas credenciais para gerar o Token do Portador.
4. Token do Portador: Para autenticar solicitações no ponto final REST do Iceberg, você usará OAuth com as Credenciais do Cliente. A ferramenta Catalog chama o ponto final do token para receber o Token do Portador.
5. Namespace: Um namespace é equivalente a um esquema em um banco de dados. Este local servirá como o repositório para suas tabelas de Iceberg dentro do catálogo. O Iceberg cataloga tabelas de grupo em namespaces, que podem ser aninhados em outros namespaces. A especificação Iceberg suporta níveis arbitrários de aninhamento.

   Por exemplo, uma tabela SALES pode ser definida em um namespace STORES, que é definido em um namespace RETAIL, que é definido em um namespace CORPORATE. A localização do Iceberg de tal tabela seria CORPORATE.RETAIL.STORES.SALES.

CREATE OR REPLACE CATALOG INTEGRATION tabular_catalog_int
  CATALOG_SOURCE = ICEBERG_REST
  TABLE_FORMAT = ICEBERG
  CATALOG_NAMESPACE = 'default'
  REST_CONFIG = (
    CATALOG_URI = 'https://api.tabular.io/ws'
    CATALOG_NAME = '<tabular_warehouse_name>'
  )
  REST_AUTHENTICATION = (
    TYPE = OAUTH
    OAUTH_TOKEN_URI = 'https://api.tabular.io/ws/v1/oauth/tokens'
    OAUTH_CLIENT_ID = '<oauth_client_id>'
    OAUTH_CLIENT_SECRET = '<oauth_secret>'
    OAUTH_ALLOWED_SCOPES = ('catalog')
  )
  ENABLED = TRUE;

1. Na página Catálogo, selecione Gerenciar Catálogo. Clique em +Add.
2. Na caixa de diálogo Adicionar Catálogo, selecione Catálogo Iceberg na guia Origem do catálogo.
   
   
   
   Descrição da ilustração Add-Catalog-iceberg.png
   
   

   Clique em Próximo.

3. Especifique os seguintes valores de campo na guia de origem Catálogo da caixa de diálogo Adicionar Catálogo:

   • Nome do catálogo: Informe o nome do Catálogo com o qual você deseja montar o Catálogo de Iceberg.

     Por exemplo, Polaris.

   • Tipo de catálogo Iceberg: Selecione Polaris no campo suspenso.

   • Ponto final do catálogo Iceberg: Ele especifica o URL da conta do Catálogo Polaris. O ponto final do Catálogo Polaris do Snowflake geralmente está no formato https://<account_locator>.snowflakecomputing.com/polaris/api/catalog. Para obter mais informações sobre formatos de identificador de conta, consulte a documentação do Snowflake.
   • Credencial do catálogo Iceberg: Selecione uma credencial na lista de credenciais disponíveis na lista drop-down. Se você não tiver uma credencial, poderá criar uma. Selecione Criar Credencial. Na caixa de diálogo Criar Credencial, especifique os seguintes valores de campo:
     • Nome da Credencial: Informe o nome da sua credencial. Por exemplo, POLARIS_CRED.
       Em Obter Novo Token de Portador,

       • Ponto final do token de acesso: Informe o ponto final da especificação REST do Iceberg. Isso gera o token de acesso usando OAuth2 definido como /v1/oauth/tokens.

         Esse ponto final foi projetado para facilitar a autenticação trocando credenciais do cliente (ID do cliente e segredo) por um token de acesso.

         Observação
         
         O ponto final do /v1/oauth/tokens está obsoleto no Iceberg versão 1.6.0 e será removido na versão 2.0. Em vez disso, recomendamos que você dependa de provedores externos OAuth2. Consulte Autenticação OAuth para obter mais detalhes.
       • Tipo de concessão: Selecione Credenciais do cliente.
       • ID do Cliente: Especifique o ID do Cliente.
       • Segredo do Cliente: Especifique o Segredo do Cliente.
       • Escopo: PRINCIPAL_ROLE:ALL.

         Clique em Obter Token.

         O campo Token do portador é preenchido.

       Clique em Criar Credencial.

       POLARIS_CRED é exibido como credencial do catálogo Iceberg.

       
       
       
       Descrição da ilustração create-credential-polaris.png
       
       
       Observação
       
       

       As credenciais são armazenadas usando o procedimento DBMS_CLOUD.CREATE_CREDENTIAL no backend.

       Para o exemplo de exemplo acima, o procedimento seria o seguinte:

       BEGIN
         dbms_cloud.create_credential( 
           credential_name  =>  'POLARIS_CRED',
           username         =>  'BEARER_TOKEN',
           password         =>  '<BEARER_TOKEN_VALUE This is generated using token endpoint, client id, client secret>'
         );
       END;

     
     
     
     Descrição da ilustração Add-polaris-catalog-source.png
     
     

     Essa credencial permite que o Oracle Autonomous Database acesse a tabela Iceberg.

   • Credenciais do bucket: Esta credencial armazena um volume de armazenamento na nuvem para armazenar suas tabelas Iceberg no formato Parquet. Este campo é obrigatório para catálogos Polaris.

     Clique em Próximo para prosseguir para a guia Catálogo de Iceberg.

4. Na guia Catálogo de Iceberg, você pode especificar os seguintes valores de campo:

   • Namespaces do catálogo Iceberg: Este campo exibe a organização hierárquica das tabelas. O ponto final do catálogo Iceberg consiste no namespace raiz. Selecione o namespace no qual você deseja que o catálogo seja montado.
   • Estilo de separador de namespace: Selecione Estilo polaris. Esse é o valor padrão. Selecione qualquer valor com base na forma como o catálogo está configurado.
     Observação
     
     É preferível que você mantenha o valor padrão.
   • Região do bucket: Informe a região do bucket. Por exemplo, us-west-2.

     Os endpoints do catálogo Iceberg servem como interfaces para gerenciar tabelas Iceberg armazenadas no armazenamento em nuvem, como S3. A região do bucket se refere à localização geográfica em que o bucket S3 está hospedado.

     Este campo é obrigatório para catálogos Polaris.

     
     
     
     Descrição da ilustração Namespace-polaris.png
     
     

   Clique em Adicionar.

   Depois de montar com sucesso um novo catálogo em um Catálogo Iceberg, você poderá exibir o Catálogo Polaris na página Gerenciar Catálogos. Você pode desativar e excluir o catálogo desta página.

   
   
   
   Descrição da ilustração manage-polaris-catalogs.png
   
   

1. Na ferramenta Catalog, clique em Selecionar Catálogos....
2. Clique no filtro POLARIS _CATALOG no assistente Catálogos e Esquemas para exibir os catálogos POLARIS_CATALOG.
3. Clique em Aplicar para exibir os resultados na página Catálogo.
   
   
   
   Descrição da ilustração catalogs-schemas-polaris-catalog.png
   
   

1. Na página Catálogo, selecione Gerenciar Catálogo. Clique em +Add.
2. Na caixa de diálogo Adicionar Catálogo, selecione Catálogo de Iceberg.
   
   
   
   Descrição da ilustração Add-Catalog-iceberg.png
   
   
3. Clique em Próximo.
4. Especifique os seguintes valores de campo na guia de origem Catálogo da caixa de diálogo Adicionar Catálogo:
   • Nome do catálogo: Informe o nome do Catálogo com o qual você deseja montar o Catálogo de Iceberg.

     Por exemplo, Unidade.

   • Tipo de catálogo Iceberg: Selecione Unidade no campo drop-down.
   • Ponto final do catálogo do Iceberg:

     Para o Unity Catalog, você geralmente usa a API REST do Databricks. O ponto final para acessar tabelas Iceberg por meio do Unity Catalog geralmente está no formato https://<databricks-instance-url>/api/2.1/unity-catalog/iceberg.

     Observação
     
     Consulte https://docs.databricks.com/aws/en/external-access/iceberg para obter mais informações.
   • Credencial do catálogo Iceberg: Selecione uma credencial na lista de credenciais disponíveis na lista drop-down. Se você não tiver uma credencial, poderá criar uma. Selecione Criar Credencial.
     Na caixa de diálogo Criar Credencial, especifique os seguintes valores:

     • Nome da Credencial: Informe o nome da sua credencial. Por exemplo, UNITY_CRED.
     • Token do Portador: Cole o valor do Token do Portador.

       Selecione Criar Credencial.

       UNITY_CRED é exibido como credencial do catálogo Iceberg.

     
     
     
     Descrição da ilustração Add-unity-catalog.png
     
     

     Clique em Próximo para prosseguir para a guia Catálogo de Iceberg.

     Na guia Catálogo de Iceberg, você pode especificar os seguintes valores de campo:

   • Namespaces do catálogo Iceberg: Selecione qualquer um dos esquemas aos quais você precisa acessar.
   • Estilo de separador de namespace: O estilo de separador de namespace geralmente se refere à forma como os namespaces são estruturados e separados dentro do catálogo. Por padrão, o Estilo doatabricks é selecionado.
   • Região do bucket: Este campo não é obrigatório.
     
     
     
     Descrição da ilustração icebergue-unity-catalog.png
     
     

     Clique em Adicionar.

     
     
     
     Descrição da ilustração manage-unity-catalogs.png
     
     

   Depois de ter montado com sucesso um novo catálogo em um Catálogo Iceberg, você poderá exibir o Catálogo Unity na página Gerenciar Catálogos. Você pode desativar e excluir o catálogo desta página.

1. Na ferramenta Catalog, clique em Selecionar catálogos….
2. Clique no filtro UNITY _CATALOG no assistente Catalogs and Schemas para exibir os catálogos UNITY_CATALOG.
   
   
   
   Descrição da ilustração Catalogs-schemas-unity-catalog.png
   
   
3. Clique em Aplicar para exibir os resultados na página Catálogo.
   
   
   
   Descrição da ilustração manage-catalogs-unity.png