Conectar ao Apache Iceberg

Aprenda a criar uma conexão com o Apache Iceberg no OCI GoldenGate.

Antes de começar

Verifique se:

Verifique como o OCI GoldenGate se conecta à origem e aos destinos.
Configure as políticas necessárias para permitir o acesso seguro ao Vault e aos Segredos, como usar segredos, usar vaults e ler pacotes de segredos. Para obter mais informações, consulte Políticas mínimas recomendadas.

Criar a conexão

Para criar uma conexão com o Apache Iceberg:

Na página Visão Geral do OCI GoldenGate, selecione Conexões.

Você também pode selecionar Criar Conexão na seção Conceitos básicos e pular para a etapa 3.
Na página Conexões, selecione Criar Conexão.
Na página Criar Conexão, preencha os campos da seguinte forma:
1. Para Nome, informe um nome para a conexão.
2. (Opcional) Para Descrição, informe uma descrição que ajude a distinguir essa conexão de outras.
3. (Somente para o GoldenGate no Multinuvem) Selecione sua Assinatura e preencha os campos a seguir.
  1. Na lista drop-down Compartimento, selecione o compartimento no qual reside a Âncora de Recursos.
  2. Selecione a Região de parceiros multicloud.
  3. Selecione sua Zona de disponibilidade do parceiro. As opções disponíveis são preenchidas com base na região de parceiro Multinuvem selecionada.
4. Para Compartimento, selecione o compartimento no qual a conexão será criada.
5. Para Tipo, em Big Data, selecione Apache Iceberg.
6. Selecione um Tipo de catálogo na lista drop-down e preencha os campos de catálogo relevantes:
  1. Para Colar, insira o ID da cola.
  2. Para o Hadoop, nenhuma informação adicional é necessária.
  3. Para Nessie, especifique:
    - URI: Informe o URI do catálogo Nessie.
    - Ramificação: Informe o nome da ramificação ativa do qual Nessie lê e grava metadados da tabela.
  4. Para Polaris, especifique:
    - URI: Informe o URI do catálogo Polaris.
    - Nome: Informe o nome no qual a Polaris registra as tabelas do Iceberg.
    - ID do Cliente: Informe o ID do cliente OAuth a ser usado para autenticação.
    - Segredo do cliente: Selecione o segredo do cliente ou selecione Criar segredo do cliente para criar um novo. Se você optar por criar um novo segredo de cliente, forneça as seguintes informações:
      - Nome
      - (Opcional) Descrição
      - Selecione o Compartimento no qual reside o segredo das propriedades.
      - Selecione o Vault no qual armazenar o segredo das propriedades.
      - Selecione a Chave de criptografia a ser usada.
      - Informe a Senha do Usuário e confirme a Senha do Usuário.
    - Função principal: informe a função Snowflake usada para acessar a Polaris.
  5. Para Rest, especifique:
    - URI: Informe o URL base da API do catálogo REST.
    - Segredo de Propriedades: Selecione o segredo de propriedades ou selecione Criar segredo de propriedades para criar um novo. Se você optar por criar um novo segredo de propriedades, forneça as seguintes informações:
      - Nome
      - (Opcional) Descrição
      - Selecione o Compartimento no qual reside o segredo das propriedades.
      - Selecione o Vault no qual armazenar o segredo das propriedades.
      - Selecione a Chave de criptografia a ser usada.
      - Faça upload do ID do segredo de propriedades.
7. Selecione um Tipo de armazenamento na lista drop-down e preencha os campos de armazenamento relevantes:
  - Oracle Object Storage (API S3):
    1. Informe o ID da chave de acesso
    2. Selecione o Bucket do serviço Object Storage.
    3. Crie ou selecione o ID do segredo da chave de acesso secreto.
    4. Informe o Ponto Final.
  - Amazon S3:
    1. Selecione um Tipo de esquema.
    2. Informe a Região da Amazon em que o bucket do S3 está localizado.
    3. Informe o Bucket do S3 no qual o Iceberg armazena metadados e arquivos de dados.
    4. Informe o ID da chave de acesso para acessar o bucket do S3.
  - Armazenamento do Google Cloud:
    1. Informe o Bucket do Google Cloud Storage no qual o Iceberg armazena metadados e arquivos de dados.
    2. Informe o ID do Projeto em que o bloco existe.
    3. Para Ponto Final, informe o url para estabelecer conexão com o Google Cloud Storage.
  - Azure Data Lake Storage:
    1. Informe o Nome da Conta de Armazenamento do Azure.
    2. Informe o Contêiner de armazenamento blob do Azure em que o Iceberg armazena suas tabelas.
  - Nenhum (somente tipo de Catálogo REST)
8. Expanda Opções avançadas. Você pode configurar as seguintes opções;
  - Segurança
    - Desmarque Usar segredos do vault para que você prefira não usar segredos de senha para esta conexão. Caso não esteja selecionado:
      - Selecione Usar chave de criptografia gerenciada pela Oracle para deixar todo o gerenciamento de chaves de criptografia para a Oracle.
      - Selecione Usar chave de criptografia gerenciada pelo cliente para selecionar uma chave de criptografia específica armazenada no OCI Vault para criptografar suas credenciais de conexão.
  - Conectividade de rede
    - Ponto final compartilhado, para compartilhar um ponto final com a implantação atribuída. Você deve permitir a conectividade do IP de entrada da implantação.
    - Ponto final dedicado, para tráfego de rede por meio de um ponto final dedicado na sub-rede designada na sua VCN. Você deve permitir a conectividade dos IPs de entrada dessa conexão.
      Observação:
      
      Se uma conexão dedicada permanecer não designada por sete dias, o serviço a converterá em uma conexão compartilhada.
      
      Saiba mais sobre a conectividade do Oracle GoldenGate.
  - Atributos de segurança: Adicione atributos de segurança para controlar o acesso a essa conexão usando o ZPR (Zero Trust Packet Routing).
  - Tags: Adicione tags para organizar seus recursos.
Selecione Criar.

Depois que a conexão é criada, ela aparece na lista de Conexões. Certifique-se de atribuir a conexão a uma implantação para usá-la em um processo de replicação de dados.

Próximas etapas

Problemas conhecidos

Erro de autenticação da conexão do Apache Iceberg com o serviço AI Data Catalog

As conexões do Apache Iceberg com o serviço AI Data Catalog expiram devido a um erro de autenticação causado pela expiração do token. Se você encontrar esse problema, entre em contato com o Suporte Técnico da Oracle.

Erro de NoSuchFileException do Apache Iceberg

Se você encontrar o seguinte erro ao usar as conexões do Apache Iceberg, abra um ticket de suporte, compartilhe os detalhes e a mensagem de erro:

Caused by: java.nio.file.NoSuchFileException: /tmp/ogg/ocid1.goldengateconnection.oc1...../restCatalogProperties