Adicionar um Processo de Replicat para o Amazon S3

Aprenda a criar um processo de Replicat para um destino do Amazon S3 no OCI GoldenGate

Tópicos Relacionados

Antes de começar

Antes de adicionar e executar um Replicat para Amazon S3, certifique-se de ter o seguinte:

  • Uma conexão do Amazon S3 criada e designada à sua implantação de Big Data de destino
  • Uma região do Amazon Web Services (AWS)

Adicionar um Replicat (23ai)

Antes de começar

Certifique-se de revisar pré-requisitos específicos desse tipo de alvo.

Para adicionar um Replicat em GoldenGate 23ai:
  1. Na console de implantação do OCI GoldenGate, na Home page do Serviço de Administração, clique em Adicionar Replicat (ícone de mais).
  2. No painel Adicionar Replicat, na página Informações do Replicat, preencha os campos conforme necessário e clique em Próximo:
    • Selecione um Tipo de Replicat:
      • Replicat Clássico
      • Replicat Coordenado
    • Informe um Nome do Processo, com no máximo 5 caracteres.
    • Informe uma Descrição para ajudar a distinguir esse processo de outros.
  3. Na página Opções de Replicado, preencha os campos conforme necessário e clique em Próximo:
    • Trilha de Replicat:
      • Informe um Nome.
      • Informe um Subdiretório, se você espera que o arquivo de Trilha esteja em um local diferente do padrão.
      • Selecione um Perfil de criptografia. Se um perfil de criptografia não tiver sido criado, a Wallet Local será selecionada por padrão.
      • Em Iniciar, selecione o ponto inicial do processamento de dados:
        • Posição no Log (padrão)
        • Now
        • Horário Personalizado
    • Posição da Trilha:
      • Informe o Número de Sequência.
      • Informe a Compensação de RBA.
      • Selecione seu Destino na lista drop-down.

        Observação:

        Dependendo da sua seleção de destino, você pode ter opções adicionais, como locais de Streaming, Estágio e Mesclagem e Preparação.
    • Credenciais do Alvo:
      • Selecione um Domínio.
      • Selecione um Alias dentro do Domínio especificado.
      • Selecione uma Tabela de Ponto de Verificação. Deixe a seleção padrão ou selecione a tabela de checkpoint que você criou para a implantação de destino.
      • Selecione o Número Máximo de Threads (somente Replicats Coordenados).
  4. Na página Opções Gerenciadas, preencha os campos opcionais conforme necessário e clique em Próximo:
    • Selecione um Nome de Perfil, se houver um disponível.
    • Ativar Crítico para integridade da implantação.
    • Ativar e configurar definições de Início Automático.
  5. Na página Arquivo de Parâmetros, você pode adicionar parâmetros para configurar ainda mais o Replicat. Por exemplo:
    table source.table1;

    Se estiver usando o Replicat Coordenado, adicione TARGETDB LIBFILE libggjava.so SET property=/u02/Deployment/etc/conf/ogg/your_replicat_name.properties ao arquivo de parâmetros.

    Observação:

    GoldenGate usa o GMT (Greenwich Mean Time) por padrão. Use SETENV para substituir a definição padrão desse processo Replicat. Essa alteração não se aplica a implantações. Por exemplo: 

    setenv (TZ="US/Eastern")
setenv (TZ="GMT+5")
  6. Na página Arquivo de Propriedades, configure as seguintes Amazon S3:
    • gg.eventhandler.s3.region fornece a região da AWS para o bucket S3 de destino.
    • gg.eventhandler.s3.bucketMappingTemplate: fornece o nome do bucket S3 de destino. Se o bucket não existir, ele poderá ser criado automaticamente pelo OCI GoldenGate. Você pode fornecer nomes de bucket estáticos ou usar Palavras-chave de Modelo para atribuir nomes de bucket dinamicamente.

      Observação:

      Certifique-se de que o nome do bucket contenha apenas caracteres minúsculos. Caracteres maiúsculos podem causar falha no processo Replicat.
    • (Opcional) gg.handler.abs.format: Selecione como formatar a saída. JSON é a definição padrão. As opções disponíveis incluem:

      Para parquet, você deve aplicar propriedades adicionais. Consulte Parquet para Amazon S3 para obter detalhes.

      Para obter informações sobre as propriedades desse destino, consulte Amazon S3 no guia Oracle GoldenGate for Distributed Applications and Analytics.

  7. Clique em Criar e Executar. Se você clicar em Criar, poderá iniciar manualmente o processo de Replicação mais tarde na Home page do Serviço de Administração.

Adicionar um Replicat (21c)

Aprenda a adicionar um processo de replicat para Amazon S3.

Para adicionar um Replicat para um destino do Amazon S3:
  1. Na console de implantação do OCI GoldenGate, na página Visão Geral do Serviço de Administração, clique em Adicionar Replicat (ícone de mais).
  2. Na página Adicionar Replicat, selecione um Tipo de replicação e clique em Próximo.
    Os tipos de Replicats são:
    • Replicat Clássico
    • Replicat Coordenado
  3. Na página Opções de Replicat, preencha os seguintes campos e clique em Próximo:
    1. Em Nome do Processo, digite um nome para o processo de Replicat.
    2. (Opcional) Em Descrição, digite uma descrição curta para distinguir esse processo de outros.
    3. Em Nome da Trilha, digite um nome com dois caracteres.
    4. Para Destino, selecione Amazon S3 na lista drop-down.
    5. Em Aliases Disponíveis para o Amazon S3, selecione seu alias na lista drop-down.
  4. Na página Arquivo de Parâmetros, adicione e configure parâmetros Replicat conforme necessário e clique em Próximo.

    Observação:

    • Se estiver usando o Replicat Coordenado, adicione os seguintes parâmetros na segunda linha do Arquivo de Parâmetros:
      TARGETDB LIBFILE libggjava.so SET property=/u02/Deployment/etc/conf/ogg/<replicat
      name>.properties

      O uso de replicat coordenado resultará em vários arquivos criados.

      Se omitido, você encontrará o seguinte erro:

      OGG-01091 Oracle GoldenGate Delivery, RSNOW.prm: Unable to open file
      "/u02/Deployment/etc/conf/ogg/<replicat name>001.properties" (error 2, No such file or
      directory).
    • GoldenGate usa o GMT (Greenwich Mean Time) por padrão. Use SETENV para substituir a definição padrão. Por exemplo:
      setenv (TZ="US/Eastern")
setenv (TZ="GMT+5")

      Saiba mais sobre SETENV.

  5. Na página Arquivo de Propriedades, configure as seguintes Amazon S3:
    • gg.eventhandler.s3.region fornece a região da AWS para o bucket S3 de destino.
    • gg.eventhandler.s3.bucketMappingTemplate: fornece o nome do bucket S3 de destino. Se o bucket não existir, ele poderá ser criado automaticamente pelo OCI GoldenGate. Você pode fornecer nomes de bucket estáticos ou usar Palavras-chave de Modelo para atribuir nomes de bucket dinamicamente.

      Observação:

      Certifique-se de que o nome do bucket contenha apenas caracteres minúsculos. Caracteres maiúsculos podem causar falha no processo Replicat.
    • (Opcional) gg.handler.abs.format: Selecione como formatar a saída. JSON é a definição padrão. As opções disponíveis incluem:

      Para parquet, você deve aplicar propriedades adicionais. Consulte Parquet para Amazon S3 para obter detalhes.

  6. Clique em Criar e Executar. Se você clicar em Criar, poderá iniciar manualmente o processo de Replicat mais tarde na página Visão Geral do Serviço de Administração.
Você retorna à página Visão Geral do Serviço de Administração, na qual pode exibir a criação do processo de Replicat e acessar as Ações de Replicat.

Problemas conhecidos

Erros Java.net.UnknownHostException para conexões do Amazon S3 e do Google Cloud Storage com pontos finais Compartilhados encontram

Solução alternativa: Edite a conexão e altere o método de roteamento de tráfego para Dedicado ou selecione Dedicado ao criar conexões do Amazon S3 e do Google Cloud Storage.

Problema com conexões do Amazon S3 no OCI GoldenGate

Se você encontrar o erro a seguir ao usar conexões do Amazon S3, abra um ticket de suporte, compartilhe os detalhes e a mensagem de erro. 

ERROR 2024-03-04 11:42:31.000505 [TaskEngine_2(FileFinalizeTask)] - Verify S3 bucket
      [ggstest] failed.com.amazonaws.SdkClientException: Unable to execute HTTP request: s3.us-east-2.amazonaws.com

Em seguida, você pode usar as etapas a seguir como uma solução alternativa temporária.

Solução Alternativa:

  1. Estabeleça conexão com o Cloud Shell.
  2. Crie uma nova conexão do Amazon S3 usando a seguinte amostra de CLI:
    oci goldengate connection create-amazon-s3-connection --routing-method SHARED_SERVICE_ENDPOINT --display-name <connection_name> --compartment-id <compartment_ocid> --technology-type AMAZON_S3 --access-key-id <aws_access_key> --secret-access-key <aws_secret>
  3. Designe a conexão à sua implantação.
  4. Adicione e execute um Replicat para o Amazon S3.

Como alternativa, se você preferir não usar acesso público, configure os buckets da sua conexão do Amazon S3 para usar AWS VPC Endpoints. Para que o OCI GoldenGate acesse seu bucket do S3 usando o VPC Endpoints, você também deve configurar uma VPN IPsec entre sua VCN e a AWS VPC.

Para definir o ponto final para o Amazon S3, adicione a propriedade gg.eventhandler.s3.url ao Arquivo de Propriedades de Replicat e forneça o ponto final para a conexão privada.