Adicionar um Processo de Replicat para o Amazon S3

Aprenda a criar um processo Replicat para um destino do Amazon S3 no OCI GoldenGate.

Antes de começar

Antes de adicionar e executar um Replicat para o Amazon S3, verifique se você tem:

Uma conexão do Amazon S3 criada e atribuída à sua implantação de Big Data de destino
Uma região AWS (Amazon Web Services)
Considerações de Configuração e Melhores Práticas para o Amazon S3

Adicionar uma Replicação (26ai)

Certifique-se de revisar pré-requisitos específicos para este tipo de destino.

Para adicionar um Processo Replicat no GoldenGate 26ai:

No menu para navegação na console da implantação do OCI GoldenGate, selecione Replicat.
Na página Replicat, selecione Adicionar Replicat.
No painel Adicionar Replicat, na página Informações de Replicat, preencha os campos conforme necessário e selecione Próximo:
- Selecione um Tipo de Replicat:
  - Replicat Clássico
  - Replicat Coordenado
- Informe um Nome do Processo, com no máximo 5 caracteres.
- Informe uma Descrição para ajudar a distinguir esse processo de outros.
Na página Opções de Replicat, preencha os campos conforme necessário e selecione Próximo:
- Trilha de Replicat:
  - Informe um Nome.
  - Informe um Subdiretório, se você espera que o arquivo de Trilha esteja em um local diferente do padrão.
  - Selecione um perfil de criptografia. Se um perfil de criptografia não tiver sido criado, a Wallet Local será selecionada por padrão.
  - Para Iniciar, selecione o ponto inicial para o processamento de dados:
    - Posição no Log (padrão)
    - Now
    - Horário Personalizado
- Posição da Trilha:
  - Informe o Nº da Sequência.
  - Insira o Deslocamento de RBA.
  - Selecione seu Destino no menu suspenso.
    
    Observação: Dependendo da seleção de destino, você pode ter opções adicionais, como locais de Streaming, Estágio e Mesclagem e Preparação.
- Credenciais do Alvo:
  - Selecione um Domínio.
  - Selecione um Alias dentro do Domínio especificado.
  - Selecione uma Tabela de Checkpoint. Deixe a seleção padrão ou selecione a tabela de Checkpoint criada para a implantação do destino.
  - Selecione o Número Máximo de Threads (somente Replicats Coordenados).
Na página Opções Gerenciadas, preencha os campos opcionais conforme necessário e selecione Próximo:
- Selecione um Nome de Perfil, se houver um disponível.
- Ative Crítico para a integridade da implantação.
- Habilite e configure as configurações de início automático.
Na página Arquivo de Parâmetro, você pode adicionar parâmetros para configurar ainda mais seu processo Replicat. Por exemplo:
```
table source.table1;
```
Observação:

O GoldenGate usa o GTM (Greenwich Mean Time, Tempo médio de Greenwich) por padrão. Use SETENV para substituir a definição padrão do processo de Replicat. Esta alteração não se aplica a implantações. Por exemplo:
```
setenv (TZ="US/Eastern")
setenv (TZ="GMT+5")
```
Na página Arquivo de Propriedades, configure as seguintes propriedades do Amazon S3:
- O gg.eventhandler.s3.region fornece a região AWS para o bucket do S3 de destino.
- gg.eventhandler.s3.bucketMappingTemplate: forneça o nome do bucket do S3 de destino. Se o bucket não existir, ele poderá ser criado automaticamente pelo OCI GoldenGate. Você pode fornecer nomes de bucket estáticos ou usar Palavras-chave do Modelo para atribuir nomes de bucket dinamicamente.
  
  Observação: Certifique-se de que o nome do bucket contenha apenas caracteres minúsculos. Caracteres maiúsculos podem causar falha no processo Replicat.
- (Opcional) gg.handler.abs.format: Selecione como formatar a saída. JSON é a definição padrão. As opções disponíveis incluem:
- texto delimitado
- json
- json_row
- xml
- avro_row_ocf
- avro_op_ocf
Para parquet, você deve aplicar propriedades adicionais. Consulte Parquet para Amazon S3 para obter detalhes.

Para obter informações sobre as propriedades deste destino, consulte o Amazon S3 no guia Oracle GoldenGate for Distributed Applications and Analytics.
Selecione Criar e Executar. Se você selecionar Criar, poderá iniciar manualmente o processo Replicat posteriormente na página Replicats.

Adicionar um Processo de Replicat (21c)

Na console de implantação da OCI GoldenGate, na página Visão Geral do Serviço de Administração, selecione Adicionar Replicat (ícone de adição).
Na página Adicionar Processo de Replicat, selecione um tipo de Processo de Replicat e, em seguida, selecione Próximo

Os tipos de Replicats são:
- Replicat Clássico
- Replicat Coordenado
Na página Opções de Replicação, preencha os seguintes campos e selecione Próximo:
1. Para Nome do Processo, informe um nome para o processo de Replicat.
2. (Opcional) Para Descrição, digite uma descrição curta para diferenciar esse processo de outros.
3. Para Nome da Trilha, informe o nome da trilha de dois caracteres.
4. Para Destino, selecione Amazon S3 no menu suspenso.
5. Para Alias Disponíveis para o Amazon S3, selecione seu alias no menu suspenso.
Na página Arquivo de Parâmetros, adicione e configure parâmetros do Replicat conforme necessário e selecione Próximo.
```
table source.table1;
```
Observação:

O GoldenGate usa o GTM (Greenwich Mean Time, Tempo médio de Greenwich) por padrão. Use SETENV para substituir a definição padrão do processo Extract. Essa alteração só se aplica ao processo Extract e não à implantação.
```
setenv (TZ="US/Eastern")
setenv (TZ="GMT+5")
```
Na página Arquivo de Propriedades, configure as seguintes propriedades do Amazon S3:
- O gg.eventhandler.s3.region fornece a região AWS para o bucket do S3 de destino.
- gg.eventhandler.s3.bucketMappingTemplate: forneça o nome do bucket do S3 de destino. Se o bucket não existir, ele poderá ser criado automaticamente pelo OCI GoldenGate. Você pode fornecer nomes de bucket estáticos ou usar Palavras-chave do Modelo para atribuir nomes de bucket dinamicamente.
Observação: Certifique-se de que o nome do bucket contenha apenas caracteres minúsculos. Caracteres maiúsculos podem causar falha no processo Replicat.
- (Opcional) gg.handler.abs.format: Selecione como formatar a saída. JSON é a definição padrão. As opções disponíveis incluem:
- texto delimitado
- json
- json_row
- xml
- avro_row_ocf
- avro_op_ocf
Para parquet, você deve aplicar propriedades adicionais. Consulte Parquet para Amazon S3 para obter detalhes.
Selecione Criar e Executar. Se você selecionar Criar, poderá iniciar manualmente o processo Replicat posteriormente na página Visão Geral do Serviço de Administração.

Você retorna à página Visão Geral do Serviço de Administração na qual pode exibir a criação do processo Replicat e acessar Ações do Replicat.

Detalhes do alvo do Amazon S3

Problemas conhecidos com o Amazon S3

Erros Java.net.UnknownHostException para conexões do Amazon S3 e do Google Cloud Storage com pontos finais compartilhados

Ao usar conexões do Amazon S3 e do Google Cloud Storage com pontos finais compartilhados, você pode encontrar erros Java.net.UnknownHostException.

Solução alternativa: Edite a conexão e altere o método de roteamento de tráfego para Dedicado ou selecione Dedicado ao criar conexões do Amazon S3 e do Google Cloud Storage.

Problema com conexões do Amazon S3 no OCI GoldenGate

Se você encontrar o seguinte erro ao usar conexões do Amazon S3, abra um ticket de suporte, compartilhe os detalhes e a mensagem de erro.

ERROR 2024-03-04 11:42:31.000505 [TaskEngine_2(FileFinalizeTask)] - Verify S3 bucket
      [ggstest] failed.com.amazonaws.SdkClientException: Unable to execute HTTP request: s3.us-east-2.amazonaws.com

Solução Alternativa:

Conecte-se ao Cloud Shell.

Crie uma nova conexão do Amazon S3 usando a seguinte amostra da CLI:

oci goldengate connection create-amazon-s3-connection --routing-method SHARED_SERVICE_ENDPOINT --display-name <connection_name> --compartment-id <compartment_ocid> --technology-type AMAZON_S3 --access-key-id <aws_access_key> --secret-access-key <aws_secret> --connection-region <amazon_s3_bucket_region>

Atribua a conexão à sua implantação.
Adicionar e executar um processo de Replicat para Amazon S3.

Como alternativa, se você preferir não usar o acesso público, configure os buckets da sua conexão do Amazon S3 para usar os Pontos Finais do AWS VPC. Para que o OCI GoldenGate acesse seu bucket S3 usando Pontos Finais de VPC, você também deve configurar uma VPN IPsec entre sua VCN e a VPC da AWS.

Para definir o ponto final para o Amazon S3, adicione a propriedade gg.eventhandler.s3.url ao Arquivo de Propriedades de Replicat e forneça o ponto final para a conexão privada.